ceph 分布式存储出现告警 22 pgs not deep-scrubbed in time 解决办法：

admin

$ ceph -s
  z/ N  C9 Z9 ~; g) K4 L  cluster:
$ W1 h- k: _  `- f( w    id:     ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
* Q( {- s5 X, i/ F: ]    health: HEALTH_ERR
            3 failed cephadm daemon(s)
            failed to probe daemons or devices
            2 mgr modules have failed
. u0 ^8 _3 w* \2 {" E) F7 w+ ^2 H            mon gm268-1 is low on available space
            22 pgs not deep-scrubbed in time
            1 slow ops, oldest one blocked for 5580 sec, mon.gm268-3 has slow ops
8 N4 r- n* @- s' M; n) B
4 Z9 U2 S2 m/ s, |  services:
    mon: 3 daemons, quorum gm268-2,gm268-3,gm268-1 (age 86m)
    mgr: gm268-2.zttohs(active, since 97m), standbys: gm268-3.sjagqo, gm268-1.jgdvxs
    mds: cephfs:1 {0=cephfs.gm268-3.ppyjrl=up:active} 1 up:standby
    osd: 41 osds: 41 up (since 93m), 41 in (since 21h); 182 remapped pgs
. z/ ?9 R. T& q4 ?$ @
  data:
    pools:   5 pools, 11265 pgs
- z3 Y+ r3 k' S6 H. U    objects: 42.48M objects, 115 TiB
1 j7 L/ t; f$ E* _& Z' r    usage:   232 TiB used, 365 TiB / 597 TiB avail
1 N. V' o+ I  s% l# H& Q    pgs:     785971/84967110 objects misplaced (0.925%)
             11083 active+clean
. ~; L4 s/ T8 n; R5 k7 I             181   active+remapped+backfill_wait
             1     active+remapped+backfilling

' R4 X5 K' ^  d3 z& D! j0 u  io:
    recovery: 20 MiB/s, 6 objects/s

解决办法：

$ ceph config set global osd_deep_scrub_interval 3628800
7 |( a$ u2 i! {, {) X
- R3 C7 l- S9 @* Z/ V1 R
* K$ R) C! B- q- n' `$ ceph config get  mon
8 }: @# o$ n& t$ L6 NWHO     MASK  LEVEL     OPTION                                 VALUE                  RO
mon           advanced  auth_allow_insecure_global_id_reclaim  false                    
global        basic     container_image                        quay.io/ceph/ceph:v15  *
global        advanced  mon_max_pg_per_osd                     800                     
global        advanced  osd_deep_scrub_interval                3628800.000000           
global        advanced  osd_pool_default_pg_autoscale_mode     off                     
  z* _. S3 x" f$ v$ ?5 Amon           advanced  public_network                         10.12.0.0/15           *

5 g' P7 G* n6 h3 u
  u7 |8 x6 d" l; Y$ ceph config get  osd
6 T& G, D' ~& i" AWHO     MASK  LEVEL     OPTION                              VALUE                  RO
global        basic     container_image                     quay.io/ceph/ceph:v15  *
& I0 J& J- A, P* C  H" V, qglobal        advanced  mon_max_pg_per_osd                  800                     
global        advanced  osd_deep_scrub_interval             3628800.000000           
global        advanced  osd_pool_default_pg_autoscale_mode  off                     
# a# R+ k. p; t  k2 |

$ ceph -s
& N: ]7 H- q- P. O  cluster:
( r# b2 D9 m+ z! P    id:     ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
1 G4 q+ v/ D; R9 y6 S5 {    health: HEALTH_ERR
7 B' M) n% U/ l8 n) }4 O2 b            3 failed cephadm daemon(s)
& e- l/ l7 R1 n4 p! p            failed to probe daemons or devices
            2 mgr modules have failed
            mon gm268-1 is low on available space
            1 slow ops, oldest one blocked for 5791 sec, mon.gm268-3 has slow ops
( ]' F: F- k% I0 }- R) U
' }/ Y1 N: X$ I( \1 M  services:
3 k% A' _4 s; u    mon: 3 daemons, quorum gm268-2,gm268-3,gm268-1 (age 89m)
    mgr: gm268-2.zttohs(active, since 100m), standbys: gm268-3.sjagqo, gm268-1.jgdvxs
    mds: cephfs:1 {0=cephfs.gm268-3.ppyjrl=up:active} 1 up:standby
; N6 L, g4 k/ u  T, M1 N; T7 a: T; i    osd: 41 osds: 41 up (since 96m), 41 in (since 21h); 181 remapped pgs
; [* N6 J; i, x
  data:
7 A5 x& D/ U7 f3 {    pools:   5 pools, 11265 pgs
- O( `* C: N$ P2 ^7 {# J    objects: 42.48M objects, 115 TiB
    usage:   232 TiB used, 365 TiB / 597 TiB avail
    pgs:     784873/84967110 objects misplaced (0.924%)
5 Z: }, b4 G8 O4 X, R             11084 active+clean
& }  e0 w3 l" v             180   active+remapped+backfill_wait
             1     active+remapped+backfilling

) N( C2 z* V: C# x  io:
    recovery: 20 MiB/s, 6 objects/s


- ?$ w* \7 a# X