ceph 分布式存储出现告警 22 pgs not deep-scrubbed in time 解决办法：

admin

$ ceph -s
+ P9 r$ p5 [; E* J  cluster:
    id:     ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
    health: HEALTH_ERR
            3 failed cephadm daemon(s)
8 \: P' `& L0 G            failed to probe daemons or devices
) G. y& P" t% t+ W7 t            2 mgr modules have failed
            mon gm268-1 is low on available space
            22 pgs not deep-scrubbed in time
4 H* }5 }+ N9 @( [            1 slow ops, oldest one blocked for 5580 sec, mon.gm268-3 has slow ops
- ~0 o6 H6 h+ U1 Y5 |
  services:
( Y, L/ s+ A( Y$ I" {* ~    mon: 3 daemons, quorum gm268-2,gm268-3,gm268-1 (age 86m)
1 @& u/ Y$ _; P) ?' h; y    mgr: gm268-2.zttohs(active, since 97m), standbys: gm268-3.sjagqo, gm268-1.jgdvxs
) O  c; v1 |# {8 x* v    mds: cephfs:1 {0=cephfs.gm268-3.ppyjrl=up:active} 1 up:standby
/ _* ]( e1 p5 S- {. u    osd: 41 osds: 41 up (since 93m), 41 in (since 21h); 182 remapped pgs
& ^4 q1 ~! ^. V6 }
8 h: U6 }0 K+ `  data:
    pools:   5 pools, 11265 pgs
    objects: 42.48M objects, 115 TiB
7 x% N( K# R4 d) N6 k3 Y    usage:   232 TiB used, 365 TiB / 597 TiB avail
5 s0 {! X1 L+ A. v! r& N- ?    pgs:     785971/84967110 objects misplaced (0.925%)
             11083 active+clean
/ h3 f' Y5 S6 R$ R( g             181   active+remapped+backfill_wait
% Z. ?, G: u, w$ B             1     active+remapped+backfilling
7 [: j4 f. t. i5 a- T8 c
/ e5 ?/ I1 g! |1 \; F" t  io:
: [! A, X2 o5 c$ I. B7 ]    recovery: 20 MiB/s, 6 objects/s
! \+ ~! \6 e8 H, G. S$ K" z
解决办法：
. B: ^( N7 a+ o% ?* L& g9 R5 D
: t, f' o6 o( W9 @/ z$ ceph config set global osd_deep_scrub_interval 3628800
8 o3 k  J, z. t9 S# T+ S% b4 b
/ x! z- {: C, U! K/ G% l- R
$ ceph config get  mon
WHO     MASK  LEVEL     OPTION                                 VALUE                  RO
mon           advanced  auth_allow_insecure_global_id_reclaim  false                    
global        basic     container_image                        quay.io/ceph/ceph:v15  *
& o6 I: }. E' ~3 eglobal        advanced  mon_max_pg_per_osd                     800                     
global        advanced  osd_deep_scrub_interval                3628800.000000           
/ K0 K3 K8 k! _: C8 `. \8 w7 Hglobal        advanced  osd_pool_default_pg_autoscale_mode     off                     
mon           advanced  public_network                         10.12.0.0/15           *
  _+ o% F' m0 K; T

$ ceph config get  osd
- S' o0 D  `. W, C& D; F8 n  K0 @WHO     MASK  LEVEL     OPTION                              VALUE                  RO
8 _, G/ v, V- Y2 C8 nglobal        basic     container_image                     quay.io/ceph/ceph:v15  *
3 S0 b! w, [4 b4 M7 Q" ]! Oglobal        advanced  mon_max_pg_per_osd                  800                     
global        advanced  osd_deep_scrub_interval             3628800.000000           
global        advanced  osd_pool_default_pg_autoscale_mode  off                     
  s5 m' p: F$ D

( M% |: p5 J/ R# y; j2 H$ ceph -s
2 A/ q& c+ M0 Y" _9 G& T- N# ]  cluster:
- l2 @9 V) N- w2 x' s* W    id:     ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
    health: HEALTH_ERR
            3 failed cephadm daemon(s)
+ ]7 Z% E, e/ k) h5 \; h            failed to probe daemons or devices
            2 mgr modules have failed
% {! |2 i3 A$ C2 v7 n/ ?8 r            mon gm268-1 is low on available space
6 b' r9 M! b$ P$ h+ f            1 slow ops, oldest one blocked for 5791 sec, mon.gm268-3 has slow ops

4 m* I" N' v5 e" v9 m  services:
    mon: 3 daemons, quorum gm268-2,gm268-3,gm268-1 (age 89m)
$ T; ^$ m9 g- A, ^: Z) |1 }$ X& H    mgr: gm268-2.zttohs(active, since 100m), standbys: gm268-3.sjagqo, gm268-1.jgdvxs
    mds: cephfs:1 {0=cephfs.gm268-3.ppyjrl=up:active} 1 up:standby
& Y5 k* }+ @1 s1 A8 n9 O    osd: 41 osds: 41 up (since 96m), 41 in (since 21h); 181 remapped pgs

  data:
    pools:   5 pools, 11265 pgs
- X  g6 K- Y' E5 h# E    objects: 42.48M objects, 115 TiB
9 D7 J+ O! _8 ]. v) y  [    usage:   232 TiB used, 365 TiB / 597 TiB avail
    pgs:     784873/84967110 objects misplaced (0.924%)
             11084 active+clean
! D* L& K% [% o5 ]1 g2 {             180   active+remapped+backfill_wait
             1     active+remapped+backfilling
, R$ d: r  S6 R: Q+ g2 K3 u" `
; X. h. g" [2 f0 I! H2 \: V  io:
    recovery: 20 MiB/s, 6 objects/s
9 C6 \5 _$ E3 w" M( G9 ], s; P/ Z& q
1 n" Z! _  u+ o0 x& ~, X+ J