ceph 分布式存储出现告警 22 pgs not deep-scrubbed in time 解决办法：

admin

$ ceph -s
  cluster:
    id:     ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
    health: HEALTH_ERR
% O# z5 J: p% z+ c1 t            3 failed cephadm daemon(s)
8 D# f7 n* J% m6 I& m/ L            failed to probe daemons or devices
            2 mgr modules have failed
4 o5 ?, N5 e0 |4 N; |7 X$ ]2 h            mon gm268-1 is low on available space
& u/ C) y: m! h8 e0 J" `  e' g0 j            22 pgs not deep-scrubbed in time
; \1 |% V2 a2 i3 h8 E            1 slow ops, oldest one blocked for 5580 sec, mon.gm268-3 has slow ops

  services:
    mon: 3 daemons, quorum gm268-2,gm268-3,gm268-1 (age 86m)
    mgr: gm268-2.zttohs(active, since 97m), standbys: gm268-3.sjagqo, gm268-1.jgdvxs
    mds: cephfs:1 {0=cephfs.gm268-3.ppyjrl=up:active} 1 up:standby
3 B- p0 K+ ~0 x0 ?4 C2 W    osd: 41 osds: 41 up (since 93m), 41 in (since 21h); 182 remapped pgs

# x5 a+ f7 R5 X& p) }. a9 u7 H  data:
    pools:   5 pools, 11265 pgs
/ O* [  Y; r! M+ h* f4 K' Q    objects: 42.48M objects, 115 TiB
' ~0 j+ g) u  t% O% B$ \    usage:   232 TiB used, 365 TiB / 597 TiB avail
% |$ X- W! y4 Q3 P    pgs:     785971/84967110 objects misplaced (0.925%)
$ C: a* r  C7 O$ F; n4 |             11083 active+clean
             181   active+remapped+backfill_wait
4 I& L6 g8 @/ |7 c             1     active+remapped+backfilling

  io:
    recovery: 20 MiB/s, 6 objects/s
; l3 Y2 K  g8 x8 A0 D/ s; _+ {
解决办法：

2 ^% r, L5 `' r. u( Z$ ceph config set global osd_deep_scrub_interval 3628800
5 T! K! f- G  r/ N7 x9 n" x; n6 v

, m7 H/ D9 `* X9 P$ ceph config get  mon
- i# A- P( Y8 d# k( T! jWHO     MASK  LEVEL     OPTION                                 VALUE                  RO
  Y0 J- I$ Y7 U* }mon           advanced  auth_allow_insecure_global_id_reclaim  false                    
global        basic     container_image                        quay.io/ceph/ceph:v15  *
8 W) ?/ e; }9 Aglobal        advanced  mon_max_pg_per_osd                     800                     
2 I" Z/ T' W6 H4 Xglobal        advanced  osd_deep_scrub_interval                3628800.000000           
global        advanced  osd_pool_default_pg_autoscale_mode     off                     
9 \8 e- \/ }0 A6 Emon           advanced  public_network                         10.12.0.0/15           *
8 e- g3 j# x' T0 \7 ]9 e* _

% X$ P1 \' j) i& N' K# J2 t; j$ ceph config get  osd
WHO     MASK  LEVEL     OPTION                              VALUE                  RO
global        basic     container_image                     quay.io/ceph/ceph:v15  *
$ e& R2 E% ]! g9 }global        advanced  mon_max_pg_per_osd                  800                     
  a) c# l) l& F% h4 ?( _9 P) U0 r; U+ bglobal        advanced  osd_deep_scrub_interval             3628800.000000           
global        advanced  osd_pool_default_pg_autoscale_mode  off                     
9 m  t" W- v% y8 S4 `% Z& g
5 ]' i' z9 b) G$ a2 V3 n- Z7 V
$ ceph -s
% l8 o2 K- R& e  cluster:
  l, B8 ^5 z  H! Y    id:     ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
3 p7 l& ~4 E7 C: E8 @' ~0 z/ \- e4 s  Q$ v    health: HEALTH_ERR
, H6 ]: k/ l/ ]- E0 V: h            3 failed cephadm daemon(s)
            failed to probe daemons or devices
            2 mgr modules have failed
            mon gm268-1 is low on available space
; y8 a* Q. ]$ h: C/ g            1 slow ops, oldest one blocked for 5791 sec, mon.gm268-3 has slow ops
% U4 e  P& M% x0 B, z2 @. t# k
" O/ M% `7 Q/ X( O  S- V0 D  services:
    mon: 3 daemons, quorum gm268-2,gm268-3,gm268-1 (age 89m)
    mgr: gm268-2.zttohs(active, since 100m), standbys: gm268-3.sjagqo, gm268-1.jgdvxs
; c* F' ^) N5 H+ [! k9 p( \4 p+ N    mds: cephfs:1 {0=cephfs.gm268-3.ppyjrl=up:active} 1 up:standby
    osd: 41 osds: 41 up (since 96m), 41 in (since 21h); 181 remapped pgs
) B1 z) ^. e' X( C$ ]2 h
, q- d$ Z* `# K! u" W% T  data:
    pools:   5 pools, 11265 pgs
6 g- U" L$ i( Z+ K/ @' Z    objects: 42.48M objects, 115 TiB
    usage:   232 TiB used, 365 TiB / 597 TiB avail
& {: I  h$ K* a: a$ P9 S    pgs:     784873/84967110 objects misplaced (0.924%)
# ^3 b9 b- V) e& g             11084 active+clean
             180   active+remapped+backfill_wait
             1     active+remapped+backfilling
  ~: I3 R; N7 w& {; F$ G
  io:
+ n: n, E. G% b) h' \- E2 t    recovery: 20 MiB/s, 6 objects/s