HEALTH_WARN Reduced data availability: 23 pgs inactive; 23 pgs not deep-scrubbed

admin

一般手动修复损坏的PG即可，使用ceph pg repair {pgid}
# b5 \5 h6 C7 }2 |8 j2 ~/ g
PG状态为inconsistent时，说明PG中存在对象不一致的情况。有可能时某个OSD磁盘损坏，或者磁盘上的数据发生静默错误。
# ]# y4 Y5 h( S6 u( a$ N
0 `+ q$ f( x; b% n7 V( i' O- R下面手动构造一个PG数据损坏的例子，并修复它。
* i9 [- c3 n/ d, d* E- i
# 1.关闭OSD服务
/ X2 L  ^! S6 m* ^- m9 K1 q$ systemctl stop ceph-osd@{id}
& g0 L# T. h/ Y# N4 v2 H- e
1 C( R$ e" x! `  s# 2.使用ceph-objectstore-tool 挂载 /var/lib/ceph/osd/ceph-0 到 /mnt/ceph-osd@0
[root@node-1 ceph-objectstore-tool-test]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0/ --op fuse --mountpoint /mnt/ceph-osd@0/
mounting fuse at /mnt/ceph-osd@0/ ...

/ M3 m) Y: p4 ?, K7 ], R0 @9 \  J# 3.删除 /mnt/ceph-osd/@0/10.0_head/all文件夹中某个目录文件(即PG中的对象)，即破坏了10.0pg的某个对象
0 Y! n' z7 M, h# G[root@node-1 all]# rm -rf \#10\:01ec679f\:\:\:10000011eba.00000000\:head#/
rm: 无法删除"#10:01ec679f:::10000011eba.00000000:head#/bitwise_hash": 不允许的操作
; G! {8 X: R, b0 A( H. [rm: 无法删除"#10:01ec679f:::10000011eba.00000000:head#/omap": 不允许的操作
: [* p4 ]5 x2 X, e1 Grm: 无法删除"#10:01ec679f:::10000011eba.00000000:head#/attr": 不允许的操作

# 4.卸载/mnt/ceph-osd@0，重启 OSD服务，等待集群恢复正常

* `, H- S4 W5 _# 5.手动对10.0 PG做scrub，命令：ceph pg scrub 10.0，等待后台scrub完成
[root@node-1 ~]# ceph pg scrub 10.0
; q" {" f7 r. P9 e0 P1 V4 Qinstructing pg 10.0 on osd.2 to scrub
8 M7 P8 d' e$ }9 i+ T
; L+ X5 H% f3 r' K7 R# 6.发现集群报错，PG id是10.0，状态为active+clean+inconsistent
[root@node-1 ~]# ceph health detail
HEALTH_ERR 2 scrub errors; Possible data damage: 1 pg inconsistent
1 T; p+ f/ V+ u1 K0 v" ^OSD_SCRUB_ERRORS 2 scrub errors
PG_DAMAGED Possible data damage: 1 pg inconsistent
7 |0 u: Q! s3 T5 S: t: C% e, m6 }. C    pg 10.0 is active+clean+inconsistent, acting [2,1,0]
1 U' C( y4 f# i3 {7 w/ U
  [. H+ D: a" @% D) E# 7.执行修复操作，PG状态：active+clean+scrubbing+deep+inconsistent+repair
; V5 M) u1 `0 }" w[root@node-1 ~]# ceph pg repair 10.0
9 _* l3 N8 u- B# @) T4 winstructing pg 10.0 on osd.2 to repair
( w( q; x" c% Z( q4 E[root@node-1 ~]# ceph -s
6 U" F% ?$ E* q1 i4 i5 `  cluster:
8 ]! g) ^" i/ E% C2 u' b" M    id:     60e065f1-d992-4d1a-8f4e-f74419674f7e
+ B% E( y# d5 f0 m    health: HEALTH_ERR
            2 scrub errors
            Possible data damage: 1 pg inconsistent
  。。。
0 k& A) K. \7 o$ t7 ?  data:
! h& U! A# E) s8 L4 c6 Y: Y2 A0 V    pools:   9 pools, 464 pgs
( v" i* ?% [$ ^    objects: 53.99k objects, 802 MiB
    usage:   16 GiB used, 24 GiB / 40 GiB avail
    pgs:     463 active+clean
             1   active+clean+scrubbing+deep+inconsistent+repair
3 _9 p2 `0 F8 L7 g) i' R
7 Z+ P* b' [( C# 8.等待集群恢复健康
[root@node-1 ~]# ceph health detail
2 @6 j* \: N) F' Q4 J" n! vHEALTH_OK


$ D/ u. u1 K9 Z; l  x2 O+ {如果ceph pg repair {pgid}命令无法修复PG，可以使用ceph-objectstore-tool导入整个PG的方式。


* {, ]6 [0 F8 h- n
osd_recovery_max_single_start  #越大，OSD恢复速度越快，集群对外服务受到影响越大，默认为1
! A, E! a. W$ vosd_recovery_max_active        #越大，OSD恢复速度越快，集群对外服务受到影响越大，默认为3
3 d, j0 ~7 \8 W4 y5 Cosd_recovery_op_priority       #越大，OSD恢复速度越快，集群对外服务受到影响越大，默认为3
* C% ]- Z" x4 p2 E5 p" T7 }osd_max_backfills              #越大，OSD恢复速度越快，集群对外服务受到影响越大，默认为1
: ?" a& F& V& U9 @0 D- V6 `2 T- oosd_recovery_sleep             #越小，OSD恢复速度越快，集群对外服务受到影响越大，默认为0秒
  _0 ?* z7 a& w8 o& _
[root@node-2 ~]# ceph config set osd osd_recovery_max_single_start 32
; C: p4 S8 m) F' c4 D. t! m[root@node-2 ~]# ceph config set osd osd_max_backfills 32
[root@node-2 ~]# ceph config set osd osd_recovery_max_active 32
6 x0 E- h$ d+ p6 h: E0 {设置后，OSD恢复速度大大加快，注意这三个配置要同步增加，否则只增加其中一个，会由于其他短板而无法使得恢复速度加快
" K0 [' S0 j. Z) H/ d7 Y) c) f4 `: d
# ceph -s 检查恢复速度，设置上述参数前，恢复速度只有6 objects/s。
, A) z3 k% T4 j; I  J
1 d8 |9 ]. H- G3 f
& E9 m) |  [- E) v9 ], [
一般来说，集群三副本的情况下不太可能出现PG丢失的情况，如果一旦出现了，那也就意味着这丢失的数据无法找回。

7 f9 I: ^; x! A4 s" B4 Y# 1.查找丢失的PG
6 {; H2 I+ r, }8 yroot@storage01-ib:~#  ceph pg dump_stuck unclean | grep unknown
20.37                         unknown     []         -1     []             -1
. }/ m! F  t8 g8 r5 b" D20.29                         unknown     []         -1     []             -1
1 k) l8 K9 @5 y# N- R- a20.16                         unknown     []         -1     []             -1
1 j# V1 r4 `0 N: T0 R9 E) Z4 }
% v! Q8 R& E7 [1 G: |: W, u9 C; S3 v# 2.创建PG
( h- P8 _; \4 R# {3 W6 ?8 z4 iroot@storage01-ib:~# ceph osd force-create-pg 20.37 --yes-i-really-mean-it
; O% j0 p4 ]3 Q" q2 J; qpg 20.37 now creating, ok

/ R$ t* \1 M0 T; w注意：不要使用单副本的集群。
5 Y* J  `) @( {! U. h+ `
) ^. u! m- A. ]" e+ d; L
出现“1 pools have many more objects per pg than average”警告时，说明集群中某个pool的PG数量配置过少，其每个PG承载的对象高于集群平均PG承载对象10倍以上，最简单的解决方法就是增加pool的pg数即可。


# 告警：1 pools have many more objects per pg than average
/ Z" w- M$ I' u2 j- S[root@lab8106 ~]# ceph -s
6 b# q. j' u. P) _7 l6 @cluster fa7ec1a1-662a-4ba3-b478-7cb570482b62
health HEALTH_WARN
3 q! [% d, x. l- j3 M1 pools have many more objects per pg than average


# 增加该pool的pg数，N版以后，只需要调整pg_num即可，pgp_num会自动调整。
3 z0 |/ R2 j# p/ iceph osd pool set  cephfs_metadata pg_num 64


, [+ _1 \0 R& v7 H; B

admin

情况
ceph 在一次掉盘恢复后, 有 pg 出现 state unknown 的状况. 运行 ceph health detail, 显示:
: n! G' l* \. `$ }  m- r, ^
9 _  o: e1 C2 T  }1 K[root@storage02-ib ~]# ceph health detail
HEALTH_WARN 211801/3035471 objects misplaced (6.978%); Reduced data availability: 4 pgs inactive
OBJECT_MISPLACED 211801/3035471 objects misplaced (6.978%)
/ J- I$ h% B% o/ z9 Y. l" zPG_AVAILABILITY Reduced data availability: 4 pgs inactive
    pg 20.16 is stuck inactive for 12365.100778, current state unknown, last acting []
0 {9 ~( H' G1 @! ?& `( H    pg 20.29 is stuck inactive for 12365.100778, current state unknown, last acting []
3 g6 f1 R0 P' q2 u! r    pg 20.2d is stuck inactive for 12365.100778, current state unknown, last acting []
3 G* s4 r, q4 h% D    pg 20.37 is stuck inactive for 12365.100778, current state unknown, last acting []
, J( O- e" d0 b. w显示这4个 pg 卡住了.
6 h5 A* e8 k' o7 |& c
, x+ Z9 v; [0 _& Z9 y运行 pg query, 查看该 pg 的具体信息, 显示:
% n! {) y7 T1 i5 p
root@storage01-ib:~# ceph pg 20.16 query
) v6 n# A0 \, VError ENOENT: i don't have pgid 20.16
无法找到该 pg id.
4 R9 ^0 `" [6 j4 K9 |0 z
# a& w2 b% u) C9 [& L) i运行 pg dump_stuck unclean, 显示:

  T5 U( P+ }8 @1 x3 r7 [5 z% G0 Groot@storage01-ib:~#  ceph pg dump_stuck unclean
' ^" d" c+ [9 y- u- i" c% vok
& ?/ o$ `, U9 m' n- |0 VPG_STAT STATE                         UP     UP_PRIMARY ACTING ACTING_PRIMARY
21.f9   active+remapped+backfill_wait  [7,4]          7  [4,9]              4
# \) m! ?5 |4 Y, a# R' W: G21.f7     active+remapped+backfilling  [4,8]          4  [4,2]              4
1 C. N" V+ C9 i$ F6 h21.d9   active+remapped+backfill_wait [10,0]         10  [0,9]              0
+ R* \+ `/ X$ u5 X21.c9   active+remapped+backfill_wait  [8,4]          8  [4,7]              4
21.b8     active+remapped+backfilling  [2,7]          2  [6,7]              6
21.af   active+remapped+backfill_wait  [0,5]          0  [0,8]              0
* s1 B' E) ?( P: I+ ?21.a3   active+remapped+backfill_wait  [4,8]          4  [4,9]              4
3 G0 W1 L+ S4 m, g" ?. `21.9c   active+remapped+backfill_wait [9,10]          9 [5,10]              5
3 p5 g+ _- c; i1 f. x% z4 z21.cb   active+remapped+backfill_wait  [5,3]          5  [2,3]              2
21.95     active+remapped+backfilling [10,4]         10 [10,7]             10
1 A3 X: T6 s% \7 f, I+ `21.f3   active+remapped+backfill_wait [2,10]          2  [2,5]              2
8 }; A& r- z! z21.3f   active+remapped+backfill_wait  [4,2]          4  [2,6]              2
4 ^, [/ J9 H: c' S- u; O5 [, E21.3a   active+remapped+backfill_wait  [3,6]          3  [6,9]              6
0 f' {: k0 D$ |" s- f9 s* p8 h/ j20.37                         unknown     []         -1     []             -1
21.b4   active+remapped+backfill_wait  [2,7]          2 [2,10]              2
21.56   active+remapped+backfill_wait  [8,7]          8  [8,5]              8
21.68     active+remapped+backfilling  [7,2]          7  [0,2]              0
21.2e   active+remapped+backfill_wait [10,6]         10  [5,6]              5
21.7f   active+remapped+backfill_wait  [9,8]          9  [9,7]              9
5 y4 ~  ?) L2 [4 E, [21.e9   active+remapped+backfill_wait  [4,9]          4 [9,10]              9
21.55   active+remapped+backfill_wait  [9,4]          9  [9,6]              9
21.5e   active+remapped+backfill_wait  [0,6]          0  [0,9]              0
% q! s4 [9 I+ f9 C+ v21.87   active+remapped+backfill_wait  [7,8]          7  [7,4]              7
4 H3 S- F) C4 H  _21.76   active+remapped+backfill_wait [10,8]         10  [4,8]              4
( A1 x7 p/ }/ p) F+ H. j- g21.a1   active+remapped+backfill_wait  [2,5]          2  [5,6]              5
, F+ H; ]; {) Y7 C5 `21.43   active+remapped+backfill_wait  [3,0]          3  [0,5]              0
21.82   active+remapped+backfill_wait  [7,3]          7  [7,9]              7
3 S4 ^" @5 w7 M7 H20.2d                         unknown     []         -1     []             -1
21.2d   active+remapped+backfill_wait  [4,8]          4  [4,2]              4
21.1c   active+remapped+backfill_wait  [8,0]          8  [0,6]              0
" ~0 Q8 i; V8 ^3 c21.22   active+remapped+backfill_wait  [4,9]          4  [4,7]              4
8 ^2 H& z. C4 n2 `& j21.79   active+remapped+backfill_wait  [4,6]          4  [4,0]              4
4 r$ {0 r' G  d0 x. _  C7 _4 X+ h, v21.28   active+remapped+backfill_wait  [7,4]          7  [0,4]              0
20.29                         unknown     []         -1     []             -1
20.16                         unknown     []         -1     []             -1
29.4    active+remapped+backfill_wait  [6,1]          6  [6,4]              6
- \0 J1 [" a& A21.23   active+remapped+backfill_wait [10,0]         10  [0,3]              0
  M- s- A8 W1 x21.63   active+remapped+backfill_wait  [9,0]          9  [0,2]              0
29.5    active+remapped+backfill_wait  [1,9]          1  [0,9]              0
21.6c   active+remapped+backfill_wait  [6,5]          6  [6,8]              6
21.e    active+remapped+backfill_wait  [0,7]          0  [4,7]              4
% K! V9 C5 x2 t1 G分析
" U8 W" z! d0 G6 @  |看来是这几个 pgid 彻底找不到了. 我的 osd pool 有三个, 分别叫 l1 (1副本), l2 (2副本), l3 (3副本).

估计可能是之前写入 1 副本的数据由于硬盘挂掉导致的数据丢失.

既然是1副本, 也不要求数据可靠性了. 并且本身存储的也是一些下载到一半的数据, 也没什么关系.

! {: d6 k  n4 ~9 T! |$ q修正
通过阅读 CEPH 官方 PG troubleshooting 文档 , 发现了解决方案:

POOL SIZE = 1

9 |# F* z$ Z% Y! m2 NIf you have the osd pool default size set to 1, you will only have one copy of the object. OSDs rely on other OSDs to tell them which objects they should have. If a first OSD has a copy of an object and there is no second copy, then no second OSD can tell the first OSD that it should have that copy. For each placement group mapped to the first OSD (see ceph pg dump), you can force the first OSD to notice the placement groups it needs by running:
6 R  I, Y5 ~, Y# z
ceph osd force-create-pg <pgid>

即, 多 osd 副本可以互相通知 pg 信息, 但是单副本就会丢, 为了恢复这个pg, 我们可以强行创建它.
$ H, z5 P( [- }2 T
1 _2 h, o; v( Q3 Q, e+ jroot@storage01-ib:~# ceph osd force-create-pg 20.37
Error EPERM: This command will recreate a lost (as in data lost) PG with data in it, such that the cluster will give up ever trying to recover the lost data.  Do this only if you are certain that all copies of the PG are in fact lost and you are willing to accept that the data is permanently destroyed.  Pass --yes-i-really-mean-it to proceed.
运行创建命令, 提示, 运行会永久的丢失该 pg 的数据, 需要加上 --yes-i-really-mean-it.
1 V& s$ t- x0 ?$ E
root@storage01-ib:~# ceph osd force-create-pg 20.37 --yes-i-really-mean-it
! H: U+ ~3 }  z$ Y- H7 ipg 20.37 now creating, ok
执行成功.
" p- s4 J7 W3 d9 r+ U/ z
1 Z% B( t/ t, _, W1 n' T查看新创建的 pg.

7 p/ \0 @. ^& x- I' N2 Eroot@storage01-ib:~# ceph pg 20.37 query
( y1 Y* E: R' k: B) B. v& a{
8 X5 q( K7 y2 b% L    "state": "active+clean",
    "snap_trimq": "[]",
+ v( D& X; |) v; J7 H7 C    "snap_trimq_len": 0,
. Z; J( P: c0 }6 P    "epoch": 814,
7 h/ U; z8 T) M( x* O    "up": [
        6
    ],
    "acting": [
0 x! N2 r( T$ X# G- r        6
0 C2 A  {: f! H% g5 I    ],
    "acting_recovery_backfill": [
/ M4 S& ^7 B+ v1 T7 i        "6"
    ],
    "info": {
        "pgid": "20.37",
/ N$ p" H! O; t( `        "last_update": "0'0",
/ s: B4 J8 F9 Y1 q9 h        "last_complete": "0'0",
2 w  s! j2 j( k1 u        "log_tail": "0'0",
        "last_user_version": 0,
        "last_backfill": "MAX",
/ x$ v, L  @% c( h2 u        "last_backfill_bitwise": 0,
        "purged_snaps": [],
0 i4 I2 T4 i9 S& p* e3 L4 f        "history": {
$ ~2 W* J* P+ C* Y$ t            "epoch_created": 795,
  A, W& V7 j3 J* q0 A- ]            "epoch_pool_created": 795,
            "last_epoch_started": 797,
3 c+ i" J, G: o/ x2 E            "last_interval_started": 795,
: D+ U- p! \7 P3 i, v' e            "last_epoch_clean": 797,
            "last_interval_clean": 795,
  z) k7 E9 B# ]. O            "last_epoch_split": 0,
            "last_epoch_marked_full": 0,
0 l2 y1 }; K3 G! d/ w            "same_up_since": 795,
8 M: J% y' `& w) S, y$ n( }            "same_interval_since": 795,
            "same_primary_since": 795,
            "last_scrub": "0'0",
9 F4 u: @: \  R+ C$ L! k9 D            "last_scrub_stamp": "2019-03-05 03:02:04.611341",
' [4 {4 h  i5 |5 P            "last_deep_scrub": "0'0",
            "last_deep_scrub_stamp": "2019-03-05 03:02:04.611341",
" ~- l& m( j" B+ @1 I. e0 z            "last_clean_scrub_stamp": "2019-03-05 03:02:04.611341"
  ]4 m" C$ ], t8 G6 m: z# `. r        },
        "stats": {
            "version": "0'0",
7 d7 B5 ~+ h6 R! F            "reported_seq": "25",
            "reported_epoch": "814",
7 C7 v$ T* Z, V$ P# I5 I+ q4 R0 }            "state": "active+clean",
            "last_fresh": "2019-03-05 03:07:59.418140",
            "last_change": "2019-03-05 03:02:06.260474",
4 Z- F2 Z" z! i2 ^% a9 L            "last_active": "2019-03-05 03:07:59.418140",
            "last_peered": "2019-03-05 03:07:59.418140",
            "last_clean": "2019-03-05 03:07:59.418140",
" N" X! [' [7 g- _6 z$ |( @( `            "last_became_active": "2019-03-05 03:02:06.260323",
            "last_became_peered": "2019-03-05 03:02:06.260323",
            "last_unstale": "2019-03-05 03:07:59.418140",
* V& Y9 v$ d" l. o8 Z$ |& H' A9 z7 O            "last_undegraded": "2019-03-05 03:07:59.418140",
6 ~4 ~0 J& ]5 g4 H4 e. W7 A            "last_fullsized": "2019-03-05 03:07:59.418140",
$ |. S/ g6 P  W' P            "mapping_epoch": 795,
            "log_start": "0'0",
  E, X/ b. u) r# \            "ondisk_log_start": "0'0",
7 S* p% k$ y, d! X5 s; ?* q  G            "created": 795,
3 o; _9 Y0 T8 e  s9 J0 u  F            "last_epoch_clean": 797,
% w+ B  e& @0 k5 t2 ]; S, b            "parent": "0.0",
            "parent_split_bits": 0,
            "last_scrub": "0'0",
6 O; I, d/ l! j  ?            "last_scrub_stamp": "2019-03-05 03:02:04.611341",
            "last_deep_scrub": "0'0",
            "last_deep_scrub_stamp": "2019-03-05 03:02:04.611341",
            "last_clean_scrub_stamp": "2019-03-05 03:02:04.611341",
            "log_size": 0,
            "ondisk_log_size": 0,
9 X) e1 f9 K2 k/ W6 G+ w            "stats_invalid": false,
6 p2 K8 i* ^* Q3 x, W% B/ Z            "dirty_stats_invalid": false,
            "omap_stats_invalid": false,
            "hitset_stats_invalid": false,
9 C$ b7 |. j/ j  |1 O            "hitset_bytes_stats_invalid": false,
1 I  z$ s- y  M# ], W) m7 d* P            "pin_stats_invalid": false,
, z( Q3 B5 h/ s1 J/ c  {            "manifest_stats_invalid": false,
+ \7 j- C6 g8 a7 ]& g# s# v/ D            "snaptrimq_len": 0,
) `3 j  W0 O7 x$ m7 P            "stat_sum": {
                "num_bytes": 0,
                "num_objects": 0,
                "num_object_clones": 0,
& _- z' o- h' d; L                "num_object_copies": 0,
                "num_objects_missing_on_primary": 0,
" F% T) U5 e4 h5 }- Q5 {( h                "num_objects_missing": 0,
4 g# P0 q1 [* f  |% j; G                "num_objects_degraded": 0,
                "num_objects_misplaced": 0,
4 c  [7 R% B, P; n6 r                "num_objects_unfound": 0,
! R; [! c; n: L                "num_objects_dirty": 0,
" U% _! B5 Q- H                "num_whiteouts": 0,
                "num_read": 0,
: P* |% n  n4 G4 h                "num_read_kb": 0,
                "num_write": 0,
                "num_write_kb": 0,
                "num_scrub_errors": 0,
                "num_shallow_scrub_errors": 0,
. Q, m6 U: m, x                "num_deep_scrub_errors": 0,
                "num_objects_recovered": 0,
                "num_bytes_recovered": 0,
                "num_keys_recovered": 0,
( a+ X4 T( Z8 B                "num_objects_omap": 0,
) ^. y2 g: k* e2 u! u9 b; U8 S& i                "num_objects_hit_set_archive": 0,
                "num_bytes_hit_set_archive": 0,
                "num_flush": 0,
                "num_flush_kb": 0,
                "num_evict": 0,
                "num_evict_kb": 0,
- p0 n* S- U: ]: K                "num_promote": 0,
6 ?6 x6 u# U: a( \# T- d                "num_flush_mode_high": 0,
                "num_flush_mode_low": 0,
! E7 [* z  G- N0 }                "num_evict_mode_some": 0,
1 w+ B. @* ^! c4 M                "num_evict_mode_full": 0,
                "num_objects_pinned": 0,
                "num_legacy_snapsets": 0,
                "num_large_omap_objects": 0,
                "num_objects_manifest": 0
            },
. W! n4 M* I9 Q: G$ X* i- d            "up": [
                6
1 |4 ]# G$ j; o2 I) s            ],
" }) t1 ^; m8 [! r3 n8 u            "acting": [
                6
            ],
            "blocked_by": [],
            "up_primary": 6,
( l. y6 _. y5 w9 p3 Z0 I            "acting_primary": 6,
            "purged_snaps": []
        },
) @4 C" b2 j$ C        "empty": 1,
        "dne": 0,
        "incomplete": 0,
3 C+ C; C, M5 y& X5 j        "last_epoch_started": 797,
        "hit_set_history": {
            "current_last_update": "0'0",
            "history": []
3 J: }6 l; h' O  \' B# c2 n; B8 K        }
    },
0 k# {1 G: S4 M" \9 I! b    "peer_info": [],
1 }) R( u$ z' }    "recovery_state": [
        {
            "name": "Started/Primary/Active",
1 u+ {, Z8 O. N0 S            "enter_time": "2019-03-05 03:02:06.252112",
5 U# W$ K  G9 K' ?+ T% K3 }            "might_have_unfound": [],
2 m. F$ A3 _5 R6 ~0 E: U' E            "recovery_progress": {
                "backfill_targets": [],
                "waiting_on_backfill": [],
* L' `/ {/ k+ P5 ~                "last_backfill_started": "MIN",
4 G/ H! I5 W( \                "backfill_info": {
/ J/ ^! |' ]) P+ N7 ]                    "begin": "MIN",
+ _5 p' ~# a" U' g5 z                    "end": "MIN",
6 n8 y; k; d+ u. e# {7 Q! n                    "objects": []
# }7 n" a: ]% `" G7 W                },
                "peer_backfill_info": [],
                "backfills_in_flight": [],
) a) V6 b. ]- |/ |                "recovering": [],
                "pg_backend": {
" I" U7 U( A2 A* T: {                    "pull_from_peer": [],
/ j. S' D% H% @4 m6 d/ y' Y/ M8 @# @                    "pushing": []
                }
, h" D; e5 h% o" _' \" X& s            },
            "scrub": {
                "scrubber.epoch_start": "0",
                "scrubber.active": false,
5 v: ~( Q8 J) Y& [5 c6 p- r4 d                "scrubber.state": "INACTIVE",
                "scrubber.start": "MIN",
                "scrubber.end": "MIN",
                "scrubber.max_end": "MIN",
                "scrubber.subset_last_update": "0'0",
1 N3 j9 Y  U  s0 U! v1 N                "scrubber.deep": false,
/ v2 |3 N4 Q! `1 `                "scrubber.waiting_on_whom": []
& I/ R8 F* Y. p- H            }
        },
' a! @; E8 Y5 ^% @4 P5 i& H# y, U        {
            "name": "Started",
3 m( S4 w; |$ b. ~  j" ?3 m            "enter_time": "2019-03-05 03:02:05.356513"
, q0 w3 u6 U' M. J        }
! ?1 r* _& K5 [5 T4 E' v2 C4 j+ r    ],
    "agent_state": {}
}
: |) }* K1 W2 M3 u' D/ \* G
- v# x. g) M& Y' D& G8 Q" @. [2 ?
结论
& o7 H$ ~* y% r5 E2 C- S至此, 修复完毕.
8 q' Q* ~8 d8 M9 Y1 [9 r! T6 j
后续检查, 1 副本的下载文件夹丢了几个小姐姐【手动滑稽】

建议在直到具体是什么问题的情况下才进行这样的操作. 如果是重要的数据, 请不要使用 1 副本, 并做好备份后再进行操作.
& n5 v* J- h2 l! ~
8 u( _1 N$ M: `/ [如果是2,3 副本情况下的 pg stat unknown, 建议做好心理准备... 很可能就是没了.

2 C1 a+ R; `: o/ Y: t如果是其他 pg stuck 的情况, 建议仔细分析再进行操作.

以上.