pg修复 ceph之pg修复 过程记录

admin

从一本书中了解到pg修复过程记录下：
ceph 的scrub/deep  scrub  是集群自带的自我检测并修复的功能，能够实现对object 进行自我修复，下面来试试手动修复。
5 l; y0 {0 o7 ?+ i. c
$ D' ~, k% J& M, d# X: t( _& c首先找到PG所在位置：
[root@ceph-1 ~]# ceph health detail
4 f# Z; @/ [+ CHEALTH_ERR  1 pgs inconsistent; 2 scrub errors
# g! o- k# b% {( ]/ ^pg 16.1c2 is active_clean_inconsistent ,acting  [2,5,10]
* @9 y' E. @8 P! }% D: |, e2 scrub errors

- P2 f; d! L" S
, q7 N0 i' x- X; L& Z如上所示，PG 16.1c2 当前的位置在OSD 2 5 10 上。
) Q- k& s+ V& o- C! z这时可以直接通过ceph pg repair 16.1c2  直接检测并修复，下面我们可以来挖得更深入点。

. k' n, O3 T/ W/ [) l5 I再次 找到问题所在
5 S; }4 W: [' X% m- ^& s   在相应的OSD日志里，找到错误的提示，如  grep -Hn  'ERR' /var/log/ceph/ceph-osd.2.log 。如果日志已经被切割了，用Zgrep 代替
Zgrep 可以对已经压缩的文件进行正则匹配。

log [ERR] :   16.1c2 shard 2: soid 98cbb1c2/rb.0.09213.253e1f29.00000001232c/head/ /16  digest 0 != known digest  3607295895
log [ERR] :   16.1c2 shard 5: soid 98cbb1c2/rb.0.09213.253e1f29.00000001232c/head/ /16  digest 0 != known digest  3607295895

# T/ {6 O% w1 Q# A" C
9 W, C& R/ x8 h6 Z8 [" D0 P% w从日志看，object 的摘要(digest)本应该为3607295895 ，但实际却是0。
2 q; J! x/ |% Z

最后 找到对象
+ l1 A3 c- k% @) A# q7 q1 z从日志里，我们已经获得如下信息

  问题PG是  编号为16.1c2  。
  osd的ID是2
  r$ f* O' |+ Y/ z2 V6 |4 Y6 t- I0 T  object名字是rb.0.09213.253e1f29.00000001232c
( \  _6 i. ~/ I( z- U! N& y9 g
接下来我们找到object 的具体文件所在的位置。

% s( U" G1 g: [. N. I[root@ceph-2 ~]# find /var/lib/ceph/osd/ceph-2/current/6.17b_head/ -name 'rb.0.09213.253e1f29.00000001232c*' -ls
, p6 ?4 [% J2 z- p& Z7 S( n0 O% }0 ~
33581488    0 -rw-r--r--   1 ceph     ceph            0 Jul 27 11:47 /var/lib/ceph/osd/ceph-2/current/16.1c2_head/DIR_C/DIR_1/rb.0.09213.253e1f29.00000001232c__head_58BCC1C1__11

# J$ B9 e& \, q& N; o& [8 W
下面可以做这样的事情：
+ g/ ?& R3 q. F) y  在每个系统上检测一下这个object的大小
' y: Y3 l: q, ]3 y& ~( k8 T+ G8 _  在每个系统上校验胰一下这个object 的MD5值

* h7 U5 n' Y* d/ v, P' b  \
修复问题：
+ i9 S  h2 e1 I/ c2 w" i4 U9 f# q  修复步骤如下：
    停止所有错误object的osd进程。
# m% q' ]$ j+ E- o% N4 @1 F    日志同步到磁盘  ceph-osd-i <osd ID> --flush-journal。
    移出有错误的object。
- ?0 N$ A0 F. ^& _    启动OSD进程。
) h: e# h. z9 v    调用ceph pg repair 16.1c2