ceph集群pg出现unfound objects处理办法

admin

现在OSD 1知道一些对象存在，但是没有这个副本活的OSD。 这种情况下，到这些对象的IO将被阻塞，集群希望失败的OSD快速地回来。这时假设返回一个IO错误给用户是适当的。
: ^) j0 b! a2 u/ P5 b
& }$ ^' u, ~1 c# g修复建议：
( i4 {. R' y# G+ m8 g- k- l8 z1、启动停止的osd
首先，你应该确认哪些对象找不到了：
9 ^4 X5 P# ]1 Y, B" g2 p, T
4 s8 \4 N8 m" \/ q/ t; C# ceph pg  1.d list_missing
& B6 \# g8 ?) r3 X$ L$ i
[starting offset, in json]
2 h: ]$ ^7 ^% c
{ "offset": { "oid": "",
    "key": "",
% v1 `, S) Q4 l$ L% Z7 U6 @    "snapid": 0,
    "hash": 0,
    "max": 0},
, G! [2 Y7 c  r: f"num_missing": 0,
"num_unfound": 0,
, w2 s! }' {' Y"objects": [
   { "oid": "object 1",
     "key": "",
7 U0 K2 m5 g+ }& N8 {     "hash": 0,
- ^7 g( V* ?! l; `7 Q     "max": 0 },
+ {* R8 V: D7 ~# ]6 Z7 q( y   ...
" E" S" P1 r+ y* k+ ]* ?],
( p4 I6 b) R* Z2 l"more": 0}

$ i' S, o( ]7 r( }如果在一次查询里列出的对象太多， more 这个字段将为 true ，你就可以查询更多。
其次，你可以找出哪些 OSD 上探测到、或可能包含数据：

# ceph pg 1.d query

"recovery_state": [
; S6 }$ `) K* T7 D    { "name": "Started\/Primary\/Active",
      "enter_time": "2022-08-01 15:15:46.713212",
1 ?2 q/ B' p6 d* s9 H# U0 C      "might_have_unfound": [
& m0 \! R9 F! ~4 Y            { "osd": 1,
              "status": "osd is down"}]},
4 e: i, H; ]! u7 F7 X# L4 u, F* V
所有停止osd.1
, [4 I2 H% o& l6 U! V" {8 e) N
8 [5 {% k2 o" n0 ]9 p! O4 H2、如果还无法恢复，你可能只有放弃丢失的对象。执行如下命令回滚或删除对象：
6 |; q0 U7 F" A( \
ceph pg  {pgname}  mark_unfound_lost revert|delete
# n6 i6 o0 ^$ P( i) f: a
+ ~( o" b( R) x& O9 g$ P; v# Erevert选项：回滚到对象的前一个版本
delete选项：完全删除这个对象
使用这个操作时注意，因为它可能是使预期存在这个对象的程序混乱。
列出带有丢失对象的PG的名字：
* \" n' f( F. N6 H$ L$ P
ceph pg {pgname} list_missing

0 W/ R% h$ U3 d4 o, Z( q举例：

[root@node2 ~]# ceph health detail | grep unfound
1 O* |/ ]. Z+ O4 S3 h: c  IHEALTH_ERR 50 pgs backfill_wait; 3 pgs backfilling; 60 pgs degraded; 1 pgs inconsistent; 1 pgs recovering; 19 pgs recovery_wait; 60 pgs stuck degraded; 73 pgs stuck unclean; 41 pgs stuck undersized; 41 pgs undersized; recovery 126807/1654284 objects degraded (7.665%); recovery 186892/1654284 objects misplaced (11.297%); recovery 1/551428 unfound (0.000%); 1 scrub errors
pg 3.39 is active+recovering+undersized+degraded+remapped, acting [14,2], 1 unfound
recovery 1/551428 unfound (0.000%)

& l! Z0 b) L& Z7 X$ k[root@node2 ~]# ceph pg 1.d mark_unfound_lost  delete
( R; g" ~0 {% K8 }+ a! wpg has 1 objects unfound and apparently lost marking
+ g! C  s- R1 S6 p2 V————————————————
, d! ]9 z+ k; h! ?$ _5 U6 o6 j; a

: O- O6 x$ B* `; P