ceph集群pg出现unfound objects处理办法

admin

现在OSD 1知道一些对象存在，但是没有这个副本活的OSD。 这种情况下，到这些对象的IO将被阻塞，集群希望失败的OSD快速地回来。这时假设返回一个IO错误给用户是适当的。
1 M7 g% Q+ U% Y* G  d  ~0 }
+ @6 w2 s. e$ [" E+ c+ `4 s8 A! Z1 C修复建议：
4 G! T4 e" |% P1、启动停止的osd
首先，你应该确认哪些对象找不到了：
4 F) g# y+ t: e' c0 {) y& ^
9 T+ B/ s8 R1 ?# ceph pg  1.d list_missing
7 l$ z( r; ?1 {- H4 ?/ B& i
4 R! t- q* m" q5 S3 ?/ l[starting offset, in json]

{ "offset": { "oid": "",
    "key": "",
    "snapid": 0,
    "hash": 0,
    "max": 0},
; Y2 A) J* D( {/ I"num_missing": 0,
! O, i' R8 X( G2 ?3 A"num_unfound": 0,
  D; @; u2 R8 m* }"objects": [
( u( [2 N1 c& Q9 |8 N( Y* {   { "oid": "object 1",
# q0 N! g+ |5 v2 ~% F" Q     "key": "",
# t9 \2 f* E  E, F3 o4 u     "hash": 0,
     "max": 0 },
   ...
, M+ \. D: @' {& x' p3 {. o+ t) |],
  [7 ?3 ]. ?2 _! f8 i"more": 0}
% y  ^* s. w% Y" s8 J5 a" ^
如果在一次查询里列出的对象太多， more 这个字段将为 true ，你就可以查询更多。
其次，你可以找出哪些 OSD 上探测到、或可能包含数据：

8 s( W; ~  }9 J" I6 U# ceph pg 1.d query

, A# P3 Y! T, x"recovery_state": [
2 i; v) U* x" g2 V# @) G6 X' K    { "name": "Started\/Primary\/Active",
      "enter_time": "2022-08-01 15:15:46.713212",
2 E8 |# E2 u6 U' i      "might_have_unfound": [
: u" x$ F% V+ Q( m# [            { "osd": 1,
/ C& O3 a. e8 i; u. O; {6 u& Y              "status": "osd is down"}]},

所有停止osd.1
+ q) t9 E: ?# C1 z
: V8 m8 |5 |" {2 i- h$ }4 s2、如果还无法恢复，你可能只有放弃丢失的对象。执行如下命令回滚或删除对象：

ceph pg  {pgname}  mark_unfound_lost revert|delete

revert选项：回滚到对象的前一个版本
4 t2 N" e* h" O2 ^delete选项：完全删除这个对象
3 }, @, q1 C! V使用这个操作时注意，因为它可能是使预期存在这个对象的程序混乱。
列出带有丢失对象的PG的名字：

ceph pg {pgname} list_missing
8 M! i  w& A. x; i+ n% T; D  T
举例：

[root@node2 ~]# ceph health detail | grep unfound
$ v( u$ s7 X0 \: _( w/ z# |. g6 @HEALTH_ERR 50 pgs backfill_wait; 3 pgs backfilling; 60 pgs degraded; 1 pgs inconsistent; 1 pgs recovering; 19 pgs recovery_wait; 60 pgs stuck degraded; 73 pgs stuck unclean; 41 pgs stuck undersized; 41 pgs undersized; recovery 126807/1654284 objects degraded (7.665%); recovery 186892/1654284 objects misplaced (11.297%); recovery 1/551428 unfound (0.000%); 1 scrub errors
3 M* a% M0 j" W5 P9 Dpg 3.39 is active+recovering+undersized+degraded+remapped, acting [14,2], 1 unfound
5 U: r6 ]9 g4 T# ?  `5 irecovery 1/551428 unfound (0.000%)
- W2 \  [; R; {
[root@node2 ~]# ceph pg 1.d mark_unfound_lost  delete
, E. H  w( S1 _9 \pg has 1 objects unfound and apparently lost marking
————————————————