ceph分布式集群出现pgunfound objects处理过程记录

admin

当我们执行ceph  health detail 命令时报错：
0 y' h- l. d$ [& v[root@mon1 ~]# ceph health detail
HEALTH_ERR 1 filesystem is degraded; 1 mds daemon damaged; noout flag(s) set; 1/16745475 objects unfound (0.000%); Degraded data redundancy: 2/33490950 objects degraded (0.000%), 1 pg degraded
FS_DEGRADED 1 filesystem is degraded
+ |6 g* m4 Y* u' x( s; z    fs cephfs is degraded
) B% b: o( J( O- L$ x1 O, n$ tMDS_DAMAGE 1 mds daemon damaged
    fs cephfs mds.0 is damaged
8 A! U; `; f0 U' R6 g1 ]! ?OSDMAP_FLAGS noout flag(s) set
OBJECT_UNFOUND 1/16745475 objects unfound (0.000%)
; V$ v4 |/ Z1 }* c  W% [6 V4 P    pg 7.123 has 1 unfound objects
PG_DEGRADED Degraded data redundancy: 2/33490950 objects degraded (0.000%), 1 pg degraded
    pg 7.123 is active+recovery_wait+degraded, acting [5,15], 1 unfound
9 J% [6 q5 G: a2 C7 C8 h6 l
确认哪些对象找不到了：
[root@mon1 ~]# ceph pg 7.123 list_missing
{
    "offset": {
        "oid": "",
, }  Z0 X) I1 f; R% r        "key": "",
) R5 C2 |9 I, W! I* Q# p        "snapid": 0,
        "hash": 0,
& K: ~) g7 q2 K; Y        "max": 0,
        "pool": -9223372036854775808,
        "namespace": ""
! E- q* j( ]& m4 O, Y) \8 J    },
# L7 t& l# P; W6 g: h    "num_missing": 1,
8 c5 V$ y) Y" ~6 `* O4 d    "num_unfound": 1,
    "objects": [
        {
            "oid": {
                "oid": "1000b73777d.00000000",
! ~9 r) ?3 N! z# u                "key": "",
% f9 T$ B& i- E0 v  ?0 ^                "snapid": -2,
3 k/ B& p6 Y( ]1 q                "hash": 4108226851,
                "max": 0,
+ M7 q7 t  ^# U$ w& L                "pool": 7,
                "namespace": ""
' b0 \: x9 }# M1 Z            },
            "need": "13279'1",
0 l1 g# ~& _. N9 `7 p5 D6 ?! C) e            "have": "0'0",
7 A( `7 G: b+ I+ W5 Y' t' v            "flags": "none",
; [) {" c9 ?8 w0 J# |) K            "locations": []
        }
    ],
    "more": false
}
7 J$ |2 g" s" e/ o
如果在一次查询里列出的对象太多， more 这个字段将为 true ，你就可以查询更多。
8 J- [2 s: ~) o! g% Q3 Q. }8 d0 z* O其次，你可以找出哪些 OSD 上探测到、或可能包含数据：
: K6 {) r) G  _
* Z0 B, c+ E! q6 |% H% W6 Z
ceph pg 7.123 query
9 w" j( I& E. |" Q4 k( V! Q- B% h
; j% D$ }/ m, s9 `* Y4 G

, P. A3 P( [; ]# }9 ][root@mon1 ~]# watch ceph -s
还无法恢复，只有放弃丢失的对象。执行如下命令回滚或删除对象：
; C+ ~8 S* h0 Z: z$ a
ceph pg  {pgname}  mark_unfound_lost revert|delete
' `1 G+ e) o8 y4 v' [2 @  K( j
) _, i% J% c: r% f

• revert选项：回滚到对象的前一个版本
• delete选项：完全删除这个对象
  

& Z& v  V  q) i: u
7 n: n4 W- A, n! {这里采用删除的方式解决：
9 B7 f7 F: A6 i# U( ~5 m[root@mon1 ~]# ceph pg 7.123 mark_unfound_lost delete
pg has 1 objects unfound and apparently lost marking
/ E- p9 S) H' I  z4 i[root@mon1 ~]#
5 D* d% y' [1 W  ^2 h& M