ceph分布式集群出现pgunfound objects处理过程记录

admin

当我们执行ceph  health detail 命令时报错：
6 H$ x5 W% J' X( Y/ r# N[root@mon1 ~]# ceph health detail
HEALTH_ERR 1 filesystem is degraded; 1 mds daemon damaged; noout flag(s) set; 1/16745475 objects unfound (0.000%); Degraded data redundancy: 2/33490950 objects degraded (0.000%), 1 pg degraded
FS_DEGRADED 1 filesystem is degraded
    fs cephfs is degraded
/ O2 K1 y- Q4 i# p0 a: i( kMDS_DAMAGE 1 mds daemon damaged
    fs cephfs mds.0 is damaged
8 {5 T: n. Q- F; f' l( T: @OSDMAP_FLAGS noout flag(s) set
: j6 s! `+ I  cOBJECT_UNFOUND 1/16745475 objects unfound (0.000%)
- |% K- ]/ G5 |    pg 7.123 has 1 unfound objects
# l# H4 b" p8 n6 a9 z2 YPG_DEGRADED Degraded data redundancy: 2/33490950 objects degraded (0.000%), 1 pg degraded
    pg 7.123 is active+recovery_wait+degraded, acting [5,15], 1 unfound

确认哪些对象找不到了：
[root@mon1 ~]# ceph pg 7.123 list_missing
{
* B* _6 R5 t$ V; b, D    "offset": {
. \: k/ y' I7 ?. e- n( U9 v2 S        "oid": "",
' [* x' @: y4 L        "key": "",
        "snapid": 0,
! s# y7 ^7 i! G" v( C        "hash": 0,
2 H6 g  D" f9 r0 D$ w        "max": 0,
8 N4 ?2 }# [/ y' ~1 M# v* L! ]        "pool": -9223372036854775808,
2 o# t; q3 c0 |( d, M        "namespace": ""
. ^& n& m% s  q/ e    },
) ]( B3 S+ s! F! T    "num_missing": 1,
! c4 D" `5 g8 Q; _- k% ]) u8 S+ J    "num_unfound": 1,
    "objects": [
! z! T8 R8 R) B+ {1 [: b        {
            "oid": {
                "oid": "1000b73777d.00000000",
                "key": "",
                "snapid": -2,
6 p: K" Z$ b- b                "hash": 4108226851,
                "max": 0,
$ ^) l# e- W( R* _* k- J" J$ s4 l                "pool": 7,
                "namespace": ""
            },
            "need": "13279'1",
% x; m3 H: @% B+ j' ?" h2 n            "have": "0'0",
            "flags": "none",
# ^- C/ ^% u) g& ~( b            "locations": []
        }
    ],
6 b' A$ ?7 M! ^3 J* N( l8 U8 c    "more": false
0 X" f- a: u9 E}
$ @# ^/ Q* p! v
如果在一次查询里列出的对象太多， more 这个字段将为 true ，你就可以查询更多。
% k- B! H" w( j' ?9 W, ?其次，你可以找出哪些 OSD 上探测到、或可能包含数据：
/ t4 |/ h2 t  z- X2 v& D
1 X3 n# E9 R9 v/ U  \% h" }
4 G2 Z* |3 o' J4 n. b, H# dceph pg 7.123 query
; P7 o" m6 R' P/ a2 o% D0 t
# P% H  J5 `) [

[root@mon1 ~]# watch ceph -s
7 B- R1 q  g3 G6 u' f还无法恢复，只有放弃丢失的对象。执行如下命令回滚或删除对象：

ceph pg  {pgname}  mark_unfound_lost revert|delete
4 D4 Z  |/ x" P) R3 q9 m% R
4 o- Q* e9 Q7 y4 O0 g

• revert选项：回滚到对象的前一个版本
• delete选项：完全删除这个对象
  

3 V* f+ {: ]1 x! x4 r这里采用删除的方式解决：
[root@mon1 ~]# ceph pg 7.123 mark_unfound_lost delete
+ C3 V7 o8 k$ y2 opg has 1 objects unfound and apparently lost marking
; s7 w% o/ [2 {5 f' x[root@mon1 ~]#

0 |3 b( G) u7 v6 X& p1 Y