CEPH集群MON全部挂掉后恢复方法

admin

本文介绍ceph集群中所有mon服务均无法启动或者说mon节点所在服务器os全部无法启动情况下的恢复方法，当然，这种极端情况出现的概率非常低，这里前提是要做好mon节点的配置文件和元数据备份，不然就没办法恢复了。我的环境是使用kolla部署的，恢复方法也都是基于kolla工具下才有效，如果采用物理机部署，具体操作上会有所区别，但大致的思路和原理是一样的。

4 z7 e3 b7 r& y! q# b- x0 ?备份配置文件及元数据

: c8 G7 X! |  S采用kolla部署，默认的元数据存储路径如下
* i4 y  X4 h* f
[root@node01 mon]# cd /var/lib/docker/volumes/ceph_mon/_data/mon/ceph-172.21.196.11/
[root@node01 ceph-172.21.196.11]# ls
keyring  store.db
+ b4 c. y! P; |( R, `1
2
+ C; D  f' d/ A6 A& L3
4
将该目录完整备份
/ c9 |) n: p5 g1 _( R6 {
[root@node01 ~]# cp -r /var/lib/docker/volumes/ceph_mon/_data/  /root/ceph-mon-bak/
+ |; ?7 [; \; H" R5 E1
) W: u" ]9 S! m$ p7 M1 x. O0 f2
' ~2 k1 t9 L# C" B4 T* v另外还有 配置文件，里面保存了key，默认路径如下：

' |2 |. q+ B! P  I- ^[root@node01 ~]# cd /etc/kolla/ceph-mon/
/ N$ |* V( K$ p& r) q[root@node01 ceph-mon]# ls
) x9 @( A8 W! R1 A$ E* {: b6 [' yceph.client.admin.keyring  ceph.client.mon.keyring  ceph.client.radosgw.keyring  ceph.conf  ceph.monmap  config.json
1
2
3
4
同样，将该目录完整备份
0 N3 K% J; O% ?, z/ b; Y
1 `* \/ W- g' \) L+ R6 T[root@node01 ceph-mon]# cp -r /etc/kolla/ceph-mon /root/ceph-mon-bak/
/ b# R% C. q! G. p9 |3 s) w' @1
; I" E) x- b  ^& T3 S  W2
1 l- R% `1 r7 M8 A! _7 Y+ B0 j4 L我这里所有的相关进程都是跑在docker里，删除mon服务和数据之前先看下集群的整体状态

[root@node01 kolla]# docker exec -ti ceph_mon /bin/bash
(ceph-mon)[root@node01 /]# ceph -s
! d. i& J* ?4 j! D4 g- |. v    cluster 84ff3941-2337-40ca-bd76-fb3be71b0fdd
     health HEALTH_OK
" x+ P7 y  R; I: s3 H! M3 C( \3 [) Z     monmap e4: 2 mons at {172.21.196.11=172.21.196.11:6789/0,172.21.196.12=172.21.196.12:6789/0}
            election epoch 44, quorum 0,1 172.21.196.11,172.21.196.12
     osdmap e491: 15 osds: 15 up, 15 in
0 u# a, m) _0 X, D  C9 E            flags sortbitwise,require_jewel_osds
      pgmap v679746: 7096 pgs, 25 pools, 184 GB data, 50069 objects
            555 GB used, 39643 GB / 40199 GB avail
                7096 active+clean
1
" r6 G* m. q$ L) Z. x- v2
3
% o/ J3 Y! {  M# a* m4 L3 ]4
: j2 M3 c4 y1 D( o( o5 `* a5
9 d0 |  A% ]& S* n- i9 q* \/ A6
8 r4 u" E, T% a# F& G7
) z8 U0 e3 L+ ?' K! u% F8
9
( d& @8 q+ i( m6 n  `+ _! g10
11
12
9 }6 y$ s7 {, W8 b; g( T0 L有2个mon节点，15个osd。现在我们将mon数据和容器都删除掉

[root@node01 kolla]# docker rm ceph-mon -f
* m( E. g* F: E5 F0 o8 c+ a" P/ |[root@node01 kolla]# rm -rf /var/lib/docker/volumes/ceph_mon/
[root@node01 kolla]# rm -rf /etc/kolla/ceph-mon/
1
2
+ Y* z" Q4 @0 k0 a! L' t$ F! ^3
另外一个节点执行同样的操作。删除完之后，修改kolla的配置文件，执行部署命令，会发现有错误，在ceph创建keyring时中断了，报错信息如下：

TASK [ceph : Fetching Ceph keyrings] *******************************************

+ v. _! q! H6 ]7 Y: v6 s: Sfatal: [controller01]: FAILED! => {“failed”: true, “msg”: “The conditional check ‘{{ (ceph_files_json.stdout | from_json).changed }}’ failed. The error was: No JSON object could be decoded”
8 ]  j7 ]" w7 y5 E1 @4 n' F- t. L1
2
! `/ D5 r! s  H3
3 ]5 [3 N9 b! X! F; Z原因是在我删除容器和配置文件后，kolla生成的相关volume是没有删除的。其还存在于/var/lib/docker/volume下。因此当再次构建kolla时，这些已经存在的volume会阻止ceph_mon的启动，会导致上述错误Ceph keyring无法获取而产生的一些错误。因此 删除掉docker volume ls下的卷。再次部署就能够成功的解决问题。

* s6 d: f0 M; k/ x. O[root@node02 kolla]# docker volume ls
DRIVER              VOLUME NAME
' r& R' z# x% q! a  |local               ceph_mon
4 l: X5 n5 Z1 W9 u& D6 \, i  plocal               ceph_mon_config
0 x& j' N" l  Mlocal               kolla_logs
local               libvirtd
! t- X- }1 b" `/ g) B) c+ ilocal               nova_compute
/ I2 L$ u9 e8 q% zlocal               nova_libvirt_qemu
local               openvswitch_db
[root@node02 kolla]# docker volume rm ceph_mon ceph_mon_config
1
2
4 X* n# `# J2 S, p/ ^. ~, a( s7 X3
4
5
4 }8 T9 e9 }: Z6
2 j. u( n2 Z+ l7
' e/ Q9 @9 H7 W; |% k! w. c' f8
! j7 q4 n0 t& ~" P9
4 a' R3 V) |4 `$ ~0 M# z8 s! D10
& I) V1 c5 ~. Z3 F0 f这时再部署即可成功。这里有2个mon节点，我是一个一个的加入的，添加完一个mon节点后，查看集群状态

(ceph-mon)[root@node02 /]# ceph -s
    cluster 84ff3941-2337-40ca-bd76-fb3be71b0fdd
     health HEALTH_ERR
            no osds
& v1 z; b% `3 K6 f3 ?+ }9 ~     monmap e1: 1 mons at {172.21.196.12=172.21.196.12:6789/0}
            election epoch 3, quorum 0 172.21.196.12
! @8 G* P- F5 f4 m. H) w8 a0 u     osdmap e2: 0 osds: 0 up, 0 in
& r. h7 J3 W5 H2 _% r3 a9 u            flags sortbitwise,require_jewel_osds
5 l/ k7 p1 ^+ f3 }( j) x      pgmap v3: 320 pgs, 2 pools, 0 bytes data, 0 objects
            0 kB used, 0 kB / 0 kB avail
+ ]& ~4 [: d; J" g7 J! O" Q, g                 320 creating
4 i; }  x- M3 H& ]# C1
2
3
2 t9 W' K5 f& l$ t- B2 F/ f4
- f' Y) A; g' ]5
6
7
8
- d5 ^  P' E3 O& ^+ Z5 k8 [9
4 s2 E# ?+ K, p: W5 _10
" i; ^, P, h& T& ^9 A11
这其实 是一个全新的ceph集群，现在把之前备份的数据拷贝过来，覆盖新的数据

. o+ g) L( F3 I: ^[root@node02 ~]# cp -r ceph-mon-bak/_data/* /var/lib/docker/volumes/ceph_mon/_data/
cp: overwrite ‘/var/lib/docker/volumes/ceph_mon/_data/mon/ceph-172.21.196.12/store.db/LOCK’? y
cp: overwrite ‘/var/lib/docker/volumes/ceph_mon/_data/mon/ceph-172.21.196.12/store.db/CURRENT’? y
cp: overwrite ‘/var/lib/docker/volumes/ceph_mon/_data/mon/ceph-172.21.196.12/keyring’? y
7 H" s2 t8 V3 l; j[root@node02 ~]# cp -r ceph-mon-bak/ceph-mon/* /etc/kolla/ceph-mon/
cp: overwrite ‘/etc/kolla/ceph-mon/ceph.client.admin.keyring’? y
3 B' z& |! a1 I9 @- x) c5 R, s$ Pcp: overwrite ‘/etc/kolla/ceph-mon/ceph.client.mon.keyring’? y
cp: overwrite ‘/etc/kolla/ceph-mon/ceph.client.radosgw.keyring’? y
cp: overwrite ‘/etc/kolla/ceph-mon/ceph.conf’? y
$ Q9 k* s# L1 K6 Tcp: overwrite ‘/etc/kolla/ceph-mon/ceph.monmap’? y
cp: overwrite ‘/etc/kolla/ceph-mon/config.json’? y
1
2
0 ~8 f# s+ e8 q% J3
  v' V. Y8 h9 F0 z" A4
5
* Y. f; _, K8 g7 Z. Q' H6
0 J/ k$ p: I; ^3 B* C; P- V7
8
) R6 y  [, U! O$ w9
10
( D0 A, B4 ~5 l7 Y/ `& A0 c11
重启mon服务后，查看集群状态
' r2 A* q: m! o. o
(ceph-mon)[root@node02 /]# ceph -s
- b' a/ ?/ J' y* U5 |; F# \Error connecting to cluster: TimedOut
/ L' h6 T# T5 y, w+ _9 F1
2
这里只启动了一个mon节点，整个集群状态还不正常，需要把另外一个mon节点再恢复，整个集群状态才能恢复
/ V$ e$ f* x# p6 t
/ x4 ?; M( W) L8 l( S  Z恢复第二个节点的配置文件

[root@node01 ceph-mon]# cp -r /root/ceph-mon-bak/ceph-mon/* .
0 X- C3 Z' z+ n3 t$ e9 lcp: overwrite ‘./ceph.client.admin.keyring’? y
cp: overwrite ‘./ceph.client.mon.keyring’? y
6 ~; {: o2 t; ~# Ucp: overwrite ‘./ceph.client.radosgw.keyring’? y
cp: overwrite ‘./ceph.conf’? y
0 Y5 R6 N8 s2 i+ acp: overwrite ‘./ceph.monmap’? y
( M- b0 n, S( u- v+ b! j: Ycp: overwrite ‘./config.json’? y
/ B4 |, ?) \! z9 S& F6 t3 V[root@node01 ceph-mon]#
[root@node01 ceph-mon]# cp -r /root/ceph-mon-bak/_data/
bootstrap-mds/ bootstrap-osd/ bootstrap-rgw/ mds/           mon/           osd/           radosgw/       tmp/           
& C& M) [2 L& b. Q# `[root@node01 ceph-mon]# cp -r /root/ceph-mon-bak/_data/* /var/lib/docker/volumes/ceph_mon/_data/
8 }- `4 C7 g! h. n# S# xcp: overwrite ‘/var/lib/docker/volumes/ceph_mon/_data/mon/ceph-172.21.196.11/store.db/LOCK’? y
cp: overwrite ‘/var/lib/docker/volumes/ceph_mon/_data/mon/ceph-172.21.196.11/store.db/CURRENT’? y
cp: overwrite ‘/var/lib/docker/volumes/ceph_mon/_data/mon/ceph-172.21.196.11/keyring’? y
1
6 l+ i1 x7 l% y% o2
( V9 _2 |$ k# k' e& s) v3 a' d3
0 c0 n6 }1 R" k; h- o, e: Y4
5
6
7
8
* N  x% i/ `5 x9
10
  K0 z: l6 [) y0 b6 Y, j1 ~11
" R: }4 f4 q- B, h12
13
% V% a9 v. Q  P. Z9 F  }14
' D1 P  w- K& n. t- m4 K- n15
再次查看集群状态
2 U; M3 j5 @& M  x- J- c# j5 k4 O: l! [
[root@node01 ceph-mon]# docker exec -ti ceph_mon bash
: ?/ E# g5 ?+ H& _# q(ceph-mon)[root@node01 /]# ceph -s
    cluster 84ff3941-2337-40ca-bd76-fb3be71b0fdd
     health HEALTH_OK
& `. p& w6 J: J5 y" i2 x     monmap e4: 2 mons at {172.21.196.11=172.21.196.11:6789/0,172.21.196.12=172.21.196.12:6789/0}
# B' |& Z- _; d. ?; n            election epoch 44, quorum 0,1 172.21.196.11,172.21.196.12
: t! V) `+ i" c$ H9 ?( g     osdmap e491: 15 osds: 15 up, 15 in
3 \- i. x# `+ Q  }& W+ C) |            flags sortbitwise,require_jewel_osds
" p% z1 T( j, z6 ?+ u' x      pgmap v679711: 7096 pgs, 25 pools, 184 GB data, 50069 objects
+ x, F: V# O% t- R+ h% g# {9 w  v            555 GB used, 39643 GB / 40199 GB avail
) A2 b, o% [9 Q3 K# U5 p                7096 active+clean
" }5 [1 U! Q- \' V. D* O9 d% |2 y