修复ceph分布式存储mon节点异常问题解决过程并重新加入到ceph平台

admin

停止有问题ceph的mon服务：
* l& ^6 a/ F& p0 V' I[root@host11 ~]# systemctl stop ceph-mon@host11
8 F( ~5 K; [- @7 `: q, Z
删除有问题的mon数据：
[root@host11 ~]# rm -rf /var/lib/ceph/mon/ceph-host11/*

: ~: W3 H' X- z/ w尝试使用rsync方式同步：
3 w) A/ G6 K* U4 G[root@host11 ~]# rsync -avz root@host10:/var/lib/ceph/mon/ceph-host10/ /var/lib/ceph/mon/ceph-host11/
-bash: rsync: command not found
[root@host11 ~]# dnf install -y rsync
9 a1 o+ {5 B# a0 \3 n-bash: dnf: command not found
& d" H5 h4 B2 E) W* l4 X4 |" F; o报错：无法使用rsync方式同步：

" o9 w/ Y- e6 m$ W使用scp方式复制：
[root@host11 ~]# scp root@host10:/var/lib/ceph/mon/ceph-host10/ /var/lib/ceph/mon/ceph-host11/
scp: /var/lib/ceph/mon/ceph-host10: not a regular file
7 x- H& P1 \# ^- @8 N  J! @$ u! w


. x2 x( V8 a, H8 e, W* @[root@host11 ~]# scp -r root@host10:/var/lib/ceph/mon/ceph-host10/ /var/lib/ceph/mon/ceph-host11/
( M/ c- F. s& F9 C) D; B, Ikv_backend                                                                                                                             100%    8     9.3KB/s   00:00   
LOCK                                                                                                                                   100%    0     0.0KB/s   00:00   
CURRENT                                                                                                                                100%   17    24.8KB/s   00:00   
IDENTITY                                                                                                                               100%   37     2.7KB/s   00:00   
OPTIONS-9023316                                                                                                                        100% 4943     5.9MB/s   00:00   
MANIFEST-9024281                                                                                                                       100% 4822KB  49.2MB/s   00:00   
OPTIONS-9024284                                                                                                                        100% 4943     6.8MB/s   00:00   
6 c' v" O" p! x6 A2 w" v  |9106767.log                                                                                                                            100%   14MB  51.4MB/s   00:00   
, R" t6 p" W7 \" a3 ^! y9106769.sst                                                                                                                            100%   57MB  55.0MB/s   00:01   
keyring                                                                                                                                100%   77    43.2KB/s   00:00   
done                                                                                                                                   100%    0     0.0KB/s   00:00   
8 ^; \+ ?7 r8 c. \systemd                                                                                                                                100%    0     0.0KB/s   00:00   
min_mon_release                                                                                                                        100%    3     0.2KB/s   00:00   
% ^4 t; g1 K6 U
[root@host11 ceph-host10]# ls
  X" v1 w1 c: x* O+ T$ Cdone  keyring  kv_backend  min_mon_release  store.db  systemd
) L9 b' z% Z: O9 h/ |, E[root@host11 ceph-host10]# mv * ..
[root@host11 ceph-host10]# ls
5 G7 J) c) i1 p3 x! @[root@host11 ceph-host10]# cd ..
[root@host11 ceph-host11]# ls
4 W4 C( V! O7 O; |8 n" mceph-host10  done  keyring  kv_backend  min_mon_release  store.db  systemd
4 ^6 o7 ^) q( q
9 i3 F1 w7 ]+ L% ?: c* [. l[root@host11 ceph-host11]# ls
6 H" c/ A5 Y0 G4 A2 adone  keyring  kv_backend  min_mon_release  store.db  systemd
; i/ n/ O) t. [0 m- {% G3 m[root@host11 ceph-host11]# ll
total 12
4 [) e, ~/ }8 ~: t- O-rw-r--r-- 1 root root   0 Mar 28 07:20 done
-rw------- 1 root root  77 Mar 28 07:20 keyring
! e5 ]& G2 A, A/ A4 D-rw------- 1 root root   8 Mar 28 07:20 kv_backend
-rw------- 1 root root   3 Mar 28 07:20 min_mon_release
drwxr-xr-x 2 root root 157 Mar 28 07:20 store.db
8 L3 e5 g1 `9 D7 F! R2 G  C) T7 ~" D3 ]-rw-r--r-- 1 root root   0 Mar 28 07:20 systemd
, c1 Z! E' w' u( a* X[root@host11 ceph-host11]# cd ..
[root@host11 mon]# ls
7 e4 w6 b% p+ w  uceph-host11
" e$ }. a; ]$ c; q/ q[root@host11 mon]# ll
/ t7 b7 ~+ H( G' V1 `total 0
/ S' f1 V+ \7 W- Q2 ?drwxr-xr-x 3 ceph ceph 105 Mar 28 07:20 ceph-host11
[root@host11 mon]# chown -R ceph:ceph ceph-host11/
5 c8 x7 _: p5 [: k+ F* L4 \[root@host11 mon]# cd ceph-host11/
[root@host11 ceph-host11]# ls
5 a' K1 U. \1 e, h; n8 a- }done  keyring  kv_backend  min_mon_release  store.db  systemd
) U4 c7 i1 b# k[root@host11 ceph-host11]# ll
7 Y2 ~) {$ }$ o" ]/ G& [1 @; ntotal 12
-rw-r--r-- 1 ceph ceph   0 Mar 28 07:20 done
. c: y7 y; M* Q3 u8 {1 K  v-rw------- 1 ceph ceph  77 Mar 28 07:20 keyring
-rw------- 1 ceph ceph   8 Mar 28 07:20 kv_backend
/ k  Y5 N* v: v5 I: r, b: ^, V-rw------- 1 ceph ceph   3 Mar 28 07:20 min_mon_release
drwxr-xr-x 2 ceph ceph 157 Mar 28 07:20 store.db
/ T+ [3 V; t0 p) G- C-rw-r--r-- 1 ceph ceph   0 Mar 28 07:20 systemd
3 k* k0 |3 T6 W
启动mon服务：
[root@host11 ceph-host11]# systemctl start ceph-mon@host11.service
9 o# l( m3 B: f. i8 ^! e4 OJob for ceph-mon@host11.service failed because start of the service was attempted too often. See "systemctl status ceph-mon@host11.service" and "journalctl -xe" for details.
To force a start use "systemctl reset-failed ceph-mon@host11.service" followed by "systemctl start ceph-mon@host11.service" again.
* N( o" }+ n7 F8 j' v
根据提示修改：
[root@host11 ceph-host11]# systemctl reset-failed ceph-mon@host11.service
7 x! p; D' E9 E, ?
再次启动：
, P' p: A- A3 h# E# a  }1 e[root@host11 ceph-host11]# systemctl start ceph-mon@host11.service
' }4 w0 ]( L6 s: t3 e+ q3 Q# q0 O检查状态：
, D& [9 v% P! X4 E. q) u4 ~  Q9 c[root@host11 ceph-host11]# systemctl status ceph-mon@host11.service
! W# `) j7 E' D● ceph-mon@host11.service - Ceph cluster monitor daemon
6 R/ w3 W6 n- P  F   Loaded: loaded (/usr/lib/systemd/system/ceph-mon@.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2026-03-28 07:22:00 CST; 11s ago
5 k; A# Q5 @5 s5 [6 P* H Main PID: 68995 (ceph-mon)
   CGroup: /system.slice/system-ceph\x2dmon.slice/ceph-mon@host11.service
           └─68995 /usr/bin/ceph-mon -f --cluster ceph --id host11 --setuser ceph --setgroup ceph

Mar 28 07:22:00 host11 systemd[1]: Started Ceph cluster monitor daemon.
Mar 28 07:22:06 host11 ceph-mon[68995]: 2026-03-28 07:22:06.757 7fc8eef35700 -1 mon.host11@2(electing) e3 failed to get devid for : udev_device_new_from_sub...iled on ''
1 }0 F2 e& K& j8 WMar 28 07:22:06 host11 ceph-mon[68995]: 2026-03-28 07:22:06.793 7fc8eef35700 -1 mon.host11@2(electing) e3 failed to get devid for : udev_device_new_from_sub...iled on ''
4 p( E! t6 \. o( THint: Some lines were ellipsized, use -l to show in full.
; Z) {$ o( _- p1 _/ l[root@host11 ceph-host11]#
[root@host11 ceph-host11]#
8 {. y6 L/ Q9 Y  ]# `* H# S( h[root@host11 ceph-host11]# ceph -s
  cluster:
    id:     9d22e36a-2bdd-4d2d-8394-ead777
    health: HEALTH_WARN
! f% D" B7 e/ G/ I( x# b+ o            3 nearfull osd(s)
. Q8 y+ M9 P# S            5 pool(s) nearfull
            5 daemons have recently crashed

/ M, |7 L# a7 J0 X8 O0 Y9 T# B* n, T  services:
; X; z: j3 i" f% V0 f    mon: 3 daemons, quorum host09,host10,host11 (age 22s)
5 H4 W+ L* U) f3 `% I    mgr: host09(active, since 6w), standbys: host11, host10
    osd: 40 osds: 40 up (since 6w), 40 in (since 6w)

  data:
% v9 b2 G, M* Z* o    pools:   16 pools, 3072 pgs
# h" \" O- z$ u$ U/ B) u    objects: 7.15M objects, 27 TiB
- p  B9 c# ^9 e+ @    usage:   65 TiB used, 83 TiB / 147 TiB avail
) G, f0 Z4 s! f    pgs:     3069 active+clean
             3    active+clean+scrubbing+deep

  io:
    client:   16 MiB/s rd, 27 MiB/s wr, 339 op/s rd, 380 op/s wr

mon问题解决。

& H: ~9 y1 Q# _; d( r- s
- |5 y. {" O  r$ ]; y