修复ceph分布式存储mon节点异常问题解决过程并重新加入到ceph平台

admin

停止有问题ceph的mon服务：
; r# O2 P! Z& {2 u+ s6 V5 \) N) r[root@host11 ~]# systemctl stop ceph-mon@host11
: H( h% H& V" i1 \! b3 n/ k
删除有问题的mon数据：
& x9 G5 {: }7 [  d! h[root@host11 ~]# rm -rf /var/lib/ceph/mon/ceph-host11/*

: e  s$ r6 X+ [- l0 I6 F尝试使用rsync方式同步：
[root@host11 ~]# rsync -avz root@host10:/var/lib/ceph/mon/ceph-host10/ /var/lib/ceph/mon/ceph-host11/
-bash: rsync: command not found
[root@host11 ~]# dnf install -y rsync
/ O2 b/ V" K1 ^-bash: dnf: command not found
* o+ W: a" \. k8 }0 ]3 T报错：无法使用rsync方式同步：

使用scp方式复制：
! D0 M+ i. @: [0 ?  d* Z[root@host11 ~]# scp root@host10:/var/lib/ceph/mon/ceph-host10/ /var/lib/ceph/mon/ceph-host11/
$ a. r, Y, i/ W0 O9 Qscp: /var/lib/ceph/mon/ceph-host10: not a regular file
4 L7 T6 B- W& J4 B. |+ ^


# \8 L5 J: D0 A  l( U8 B5 }+ `$ S[root@host11 ~]# scp -r root@host10:/var/lib/ceph/mon/ceph-host10/ /var/lib/ceph/mon/ceph-host11/
kv_backend                                                                                                                             100%    8     9.3KB/s   00:00   
LOCK                                                                                                                                   100%    0     0.0KB/s   00:00   
, J+ U( P4 _, H# Y  V# {, ?6 GCURRENT                                                                                                                                100%   17    24.8KB/s   00:00   
IDENTITY                                                                                                                               100%   37     2.7KB/s   00:00   
% g$ B( ?& Q. n/ @2 QOPTIONS-9023316                                                                                                                        100% 4943     5.9MB/s   00:00   
MANIFEST-9024281                                                                                                                       100% 4822KB  49.2MB/s   00:00   
( r* H1 y) [! c6 B. S/ [' fOPTIONS-9024284                                                                                                                        100% 4943     6.8MB/s   00:00   
9106767.log                                                                                                                            100%   14MB  51.4MB/s   00:00   
9106769.sst                                                                                                                            100%   57MB  55.0MB/s   00:01   
keyring                                                                                                                                100%   77    43.2KB/s   00:00   
done                                                                                                                                   100%    0     0.0KB/s   00:00   
systemd                                                                                                                                100%    0     0.0KB/s   00:00   
) \6 p  b# b' T* c$ e+ Imin_mon_release                                                                                                                        100%    3     0.2KB/s   00:00   

[root@host11 ceph-host10]# ls
  f( e! q+ w2 ^5 ^4 zdone  keyring  kv_backend  min_mon_release  store.db  systemd
( b& \! h$ P2 q[root@host11 ceph-host10]# mv * ..
- c, z. p: i' W. P3 }4 T[root@host11 ceph-host10]# ls
[root@host11 ceph-host10]# cd ..
2 b/ j* W6 f$ b, h- e8 m; d$ |[root@host11 ceph-host11]# ls
3 A/ ^4 H3 E7 N, b' j, uceph-host10  done  keyring  kv_backend  min_mon_release  store.db  systemd
; f2 M& s. ~" |9 m7 Y
[root@host11 ceph-host11]# ls
done  keyring  kv_backend  min_mon_release  store.db  systemd
[root@host11 ceph-host11]# ll
total 12
-rw-r--r-- 1 root root   0 Mar 28 07:20 done
-rw------- 1 root root  77 Mar 28 07:20 keyring
-rw------- 1 root root   8 Mar 28 07:20 kv_backend
7 P0 E% F3 D1 }-rw------- 1 root root   3 Mar 28 07:20 min_mon_release
2 O9 r1 n) {( ldrwxr-xr-x 2 root root 157 Mar 28 07:20 store.db
-rw-r--r-- 1 root root   0 Mar 28 07:20 systemd
[root@host11 ceph-host11]# cd ..
[root@host11 mon]# ls
ceph-host11
$ A; e( V+ K! w3 L1 h( \2 d9 v[root@host11 mon]# ll
1 ^1 ^/ O; V' jtotal 0
* u% @! \* K+ b! R! e6 ^drwxr-xr-x 3 ceph ceph 105 Mar 28 07:20 ceph-host11
[root@host11 mon]# chown -R ceph:ceph ceph-host11/
[root@host11 mon]# cd ceph-host11/
- l! w7 d( z3 Q[root@host11 ceph-host11]# ls
done  keyring  kv_backend  min_mon_release  store.db  systemd
[root@host11 ceph-host11]# ll
total 12
. l, O) }( {) @, v: e-rw-r--r-- 1 ceph ceph   0 Mar 28 07:20 done
-rw------- 1 ceph ceph  77 Mar 28 07:20 keyring
-rw------- 1 ceph ceph   8 Mar 28 07:20 kv_backend
, g! H2 W5 Q* _* g-rw------- 1 ceph ceph   3 Mar 28 07:20 min_mon_release
3 n- |  ]+ q: L: fdrwxr-xr-x 2 ceph ceph 157 Mar 28 07:20 store.db
6 t7 \2 z' l, M! S8 F# R; m, q-rw-r--r-- 1 ceph ceph   0 Mar 28 07:20 systemd

* F0 U& F" T) V/ G# q启动mon服务：
! \' K+ X# l! ~: F+ R[root@host11 ceph-host11]# systemctl start ceph-mon@host11.service
Job for ceph-mon@host11.service failed because start of the service was attempted too often. See "systemctl status ceph-mon@host11.service" and "journalctl -xe" for details.
To force a start use "systemctl reset-failed ceph-mon@host11.service" followed by "systemctl start ceph-mon@host11.service" again.
- |' n/ g/ \: M+ w) E
根据提示修改：
[root@host11 ceph-host11]# systemctl reset-failed ceph-mon@host11.service

再次启动：
[root@host11 ceph-host11]# systemctl start ceph-mon@host11.service
检查状态：
[root@host11 ceph-host11]# systemctl status ceph-mon@host11.service
● ceph-mon@host11.service - Ceph cluster monitor daemon
9 V7 u7 D; [6 f" |. V, X   Loaded: loaded (/usr/lib/systemd/system/ceph-mon@.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2026-03-28 07:22:00 CST; 11s ago
Main PID: 68995 (ceph-mon)
4 M2 S' Z) c& K: w% I+ x   CGroup: /system.slice/system-ceph\x2dmon.slice/ceph-mon@host11.service
           └─68995 /usr/bin/ceph-mon -f --cluster ceph --id host11 --setuser ceph --setgroup ceph

Mar 28 07:22:00 host11 systemd[1]: Started Ceph cluster monitor daemon.
Mar 28 07:22:06 host11 ceph-mon[68995]: 2026-03-28 07:22:06.757 7fc8eef35700 -1 mon.host11@2(electing) e3 failed to get devid for : udev_device_new_from_sub...iled on ''
4 u5 T+ ]1 x3 q! u2 k0 jMar 28 07:22:06 host11 ceph-mon[68995]: 2026-03-28 07:22:06.793 7fc8eef35700 -1 mon.host11@2(electing) e3 failed to get devid for : udev_device_new_from_sub...iled on ''
( D8 X" f$ G5 ~Hint: Some lines were ellipsized, use -l to show in full.
[root@host11 ceph-host11]#
- P& R& C3 N! E! N[root@host11 ceph-host11]#
! ?. R9 G. v: t' h. x[root@host11 ceph-host11]# ceph -s
  cluster:
    id:     9d22e36a-2bdd-4d2d-8394-ead777
    health: HEALTH_WARN
, f. |) v+ _- O6 x9 n            3 nearfull osd(s)
            5 pool(s) nearfull
  P! H: C0 x  w' Q  X3 C2 q            5 daemons have recently crashed
2 d1 a7 g3 ]% F0 V
  services:
    mon: 3 daemons, quorum host09,host10,host11 (age 22s)
    mgr: host09(active, since 6w), standbys: host11, host10
    osd: 40 osds: 40 up (since 6w), 40 in (since 6w)

& w& U/ R8 F/ c  data:
5 S0 g% ?$ \% J    pools:   16 pools, 3072 pgs
    objects: 7.15M objects, 27 TiB
    usage:   65 TiB used, 83 TiB / 147 TiB avail
    pgs:     3069 active+clean
% ~4 C$ Y  Z5 k( S& X9 r             3    active+clean+scrubbing+deep
/ G: Q* t/ R2 R# w& c2 U2 f7 F9 p
% @$ F6 k2 _2 |! q, b$ J( k, I  io:
6 q+ S, E! L9 }5 T4 V$ _+ L    client:   16 MiB/s rd, 27 MiB/s wr, 339 op/s rd, 380 op/s wr
- W4 k, U' w8 W
mon问题解决。
  Y, |! `" |& h- U
: c0 @: M6 Q: x0 M
! G  a2 q; |$ y