修复ceph分布式存储mon节点异常问题解决过程并重新加入到ceph平台

admin

停止有问题ceph的mon服务：
[root@host11 ~]# systemctl stop ceph-mon@host11
4 U- U/ E$ i9 o$ x1 x
删除有问题的mon数据：
# T- s% c+ y. T) G[root@host11 ~]# rm -rf /var/lib/ceph/mon/ceph-host11/*

& ~+ K. _+ [4 K) s' U尝试使用rsync方式同步：
+ e% N2 X, W( [+ S5 S# `[root@host11 ~]# rsync -avz root@host10:/var/lib/ceph/mon/ceph-host10/ /var/lib/ceph/mon/ceph-host11/
-bash: rsync: command not found
[root@host11 ~]# dnf install -y rsync
" _' G2 C4 e6 a) T-bash: dnf: command not found
报错：无法使用rsync方式同步：

; ^# S( ^# q& r0 W8 \4 R9 a; K3 k使用scp方式复制：
[root@host11 ~]# scp root@host10:/var/lib/ceph/mon/ceph-host10/ /var/lib/ceph/mon/ceph-host11/
/ z8 ~- |7 w7 a2 z$ H" @scp: /var/lib/ceph/mon/ceph-host10: not a regular file

% k9 f0 W5 T1 B8 i+ V0 I2 a) x

[root@host11 ~]# scp -r root@host10:/var/lib/ceph/mon/ceph-host10/ /var/lib/ceph/mon/ceph-host11/
) c8 c* H8 b- Jkv_backend                                                                                                                             100%    8     9.3KB/s   00:00   
% c. t# u9 I7 ^1 RLOCK                                                                                                                                   100%    0     0.0KB/s   00:00   
2 N; n; m* q+ P5 yCURRENT                                                                                                                                100%   17    24.8KB/s   00:00   
IDENTITY                                                                                                                               100%   37     2.7KB/s   00:00   
3 S: e5 k& e* ~7 E- XOPTIONS-9023316                                                                                                                        100% 4943     5.9MB/s   00:00   
MANIFEST-9024281                                                                                                                       100% 4822KB  49.2MB/s   00:00   
OPTIONS-9024284                                                                                                                        100% 4943     6.8MB/s   00:00   
+ D) }7 E2 g; m5 G) w/ W5 P. E! O9106767.log                                                                                                                            100%   14MB  51.4MB/s   00:00   
, S8 N2 {. c; u) v. ~- @9106769.sst                                                                                                                            100%   57MB  55.0MB/s   00:01   
: ^. R! y) N6 Z5 c. xkeyring                                                                                                                                100%   77    43.2KB/s   00:00   
done                                                                                                                                   100%    0     0.0KB/s   00:00   
systemd                                                                                                                                100%    0     0.0KB/s   00:00   
) s* F# a9 M6 J# ^, ]* G9 Nmin_mon_release                                                                                                                        100%    3     0.2KB/s   00:00   

[root@host11 ceph-host10]# ls
9 n! Q+ I7 t- v% d* o5 f& Gdone  keyring  kv_backend  min_mon_release  store.db  systemd
[root@host11 ceph-host10]# mv * ..
% L  v: _9 z4 b% |[root@host11 ceph-host10]# ls
[root@host11 ceph-host10]# cd ..
[root@host11 ceph-host11]# ls
1 v: \: I# v9 {7 t5 Wceph-host10  done  keyring  kv_backend  min_mon_release  store.db  systemd
  c/ n3 D, I5 H9 O7 V1 b
& m7 |$ R+ B) x  e( B% `[root@host11 ceph-host11]# ls
" Z1 R3 C/ _& ~* Idone  keyring  kv_backend  min_mon_release  store.db  systemd
[root@host11 ceph-host11]# ll
total 12
-rw-r--r-- 1 root root   0 Mar 28 07:20 done
-rw------- 1 root root  77 Mar 28 07:20 keyring
: ]9 |0 o) @4 D. d: x) r' Q-rw------- 1 root root   8 Mar 28 07:20 kv_backend
-rw------- 1 root root   3 Mar 28 07:20 min_mon_release
drwxr-xr-x 2 root root 157 Mar 28 07:20 store.db
-rw-r--r-- 1 root root   0 Mar 28 07:20 systemd
[root@host11 ceph-host11]# cd ..
9 ~  Z  n. G: w! c1 t/ ][root@host11 mon]# ls
ceph-host11
[root@host11 mon]# ll
) ?8 ?- q3 g  D' x$ n1 G: C+ Ytotal 0
drwxr-xr-x 3 ceph ceph 105 Mar 28 07:20 ceph-host11
[root@host11 mon]# chown -R ceph:ceph ceph-host11/
- l4 R' `* Q8 a! B3 H& X[root@host11 mon]# cd ceph-host11/
: |8 z' H" B! y0 M2 s* G9 M- G% m[root@host11 ceph-host11]# ls
done  keyring  kv_backend  min_mon_release  store.db  systemd
( ?( L0 M1 V# y! Z" ^8 R4 ]3 t+ L- @$ r* b[root@host11 ceph-host11]# ll
2 ?6 K1 G9 f1 h! V' O8 r0 a& I/ ztotal 12
8 g9 G6 r6 `8 K$ L-rw-r--r-- 1 ceph ceph   0 Mar 28 07:20 done
-rw------- 1 ceph ceph  77 Mar 28 07:20 keyring
0 h( ~8 ^6 t) q' H! j-rw------- 1 ceph ceph   8 Mar 28 07:20 kv_backend
& K$ C% u6 c$ p; u-rw------- 1 ceph ceph   3 Mar 28 07:20 min_mon_release
2 j3 ?1 v8 B( C/ A, w4 `drwxr-xr-x 2 ceph ceph 157 Mar 28 07:20 store.db
-rw-r--r-- 1 ceph ceph   0 Mar 28 07:20 systemd

启动mon服务：
[root@host11 ceph-host11]# systemctl start ceph-mon@host11.service
: M- Y; z( l6 v" s8 D* x9 PJob for ceph-mon@host11.service failed because start of the service was attempted too often. See "systemctl status ceph-mon@host11.service" and "journalctl -xe" for details.
4 h3 B9 H( x* C* bTo force a start use "systemctl reset-failed ceph-mon@host11.service" followed by "systemctl start ceph-mon@host11.service" again.
/ B' r( }5 }: P' v/ q9 ]3 e
6 @* \# x! f- v+ l+ Z根据提示修改：
[root@host11 ceph-host11]# systemctl reset-failed ceph-mon@host11.service
& B8 Q( P, i& t" p& H  [# r; [, X0 O
* q# E( J% Z& }9 x* q2 `再次启动：
[root@host11 ceph-host11]# systemctl start ceph-mon@host11.service
检查状态：
( b6 c6 n* J4 C' Q[root@host11 ceph-host11]# systemctl status ceph-mon@host11.service
● ceph-mon@host11.service - Ceph cluster monitor daemon
   Loaded: loaded (/usr/lib/systemd/system/ceph-mon@.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2026-03-28 07:22:00 CST; 11s ago
Main PID: 68995 (ceph-mon)
2 I% N+ B+ o4 d& M: s' h7 {- r# Z   CGroup: /system.slice/system-ceph\x2dmon.slice/ceph-mon@host11.service
           └─68995 /usr/bin/ceph-mon -f --cluster ceph --id host11 --setuser ceph --setgroup ceph

0 t) E2 N; I( \3 CMar 28 07:22:00 host11 systemd[1]: Started Ceph cluster monitor daemon.
+ C) D( `4 b6 t) m/ RMar 28 07:22:06 host11 ceph-mon[68995]: 2026-03-28 07:22:06.757 7fc8eef35700 -1 mon.host11@2(electing) e3 failed to get devid for : udev_device_new_from_sub...iled on ''
Mar 28 07:22:06 host11 ceph-mon[68995]: 2026-03-28 07:22:06.793 7fc8eef35700 -1 mon.host11@2(electing) e3 failed to get devid for : udev_device_new_from_sub...iled on ''
, ?2 x" X- z1 E) D) _& ~, H7 [Hint: Some lines were ellipsized, use -l to show in full.
/ R/ ^& s* a5 n5 d9 Q[root@host11 ceph-host11]#
% m# I1 W# {% V- L3 v) s[root@host11 ceph-host11]#
' W, K* G) M- w' v+ Q[root@host11 ceph-host11]# ceph -s
  cluster:
    id:     9d22e36a-2bdd-4d2d-8394-ead777
    health: HEALTH_WARN
            3 nearfull osd(s)
            5 pool(s) nearfull
, k, r* g% J/ d. H0 z            5 daemons have recently crashed

  services:
  D( `# X! X# Y* }0 `    mon: 3 daemons, quorum host09,host10,host11 (age 22s)
    mgr: host09(active, since 6w), standbys: host11, host10
" J  v, w! m6 d- `! `6 c; ~    osd: 40 osds: 40 up (since 6w), 40 in (since 6w)

  data:
0 I  P; i' J4 o  \" z2 G) u    pools:   16 pools, 3072 pgs
7 v/ `) R7 f9 T6 L2 O% J    objects: 7.15M objects, 27 TiB
    usage:   65 TiB used, 83 TiB / 147 TiB avail
    pgs:     3069 active+clean
             3    active+clean+scrubbing+deep
" K2 x+ N4 U2 _* ], q0 b1 B
  io:
- m2 o' W- Y* d) g3 C3 ^/ M) C+ h& j  k    client:   16 MiB/s rd, 27 MiB/s wr, 339 op/s rd, 380 op/s wr

. r( M7 N' Y: [- w1 @- Imon问题解决。