ceph 分布式存储15以上版本mon报错解决办法 使用cephadm处理问题

admin

ceph 分布式存储15以上版本mon报错解决办法
4 S$ r* N6 t) e" Q: I, u( w! @

5 `7 a( }" l3 l# ~ ceph -s
1 X; u! g5 h1 M6 C$ w  cluster:
+ m" J7 r2 L+ u& m9 I3 h- z% R) d    id:     ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
    health: HEALTH_WARN
* C9 q. ~# F$ @4 r. V
            1/3 mons down, quorum gm268-2,gm268-3
. h$ j* \6 E5 E1 F$ w            1 pgs not deep-scrubbed in time

% b/ B. m8 o! _7 ?+ p# M
解决过程：
查看：
$ ceph orch host ls

! t1 X0 O/ Z. ^8 H7 W% ]3 BHOST     ADDR     LABELS       STATUS  

gm268-1  gm268-1  mon mgr mds         

gm268-2  gm268-2  mon mgr mds         
5 K3 Y/ |. j. j0 B8 {
gm268-3  gm268-3  mon mgr mds         
+ _2 _& M8 p% U% k5 x
gm268-4  gm268-4                       

删除mon 标签
$ ceph orch host label rm gm268-1 mon

, i0 e. f: U/ J/ ~" s- B" qRemoved label mon from host gm268-1

1 T5 ]3 ]8 B; {4 e# [) J9 Croot@gm268-1 15:15:44 ~
' ^6 y4 a7 D& f. y# ?* i  b
/ _( w9 n1 i  l! [# }& n$ ceph orch host ls

3 k' ^! r! \5 R2 E  s2 BHOST     ADDR     LABELS       STATUS  
7 C4 ]! L# d- V
% v+ X4 A# b# ?4 j+ }gm268-1  gm268-1  mgr mds              

' L0 R' u( N, Igm268-2  gm268-2  mon mgr mds         


- O0 o. {" L: ?/ s6 F1 }gm268-3  gm268-3  mon mgr mds             


2 D4 t; E: l* p" F& y" f8 {
; I6 j) W- l8 k, g& A$ ceph orch apply mon label:mon


Scheduled mon update...
7 l" g9 _/ t4 s$ |( N7 I6 ^

. V9 _* l6 R( C# F4 b2 l
这样mon就被剔除集群了。

6 e# s, R. w6 ^6 R+ M) r
5 C* [4 n1 e" Wmon不在报错：
: u2 e4 X: f: \. T7 f cluster:
    id:     ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
/ [2 }  F0 I% F1 C  x' ?) B; k: X: Q    health: HEALTH_WARN
8 }* D9 b8 ~* w            failed to probe daemons or devices
            1 pgs not deep-scrubbed in time
! x6 [- t, U+ p3 O
( y9 m9 l, w9 X% w* L问题解决。
" K; _9 B' y+ t  W
' p8 ?1 c5 n% s1 I* j5 }; T
: k+ F+ y3 k) E, b* X& c
; k9 W2 i, C0 N9 X) i& J) w( U
4 g' N% m: ?7 ]" a0 j" v
2 @* M  i5 B# E. U* t4 ?  t% N

admin

剔除mon之后，会少一个mon，需要添加回来。保证多个mon正常运行：
/ Y* c* O7 C/ y. s/ x8 M9 h. t
在标签上标记mon
, ^! K. l: B3 Y: H7 f
8 o  r* y! p0 C6 O  l* `7 X$ ceph orch host ls
: R( F5 z. r) M6 E# G* UHOST     ADDR     LABELS       STATUS  
0 X4 m0 t" o8 g; T3 Cgm268-1  gm268-1  mgr mds              
: W1 m$ y. I% w: E# r4 v& ggm268-2  gm268-2  mon mgr mds         
gm268-3  gm268-3  mon mgr mds         
% L) x& I$ J: Z+ F+ |+ t. E- pgm268-4  gm268-4                       
gm268-5  gm268-5                       
. V# q% Z( R, W7 N2 o3 [# [# atp266-1  tp266-1                       


$ ceph orch host label add gm268-1 mon
5 ?0 f" l7 i% |: Y0 V8 y9 h# @Added label mon to host gm268-1
7 R! [* K5 y# X! f% W$ V

$ ceph orch host ls
" a+ Y/ g% @$ E$ jHOST     ADDR     LABELS       STATUS  
gm268-1  gm268-1  mgr mds mon         
gm268-2  gm268-2  mon mgr mds         
gm268-3  gm268-3  mon mgr mds         
gm268-4  gm268-4                       
gm268-5  gm268-5                       
tp266-1  tp266-1                       
% }" a3 S! Z) l) }) y
4 |$ e' O; {) j
; _. [3 }$ Y( q7 V4 q% r8 w/ w$ ceph orch apply mon label:mon
Scheduled mon update...


0 W3 t  i0 C" M3 X7 v6 I# W
$ ceph orch host ls
& |4 j; J. Q$ T; FHOST     ADDR     LABELS       STATUS  
gm268-1  gm268-1  mgr mds mon         
/ q+ }$ N8 j( Vgm268-2  gm268-2  mon mgr mds         
/ i: E4 d0 l9 Y! Wgm268-3  gm268-3  mon mgr mds         
gm268-4  gm268-4                       
. F0 y" b, i- _gm268-5  gm268-5                       
) C" @" U, c& }; t. r+ P0 k# a3 ftp266-1  tp266-1                       
' {. U# [; r/ P: f1 W- z) [
) p" u+ ~4 h& j8 z" {, R& p
$ ceph orch daemon add mon gm268-1:10.12.1.2
: [. B7 V3 G' F2 I8 G' G7 uError EINVAL: name mon.gm268-1 already in use

) z( w1 M4 {0 P8 w) Q
$ ceph mon add gm268-1 10.12.1.2
adding mon.gm268-1 at [v2:10.12.1.2:3300/0,v1:10.12.1.2:6789/0]


2 F. h1 r, [3 g6 ]7 H
$ ceph mon dump
2024-10-17T21:54:06.014+0800 7f4e6d2f7700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [2]
0 s% z1 @1 P$ w8 v8 l6 x; N, u  T2024-10-17T21:54:06.016+0800 7f4e6caf6700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [2]
/ C" H: j* d3 \9 g$ v& c# Xdumped monmap epoch 11
4 n7 c' e% a5 B6 a, eepoch 11
; o  B) D1 O8 }3 Vfsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
0 c. A' V# [! Y' K5 z" Zlast_changed 2024-10-17T13:54:00.781176+0000
created 2023-01-08T11:23:03.268285+0000
min_mon_release 15 (octopus)
7 M  `; s' @4 [8 w# q7 X0: [v2:10.12.2.2:3300/0,v1:10.12.2.2:6789/0] mon.gm268-2
1: [v2:10.12.3.2:3300/0,v1:10.12.3.2:6789/0] mon.gm268-3
2: [v2:10.12.1.2:3300/0,v1:10.12.1.2:6789/0] mon.gm268-1


. E$ t4 U4 k* A7 }6 Lroot@gm268-1 21:54:06 ~
. s/ u+ |0 Q7 D7 b$
2 Q6 S- _  V1 H2 T7 S. V3 {

9 F! ^* `: W0 V2 [
$ E- p7 L' e  g& L; \
; Z5 g. [0 h5 Q& C! [1 h
$ j& M" o% Y- B  g$ f

admin

cephadm bootstrap --mon-ip 10.12.1.2 --fsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9 --allow-overwrite
, o. Q/ Z. z, t* h- Y! H1 IVerifying podman|docker is present...
Verifying lvm2 is present...
( ]8 ?9 ?& ]/ x" P( uVerifying time synchronization is in place...
* j+ a1 h& p) O8 e- \9 f. AUnit chronyd.service is enabled and running
Repeating the final host check...
' W# [; d, q: z1 a% tpodman|docker (/usr/bin/podman) is present
systemctl is present
lvcreate is present
Unit chronyd.service is enabled and running
' u: s9 {& @* {6 M. {Host looks OK
* [  K& `% F7 }# E9 e) qCluster fsid: ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
/ e- s" @6 \) k  w! ?" f  HVerifying IP 10.12.1.2 port 3300 ...
+ C4 N( P+ b' D8 ]5 Y$ Z  ^' |* vVerifying IP 10.12.1.2 port 6789 ...
, J# F( t  G* b6 {0 ?. V9 LMon IP 10.12.1.2 is in CIDR network 10.12.0.0/15
Pulling container image quay.io/ceph/ceph:v15...

admin

后来通过删除/var/lib/ceph
( r& k' g; h3 P- R& i% Grm -rf  /var/lib/ceph/ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9/mon.gm268-1/
& B! L$ Q8 F# u: B& y' I3 Q2 N" b
再重新添加mon既可以：

  ceph orch host label add gm268-1 mon
   

3 @5 e$ y! i. E$ I   ceph orch  apply mon  label:mon

  ceph orch host ls
1 K4 y7 |! G: K
% a  G5 P7 G( g; x9 H7 f
* |3 R  K# O( M2 p6 i2 K$ ceph mon add gm268-1 10.12.1.2
adding mon.gm268-1 at [v2:10.12.1.2:3300/0,v1:10.12.1.2:6789/0]


/ c. T7 D9 M3 o$ ceph mon dump
+ @( J; Z5 y* G: Z' i! ]2024-10-17T21:54:06.014+0800 7f4e6d2f7700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [2]
2024-10-17T21:54:06.016+0800 7f4e6caf6700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [2]
9 d5 G: u# o% \6 ]1 \1 r% n% M( T1 Pdumped monmap epoch 11
epoch 11
fsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
last_changed 2024-10-17T13:54:00.781176+0000
: k' I3 m) ~5 m5 ycreated 2023-01-08T11:23:03.268285+0000
( x: o. L# @/ g  s7 \$ X" Lmin_mon_release 15 (octopus)
0: [v2:10.12.2.2:3300/0,v1:10.12.2.2:6789/0] mon.gm268-2
1: [v2:10.12.3.2:3300/0,v1:10.12.3.2:6789/0] mon.gm268-3
5 ?; z8 Z7 I# E) s; |8 Y2: [v2:10.12.1.2:3300/0,v1:10.12.1.2:6789/0] mon.gm268-1


9 U' ^6 J* O$ ~' _- D9 N6 q$
  i- I, j  _! Z# a- h完成添加mon节点。

admin

admin 发表于 2024-10-17 16:09
  F6 u" y+ U" O. Hcephadm bootstrap --mon-ip 10.12.1.2 --fsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9 --allow-overwrite
...

Generating a dashboard self-signed certificate...
/ z; ~  D( S! ~4 C/ `4 K5 `0 d$ WCreating initial admin user...
  {& j3 `' f1 Y: fFetching dashboard port number...
5 ^9 d, d& E+ a2 t/ o- NCeph Dashboard is now available at:
/ N; b9 E& h. M9 C
0 ]; U4 d5 [! a# E% V             URL: https://gm268-1:8443/
            User: admin
( \' {; N! \( i0 C1 }( X; Y0 B& {        Password: j2ixndfanu
0 \$ f2 |: y$ r5 r& Z9 m, H$ g3 j
! t1 [7 Z  r) x6 C! i3 I  R7 ZYou can access the Ceph CLI with:

' r) U' K+ k) m4 |2 L        sudo /usr/sbin/cephadm shell --fsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9 -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.admin.keyring

Please consider enabling telemetry to help improve Ceph:
+ v9 O6 I' _. O9 b6 a8 e, b, F( B. {
( K" M2 Q; \6 G- J7 Z) R        ceph telemetry on
* ?- p$ @& w, ~8 q" j
For more information see:

        https://docs.ceph.com/docs/master/mgr/telemetry/
% m8 G. J5 \" l
Bootstrap complete.
9 s' @& C, Q5 u* i- h% @" ^( }3 L