找回密码
 注册
查看: 83|回复: 4

ceph 分布式存储15以上版本mon报错解决办法 使用cephadm处理问题

[复制链接]

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
发表于 2024-10-17 11:10:52 | 显示全部楼层 |阅读模式
ceph 分布式存储15以上版本mon报错解决办法  `  ?2 J# u* }

. a& j6 d$ D/ P/ n+ T6 |! u0 ~9 x2 }8 D/ P# q+ z1 H0 p
ceph -s
! L  ?7 B, p: ~. C# l  cluster:' l. i; `. m, f
    id:     ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9' R" W+ c/ z& p* t0 z2 b' R
    health: HEALTH_WARN7 ], C" a6 c4 f1 L3 X" O( M

( c4 h, P# O; W" L1 {. s            1/3 mons down, quorum gm268-2,gm268-3# a  R, |' e. {! t% C* _  f
            1 pgs not deep-scrubbed in time
( i: m6 C; N- A9 H' h$ O/ K
, [7 X# ~9 L( a% `
3 E  @. i( B$ o# Z解决过程:
: N% L" X: S6 f  a. v' j& \9 g查看:4 E, |3 i! |6 X' _* Q
$ ceph orch host ls # c; j3 q- Y2 G: c% e5 Z  M0 x' y

% a2 W7 p0 C7 T& V+ _& x# H0 zHOST     ADDR     LABELS       STATUS  
# O- F3 U% O2 F( p0 m( W( Z+ ^7 h+ n7 u0 ~) c9 s" }! }# Q( ^
gm268-1  gm268-1  mon mgr mds         
: {( a5 y6 {# ~. W5 y/ h8 K2 y* T* W7 ~1 O/ b' M/ K, w7 J
gm268-2  gm268-2  mon mgr mds         
1 J7 n' L) k1 ^" P7 ?, x5 |/ A
gm268-3  gm268-3  mon mgr mds         
, T" N9 T9 o$ r% T! a; ?( c6 o1 ]5 ]7 X* u8 n2 i# Q' e* g
gm268-4  gm268-4                       % Q6 m/ ~* s+ G' q, t" s: i& Z; T

& {8 u. c( f8 H2 ]删除mon 标签
6 _$ d4 B; u1 c4 t' d $ ceph orch host label rm gm268-1 mon
6 v2 K5 U+ M5 d5 V. N" I4 `6 N
5 |' c. B# S. ?9 hRemoved label mon from host gm268-1/ u  C4 c- s& I; |4 P4 u* P
1 ^" m7 ~; d9 F  ]% L
root@gm268-1 15:15:44 ~# w3 S' L# E( S* A0 ^. p& N" R( c

) P7 a! I+ H/ J6 w$ V" l$ ceph orch host ls   Q/ D* ~' z% U7 P( v! Q7 i2 l

3 i; i. Z$ P, F  |( ?& GHOST     ADDR     LABELS       STATUS  7 y  D7 e7 b& p- d& |9 s
3 o+ f0 C% |3 @$ I$ i- _6 g
gm268-1  gm268-1  mgr mds              
1 M+ _, U1 M# c& O0 K; P5 C
+ M* ?0 K- i: K$ B! y9 ]gm268-2  gm268-2  mon mgr mds          3 a' C1 @, v# r

3 h0 A3 J; N7 j5 Z2 N. q/ k
# z- c8 o; w& R6 k0 ~gm268-3  gm268-3  mon mgr mds             , c) p1 M8 D4 r9 T9 n9 a

; G$ w: g( F0 q+ e- s6 g! s% X" }5 P7 T: c& n) b
8 c/ S; \' |$ v: j
$ ceph orch apply mon label:mon
; V4 e# ~! z/ [5 ]# J- L9 e2 A  \( P$ ?* r

7 }# f6 Y& ?0 q7 @* Q- oScheduled mon update.../ \* M$ N- Y/ p, d* K) _

& _( J* W, f: E2 w& z2 V/ u5 g% Z2 V' X; H: x0 y

, a  d) r, S0 `9 ]6 ?6 a: t这样mon就被剔除集群了。3 j5 S+ q$ R* o* [

/ H: S2 a5 i7 F
) q) n* F: G9 M+ u# j
mon不在报错:
0 A6 L" ?& e3 m9 U, r cluster:0 C. Y% E& c# i6 O# v+ H
    id:     ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
+ l+ P8 j, a* P9 P+ r, G1 n- s% q    health: HEALTH_WARN
4 }9 e& e! I5 t: v* |8 Y3 N            failed to probe daemons or devices
2 v# `; e* p8 X. F3 Q5 x$ n            1 pgs not deep-scrubbed in time5 f# D' `4 D4 ?3 P( P
8 ^! B: K" L! n4 I# \
问题解决。! D8 m' t0 K- ?; I! F8 I
2 ~. F- H- I$ Z  u% F# w

, ]; x0 \8 Q. a7 X( m
# J6 F- h. F; k3 \

* o% N8 }( M+ K) Z2 c
7 F9 F1 v9 a( j7 j# n- F3 x

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2024-10-17 15:32:51 | 显示全部楼层
剔除mon之后,会少一个mon,需要添加回来。保证多个mon正常运行:
0 q4 C$ V5 y) j0 U! E& e2 q& [+ i, Y9 n0 t- w
在标签上标记mon, I  ^  d  s4 f! E1 N  Q& _
% ^0 N& T" t8 O( s) e
$ ceph orch host ls
. q0 r4 M6 @) S) x) KHOST     ADDR     LABELS       STATUS  
, U$ N# q$ h- y/ y( `8 P) wgm268-1  gm268-1  mgr mds              ) l* Q! f4 Z4 V; u' P8 p
gm268-2  gm268-2  mon mgr mds         
5 \& ~; E- W! `gm268-3  gm268-3  mon mgr mds         
! }: f5 c+ ~7 w# b9 B' z$ Q' Ygm268-4  gm268-4                       
. N# N9 U( y. K  }- Vgm268-5  gm268-5                       
; _" X" D  K1 e( j; E7 ]+ Xtp266-1  tp266-1                       8 H! U# q, Z3 w* h4 }% S+ F

; }0 G& W3 M2 [0 ?4 o9 i* L1 _) }8 R/ {8 s& I
$ ceph orch host label add gm268-1 mon 2 g* v. t8 c- R5 z) m
Added label mon to host gm268-1
, Q8 B1 ?8 m# x9 \6 ~# G3 ?0 R4 G9 F) P

; v, j- a% H6 k' c+ M* s$ ceph orch host ls3 v4 H2 ~$ x. D* [) y
HOST     ADDR     LABELS       STATUS  
- X9 m! E+ {, k+ m/ e+ r5 ygm268-1  gm268-1  mgr mds mon         
0 K5 [- f, v$ {0 i. ygm268-2  gm268-2  mon mgr mds         
& G, N2 [9 G) ?: Sgm268-3  gm268-3  mon mgr mds          / B( i. Q$ G! h7 I' F
gm268-4  gm268-4                       ; |, V2 ^1 J/ B0 T. K, a
gm268-5  gm268-5                       1 j, \/ e9 e& i( A5 B2 C
tp266-1  tp266-1                       . Q' ]1 k+ u- x- [% I
8 [8 }. k. W4 X! h, w/ X2 P

5 `" _. J7 b( r! @0 d" S$ ceph orch apply mon label:mon
/ q( s. M8 |( c: QScheduled mon update...; G2 F! l2 e' n. B+ @
9 e$ M6 Z5 F5 D# w$ a' e; o

. u  H; V9 r1 i# ?9 f/ T- c
0 A& n$ f! s  K. Y0 p  L9 X, k$ ceph orch host ls
5 y& w3 S1 |: I7 p5 S$ Q6 D* nHOST     ADDR     LABELS       STATUS  & e6 M( I) n+ p4 j4 N
gm268-1  gm268-1  mgr mds mon          % V2 f7 h7 A3 X2 ^8 L4 ?; X8 Y
gm268-2  gm268-2  mon mgr mds          , Q) r! X( J) x  \/ P3 y
gm268-3  gm268-3  mon mgr mds         
8 ^' Z- f( t$ f7 [) a; {gm268-4  gm268-4                       
0 c! x% F! s' G! t( Qgm268-5  gm268-5                       # R# |; A  s5 [  T! [. \# c
tp266-1  tp266-1                       
& }' J3 n" w# z+ M
  T: W5 E' T* K1 w5 ?; k! A& R
$ ceph orch daemon add mon gm268-1:10.12.1.2
4 P* _7 W+ K5 l( W0 i3 dError EINVAL: name mon.gm268-1 already in use
" C& q- [( X0 E9 z2 H4 Q
, p2 B0 P$ `$ p: ]
! n7 s, D2 e' E0 i. m$ ceph mon add gm268-1 10.12.1.2
' [8 E. G0 M8 c+ U! D  Padding mon.gm268-1 at [v2:10.12.1.2:3300/0,v1:10.12.1.2:6789/0]
) g& y% Z% O; v: q7 J. i; V; F3 l  Z, X+ m
' U$ ]# l' \* W8 J, r* e

/ ]  l/ e) e2 B- Z! e/ J) c9 ~- C$ ceph mon dump
9 H0 u" I. R! a, o2024-10-17T21:54:06.014+0800 7f4e6d2f7700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [2]1 O  G2 k6 d# [0 w' M$ s
2024-10-17T21:54:06.016+0800 7f4e6caf6700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [2]
) ~8 N  d* o; ^2 I5 F# gdumped monmap epoch 11. M" H; F+ h+ Z% n6 [
epoch 11# n3 w6 ?; f0 m3 @# P7 }
fsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
/ |- Y9 m& c% M2 L# a% O; Slast_changed 2024-10-17T13:54:00.781176+0000( ^8 i7 t4 ]5 d! r. N8 ]$ c
created 2023-01-08T11:23:03.268285+0000
) g( m/ J1 Y" S6 t: n+ l2 Umin_mon_release 15 (octopus)) c9 m" v3 K( X8 a1 J
0: [v2:10.12.2.2:3300/0,v1:10.12.2.2:6789/0] mon.gm268-2/ k/ @% j+ ^) P4 K6 u# v
1: [v2:10.12.3.2:3300/0,v1:10.12.3.2:6789/0] mon.gm268-3; V8 E: L6 U( i% h6 ?) S1 ^/ X
2: [v2:10.12.1.2:3300/0,v1:10.12.1.2:6789/0] mon.gm268-18 a- d6 s+ d5 R' O+ O, I  Z
2 [2 m) d; ?: J  F: D# g7 L, {' J

0 p4 ?% H  s  w$ [* X: E% sroot@gm268-1 21:54:06 ~
/ n9 Y# M, J% ^& k$ + P6 A8 z2 q' {9 p4 f3 v7 O
" S$ p! T6 h  x# V0 x) ~
6 A) c% c8 i& K! b

! m1 I1 y! e5 b+ N: i" }
5 m' X6 Z/ l0 b; L% K
+ S/ Y8 @+ Y$ }5 r( Y$ F. a  W' z
2 o5 m& h$ p0 [3 t& Q$ s

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2024-10-17 16:09:15 | 显示全部楼层
cephadm bootstrap --mon-ip 10.12.1.2 --fsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9 --allow-overwrite 4 }1 o4 W& K* Q/ x0 e; S
Verifying podman|docker is present...
: h9 |. ?, I; V) Z- O+ F  B$ CVerifying lvm2 is present...5 A" ~- T& S* h; A' ?8 S
Verifying time synchronization is in place...
5 ]: F6 v. k5 \0 BUnit chronyd.service is enabled and running
8 B+ p6 y$ {# P9 oRepeating the final host check...' g7 w+ R" W3 x+ v
podman|docker (/usr/bin/podman) is present
6 N; o3 S; R7 l. s# Bsystemctl is present
) V* b) n- Z' Plvcreate is present
1 E2 V% y0 x  y( y2 MUnit chronyd.service is enabled and running+ R3 Y5 @( B# h% U- c9 [( L: [
Host looks OK3 r1 U  W( e  ^& A7 E
Cluster fsid: ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
- M2 f" P; j: I0 r6 F( ~1 eVerifying IP 10.12.1.2 port 3300 ...2 ^% D. W+ [: B
Verifying IP 10.12.1.2 port 6789 ...
4 g7 }2 o' ~! m& x* f: XMon IP 10.12.1.2 is in CIDR network 10.12.0.0/15
$ d6 y7 Y0 U2 g7 ?, EPulling container image quay.io/ceph/ceph:v15...6 T. C* S( m& D
- z5 H+ C+ V/ e- j

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2024-10-17 21:57:08 | 显示全部楼层
后来通过删除/var/lib/ceph2 T# Q# {; q( v
rm -rf  /var/lib/ceph/ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9/mon.gm268-1/
' E. p7 j2 f6 A% l' Z9 C/ [8 x  N) }" k7 e0 q: Y
再重新添加mon既可以:
* W7 R9 ]" ^1 D+ i8 P
5 g/ _7 i( F. \0 l# g  ceph orch host label add gm268-1 mon
' B3 F4 I0 X4 G2 H0 ?/ d   2 |: d4 q3 o0 M* h1 \" \- K

4 X2 }9 f, F1 ?   ceph orch  apply mon  label:mon
! `, F/ J+ C; f9 h3 N) t
2 {# W$ i. C4 q+ j% V  ceph orch host ls
1 n- @+ x0 ]0 ?& _4 O" }9 h& E5 b  {# }& {' E
9 l' m5 o! L  h1 O/ O; i8 c
$ ceph mon add gm268-1 10.12.1.29 K7 F" K! L9 J( G/ r$ G
adding mon.gm268-1 at [v2:10.12.1.2:3300/0,v1:10.12.1.2:6789/0]! R  g+ c) ]# [' B& R

$ G& D$ X4 g$ ]4 V3 E& k
8 v/ }8 \: V# m. b8 E, u; \$ ceph mon dump
" P* w) ^! H3 A; _1 u2024-10-17T21:54:06.014+0800 7f4e6d2f7700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [2]) V9 H+ ?3 }' M+ c
2024-10-17T21:54:06.016+0800 7f4e6caf6700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [2]' U% Y. b# H  h9 F, u$ p
dumped monmap epoch 11$ R6 P7 |; b+ E: |' W- L# |
epoch 11
% T! M* R/ D' d% efsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
5 T6 ?  V; D6 G, ulast_changed 2024-10-17T13:54:00.781176+0000' F  n- X- g. J- {7 {
created 2023-01-08T11:23:03.268285+0000
) F7 W. S/ {6 a0 V2 ]* k& w) amin_mon_release 15 (octopus)  {% z- _' `1 M6 K0 [; N
0: [v2:10.12.2.2:3300/0,v1:10.12.2.2:6789/0] mon.gm268-2
( T" O4 U  J9 |5 G7 Y& D7 z1: [v2:10.12.3.2:3300/0,v1:10.12.3.2:6789/0] mon.gm268-3, U( R+ L+ l$ ^& ^" e; m2 u3 o/ |
2: [v2:10.12.1.2:3300/0,v1:10.12.1.2:6789/0] mon.gm268-1
1 c) ?+ O' r2 u" `
' y* V4 j% }4 g: o6 h) b( k! q
$
6 _6 z( n( @' D7 g完成添加mon节点。

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2024-10-18 00:16:54 | 显示全部楼层
admin 发表于 2024-10-17 16:091 `& T+ S% C: s9 n8 o. S
cephadm bootstrap --mon-ip 10.12.1.2 --fsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9 --allow-overwrite
1 G' p* ?( G! v8 b  P: v; E2 [ ...

7 G+ u( w5 L% lGenerating a dashboard self-signed certificate...0 y, B% l7 Y* l) R  Q: c, n
Creating initial admin user...) G- B- j+ D. t  K3 _
Fetching dashboard port number...$ L* V3 I" G  q& m5 D
Ceph Dashboard is now available at:
/ D: \# o5 Q' a4 w
# L! S  u6 y; k9 z  X6 g* X             URL: https://gm268-1:8443/
" |2 T- h, |: h! U7 R, ]' p. H            User: admin# \/ T( U5 l: B7 A9 y
        Password: j2ixndfanu
# K  C7 F( a, e, ?" b' E& P1 E) }
You can access the Ceph CLI with:" k6 f% V. a7 v6 ^

0 ^1 _; q5 q# {) E        sudo /usr/sbin/cephadm shell --fsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9 -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.admin.keyring
5 r. K6 x, m, c/ {2 W. m$ Y
- a. k- D' x. d: t$ m% \Please consider enabling telemetry to help improve Ceph:
/ ?  s1 T6 ^* b# w2 Q$ r: r, v
/ D  D. \" r( _        ceph telemetry on
$ c8 @, c, p+ K8 M% N1 y) q4 V6 o: g2 k4 m
For more information see:
/ q  S  D/ u0 m5 R
5 W" d/ z+ j- S! Q/ M" ^) a        https://docs.ceph.com/docs/master/mgr/telemetry/
' a* W! E$ I, ?8 X; d8 N0 A: @0 \7 W! A' H0 P; E$ f0 I
Bootstrap complete.5 ]" _6 V" Q$ }) H: X2 T3 A! H. h2 V$ h
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-12 00:12 , Processed in 0.018375 second(s), 25 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表