找回密码
 注册
查看: 81|回复: 4

ceph 分布式存储15以上版本mon报错解决办法 使用cephadm处理问题

[复制链接]

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
发表于 2024-10-17 11:10:52 | 显示全部楼层 |阅读模式
ceph 分布式存储15以上版本mon报错解决办法
8 F- `4 e2 X' o1 ~3 I7 Q% l2 c; ~. K/ G) z7 C8 P8 q

% P4 _- p( B3 d2 @" \ ceph -s4 N8 X2 y% O: V) y, `4 D" K
  cluster:
" E2 a' ]9 h5 U    id:     ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9% P9 a4 O6 _; c- o
    health: HEALTH_WARN
$ M4 n: E. J) b$ _9 ]" k) i! }9 U3 i# X
            1/3 mons down, quorum gm268-2,gm268-3: V* [( g) I& \$ P  I
            1 pgs not deep-scrubbed in time
- W; w/ O1 j. a  E0 x) ^6 z$ K' Q% w* p4 S! u5 k% a- w) k
& H! W5 C/ S# K: u% q: l: U
解决过程:# a, n4 ^* Z7 B$ s, {+ d1 g$ b
查看:
+ L0 k) g/ }* O0 D( A$ ceph orch host ls
4 z9 i& {, c. E* {2 p  {9 V& l$ D! e9 q& p) ?8 H% w; \2 U
HOST     ADDR     LABELS       STATUS  
& l' ]( v# W( O0 U9 _# n2 t6 n$ H$ F& }9 y4 ~8 J& x
gm268-1  gm268-1  mon mgr mds         
, m& @# Q3 k3 U# K+ r7 D0 _8 r, h; I' y' j
gm268-2  gm268-2  mon mgr mds         
0 I9 J$ y* j8 \8 c: b6 k) I) J' U  j- X. S
gm268-3  gm268-3  mon mgr mds          7 W9 w9 A' h, b1 g3 B, J
/ _2 ?) c, \) r4 C1 F; U) |
gm268-4  gm268-4                       2 |  C9 Z( y* J

3 t- d  B! s! @6 i8 M删除mon 标签0 E) z& r, y  [" z! p6 K% p- l
$ ceph orch host label rm gm268-1 mon
' I' i. q, T4 I& M, S/ i* q3 C! P/ Q) t$ ^" ^( k
Removed label mon from host gm268-10 Y+ ~$ H) _* N' p. O
, W. z7 c$ X: N# i. K2 h
root@gm268-1 15:15:44 ~$ E, H$ @0 ~+ I0 ]- I- `

2 Y; n0 L, ~$ R+ J7 B% l; Q$ ceph orch host ls
8 V0 E& d% f* b+ ~* {7 Z0 F9 c' Y% r! N$ h0 A" g4 @
HOST     ADDR     LABELS       STATUS  
# T& X  t) b- P9 T; c9 i( f6 U" z: ^+ [* S$ g6 K- D. ~
gm268-1  gm268-1  mgr mds              : W5 U5 w2 t; \0 h: z* F
3 K6 N' A$ I+ c/ i/ F
gm268-2  gm268-2  mon mgr mds         
: E  U5 t8 D0 H0 o  K( [* g- V3 F5 i* S8 N: o1 [. P7 r

! v9 D: ?2 o7 p9 S9 h) u, Ugm268-3  gm268-3  mon mgr mds             ; |7 e" i& V& y" K  S9 n; h& T3 _
0 W( D/ y2 j7 \+ O

2 z1 l: J* A6 P1 T$ ^
, z) U7 m! A* }9 x$ }
$ ceph orch apply mon label:mon' D) Q( j; o9 |" w
9 D: a4 F' {  l  _. e8 ~% u4 u

; G: X9 n" Y0 L' H3 o# ^4 aScheduled mon update...
# g9 ~' G: {- V4 ?
2 R* N$ T) P& K. f, @7 s/ w" ^2 R5 c! K  e) }# \8 `

3 B9 s$ E# v) K0 A( Z, Y+ Y; j这样mon就被剔除集群了。* E4 U, m: a+ a* I: f6 h

3 ?8 I2 E* I! y$ E0 c; T

6 @) I9 E3 m3 _mon不在报错:
  x% v) I3 E+ o cluster:. p' p, E) V7 X! m6 H7 @/ e4 a" M
    id:     ce68aab8-8f46-11ed-88c0-ac1f6b3a30b99 L* g& Y7 ?% C
    health: HEALTH_WARN
3 ~; W' d& L& y; ?9 A0 y$ i1 d! k            failed to probe daemons or devices7 W/ ^5 J9 C7 r0 {) W+ M4 {
            1 pgs not deep-scrubbed in time7 o' k5 Y) \8 S/ Z! \

7 _9 N% F" e; w问题解决。! v/ H9 }1 [6 n0 J0 a

, k$ @; M* X8 Z8 A
: F' {5 o4 j: I1 C% ^) z, u- e
5 o" `" ?5 j: W+ N* n: u  @$ V9 h
0 _1 k0 Z- ^7 H+ s$ G2 P
5 h7 h. I5 f& L1 Z& S- [+ B, q

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2024-10-17 15:32:51 | 显示全部楼层
剔除mon之后,会少一个mon,需要添加回来。保证多个mon正常运行:5 \# \  x3 H& M6 }
; O5 U" {. M; p
在标签上标记mon! m7 U' Q, m- y0 E; `* k
: F* N  L) j% G' O
$ ceph orch host ls! l$ V' l- N) r' z- ^( {; }' r
HOST     ADDR     LABELS       STATUS  $ c. R7 e- u; L, v* p
gm268-1  gm268-1  mgr mds              4 E; x) R/ v/ H1 e2 D
gm268-2  gm268-2  mon mgr mds         
" [; Z' [7 e, Y% wgm268-3  gm268-3  mon mgr mds          & t& T3 n8 u, Z( d0 o  a) q% G
gm268-4  gm268-4                       # u4 X) \7 T# y# L9 ]4 P
gm268-5  gm268-5                       8 ^5 a# Z' Y; v
tp266-1  tp266-1                       
3 |( h0 d% i/ ]( I" R! |& W7 O6 X/ ?4 E( Q# L9 T' R1 ]

: l, m% @5 M2 E$ [+ X) ~# Z, Y7 m$ ceph orch host label add gm268-1 mon ! X# L" J* E- Q3 J! h
Added label mon to host gm268-1
" D/ D+ `# s; n' P( B/ J# q
7 C& I$ Q: m0 v& T( j7 I4 C
: O& M7 M2 u9 I! t: t$ ceph orch host ls+ Q4 `0 c) L( g
HOST     ADDR     LABELS       STATUS  & L0 X& V& t) C; n5 W
gm268-1  gm268-1  mgr mds mon          8 A3 A! ]# |" L4 _
gm268-2  gm268-2  mon mgr mds          , t0 O9 j3 P+ y: P' j: k
gm268-3  gm268-3  mon mgr mds          7 U* X9 v1 `& `) }3 Z6 t+ `
gm268-4  gm268-4                       2 w3 l$ g7 `- s1 G. J
gm268-5  gm268-5                       2 n% |. m7 L0 p; D# ]# |
tp266-1  tp266-1                       + ?' P1 C  T: a1 z5 `8 W
  B3 p! q# k+ N! H/ F8 E0 D
+ x. N9 r  h* \0 c
$ ceph orch apply mon label:mon 0 ^+ ]$ N' {+ s% d% K* b
Scheduled mon update...
: q3 z( I/ K* U3 g/ |& J4 T! I( B" ?# t
- s( K2 C  {* B# E9 w
, q: {; s" u+ O, ^7 G
$ ceph orch host ls
! Q' a. n* H  j. a) DHOST     ADDR     LABELS       STATUS  ) w& E, A+ I9 i0 y6 k8 l5 `
gm268-1  gm268-1  mgr mds mon          , k, X# N) O+ z/ C2 O7 R3 T3 W$ x
gm268-2  gm268-2  mon mgr mds         
% s/ \# \" |/ F8 A% O' G0 c' ogm268-3  gm268-3  mon mgr mds         
; q- V8 m* e) N7 Fgm268-4  gm268-4                       
$ T5 j& B7 J; F0 zgm268-5  gm268-5                       6 z, W) i& {  D4 i
tp266-1  tp266-1                       
$ y5 E! s* n# \; q; k1 N
9 }/ _0 j4 o) J: h( f- a, v0 d( Y
1 d" A% b0 P5 S$ h* y$ ceph orch daemon add mon gm268-1:10.12.1.2
! ^0 @2 N( }9 }/ c9 x" b& C) GError EINVAL: name mon.gm268-1 already in use
+ k3 I% |  g1 o% [6 E+ }7 M( g+ G* m+ f
6 ~) ]5 Y: ?: y
$ ceph mon add gm268-1 10.12.1.2
. s; c% Z7 J/ N0 W! O' X- e3 iadding mon.gm268-1 at [v2:10.12.1.2:3300/0,v1:10.12.1.2:6789/0]
- g2 H4 C) s5 o3 X5 T% {2 A- r9 B
8 {( j/ C# e9 O$ w( I7 V8 y% s5 {. O3 W& S7 A! v
" t$ J. |8 _3 }" m
$ ceph mon dump
) I$ s8 s% M6 J2 s8 {$ p2024-10-17T21:54:06.014+0800 7f4e6d2f7700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [2]
9 P- i% E9 Q: b( G! X# g7 Q4 V' H2024-10-17T21:54:06.016+0800 7f4e6caf6700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [2]3 _; K7 f* w% }* y8 U0 Z5 [8 O
dumped monmap epoch 11
/ Z. c* ^  c6 o8 c  K+ _6 ?epoch 11
. {6 v* d/ x9 ?( j" dfsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b95 _( Q0 W* v, r+ D4 l' a7 G' s
last_changed 2024-10-17T13:54:00.781176+0000
! _9 L% E( f" Zcreated 2023-01-08T11:23:03.268285+00000 w. j1 r, s& o4 x3 e0 q
min_mon_release 15 (octopus)& b/ T9 H9 l0 \9 L
0: [v2:10.12.2.2:3300/0,v1:10.12.2.2:6789/0] mon.gm268-2
* r% F! d$ w, v/ F# m1: [v2:10.12.3.2:3300/0,v1:10.12.3.2:6789/0] mon.gm268-36 _) w# M0 g; h/ d
2: [v2:10.12.1.2:3300/0,v1:10.12.1.2:6789/0] mon.gm268-12 c  @- m- l! j

1 F9 {0 i+ {* E) o! q5 F; a/ O  G7 y- j' j2 A! r
root@gm268-1 21:54:06 ~
) }4 T7 T* D2 ?# Y$ 6 }& ?' ?" s4 m& F
: }& O1 n- `+ Y8 T! D0 ]% U
: V9 [1 W% H6 Q3 f* K$ M8 x( ^* Z
( f/ l2 Y* J# r
- j  }( [: |7 g- ]( k8 v& S) t, {

& n5 O0 t* O8 ]3 H* ]" P
7 `, E% ~. `: C1 W

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2024-10-17 16:09:15 | 显示全部楼层
cephadm bootstrap --mon-ip 10.12.1.2 --fsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9 --allow-overwrite 5 S# Q% Z* M% ^
Verifying podman|docker is present...% H% a7 r" K. n, i
Verifying lvm2 is present...- |: k5 h% H4 T0 `- p; }3 ~/ ?
Verifying time synchronization is in place...1 n: p4 Q  `$ G& u" J3 e
Unit chronyd.service is enabled and running# T  V0 \' h; L- M- v7 t' n1 q
Repeating the final host check...
3 g: }6 I+ O# x/ S. a3 j$ p: Upodman|docker (/usr/bin/podman) is present& B7 I- ^  X" S2 p7 J: @
systemctl is present( _" J1 l4 x# Z. Z9 x$ }4 S
lvcreate is present
; z3 K9 ~% B. F& g* TUnit chronyd.service is enabled and running
/ R8 Z& C* U% fHost looks OK. z2 ~& Q6 v6 d7 Y
Cluster fsid: ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
% T7 y) G7 J* TVerifying IP 10.12.1.2 port 3300 .../ A: G& H( H1 e) J
Verifying IP 10.12.1.2 port 6789 ...
3 s6 R* n- `9 l9 CMon IP 10.12.1.2 is in CIDR network 10.12.0.0/15
8 Y# m, Y5 _7 {8 P2 P1 p. DPulling container image quay.io/ceph/ceph:v15...# B; A( w4 q$ e% ?

  N' Y  @+ M3 Y# i# R

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2024-10-17 21:57:08 | 显示全部楼层
后来通过删除/var/lib/ceph
. L! `* C, [, Qrm -rf  /var/lib/ceph/ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9/mon.gm268-1/
( @+ V+ Q) ?7 w8 a; I& [4 ^' @; y" O! r5 \/ ?5 K
再重新添加mon既可以:  K9 x$ J- B9 h- h+ X0 X
7 C5 v* h- H% b" h: T4 b
  ceph orch host label add gm268-1 mon
# `, r" ?; @. |7 T1 q1 b9 ]   - `1 g1 s% b: b& f

" m2 o- W& z% @   ceph orch  apply mon  label:mon7 q  Q& y4 r5 ]6 |

& ~8 o7 w# _# H+ y; V1 Q2 R  ceph orch host ls ' ?) |; Y' Z. z" P/ Z7 `4 M% F0 M( f

- g! L0 Q! ?  L: E: x8 g0 `# d1 i6 V9 a0 M
$ ceph mon add gm268-1 10.12.1.2
1 Q% V* s. G) [$ f3 @% nadding mon.gm268-1 at [v2:10.12.1.2:3300/0,v1:10.12.1.2:6789/0]
0 S* U# T% b7 d; e
# G% J  a+ u2 ]' n  N% m- U0 [7 Y% m$ y: ]
$ ceph mon dump
" S3 `( e, F$ l. h+ \2024-10-17T21:54:06.014+0800 7f4e6d2f7700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [2]8 i2 V9 j6 l  t: S
2024-10-17T21:54:06.016+0800 7f4e6caf6700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [2]+ [8 J0 {$ I9 c
dumped monmap epoch 11
! r; }  e( L8 C# Qepoch 11- q+ ^5 g; G9 h, {* K
fsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9" @1 p; G% T3 z5 O7 E7 W
last_changed 2024-10-17T13:54:00.781176+0000, _6 `$ o/ j( M) u4 G6 a3 L9 Z% q
created 2023-01-08T11:23:03.268285+0000% V3 H0 x9 d5 N* `9 W
min_mon_release 15 (octopus)
4 `9 N; U* n* E+ `1 k6 h7 y0: [v2:10.12.2.2:3300/0,v1:10.12.2.2:6789/0] mon.gm268-2
1 d1 I6 F  Z( H; y# z1: [v2:10.12.3.2:3300/0,v1:10.12.3.2:6789/0] mon.gm268-3
0 ~$ Q4 Y( N0 a/ `' M  ~2: [v2:10.12.1.2:3300/0,v1:10.12.1.2:6789/0] mon.gm268-1
! l% o. B# _' i/ W4 o& T8 @" t; v; V  {. C

3 b  J2 n: G# D6 ~! H8 Y- v$
2 h* A: b& q/ N6 K7 }/ h. v  \完成添加mon节点。

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2024-10-18 00:16:54 | 显示全部楼层
admin 发表于 2024-10-17 16:09" I+ I. A. D+ X9 n( e7 U) w
cephadm bootstrap --mon-ip 10.12.1.2 --fsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9 --allow-overwrite 9 I& c6 c9 o0 C
...

; ?# |9 F7 y2 O" a' i. L& `9 g9 pGenerating a dashboard self-signed certificate...
3 z- M8 T6 W# h2 S  CCreating initial admin user...- P. a9 Y& L! s: v, v
Fetching dashboard port number...( {+ n. ]/ f, ]
Ceph Dashboard is now available at:4 G* u0 I* {. ?# K7 ^

+ x% v7 k- h0 J9 g! k' T7 |             URL: https://gm268-1:8443/+ U; v; J. P4 H0 p  [/ Y3 X2 ]# M
            User: admin/ ^2 }9 R8 o: p3 e2 r2 F$ N
        Password: j2ixndfanu% C9 Y8 g5 j  X# `" n

+ M/ \* ]! y; H3 UYou can access the Ceph CLI with:
3 o; G+ D; E9 p5 o) `. r
  ]" [: @! z- u; B4 e% {0 U7 i        sudo /usr/sbin/cephadm shell --fsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9 -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.admin.keyring
- \2 ?- @) y7 N1 K  T) r8 d3 `
% I; w7 a7 n) pPlease consider enabling telemetry to help improve Ceph:# ]% x- q  f# ?6 a
' z4 Y( u; l1 |# j$ o
        ceph telemetry on; @5 E/ C; o1 _; E- r
% m# y# O  c9 V6 a
For more information see:; S. ^0 K1 Z- d

' [/ [9 p& b/ W4 n' k9 e        https://docs.ceph.com/docs/master/mgr/telemetry/
- l5 U+ X0 s( `: |1 o4 e
: X# @: o+ \- m( W% x1 cBootstrap complete.. ~# k# M3 q4 J! T0 h6 N$ j
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-11 23:05 , Processed in 0.020311 second(s), 25 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表