找回密码
 注册
查看: 80|回复: 4

ceph 分布式存储15以上版本mon报错解决办法 使用cephadm处理问题

[复制链接]

0

主题

0

回帖

9

积分

管理员

积分
9
QQ
发表于 2024-10-17 11:10:52 | 显示全部楼层 |阅读模式
ceph 分布式存储15以上版本mon报错解决办法
0 ]9 }  o' C8 w. W! d# w: U, i2 x# Y, j* D
1 r/ s- E% S( R1 Y6 i1 ~" L" f+ b
ceph -s
2 a$ S& X, H$ ]. B" v" k" {  cluster:
' b4 X; `+ A. X; M    id:     ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9" y3 }% N( `2 d( @, v' x& w
    health: HEALTH_WARN
6 T9 z6 Y4 g1 Z4 W1 f5 p/ i0 W4 Q2 H7 f9 Q% W* i" s
            1/3 mons down, quorum gm268-2,gm268-3
; I' j9 _+ L3 p% v/ D2 x: b3 v            1 pgs not deep-scrubbed in time) V( L( ]; L5 v# v

: b4 u: _2 W: ?% \$ ^
" G8 [6 `9 f9 T. w# q解决过程:6 e  @* }5 E# g& T) j
查看:
; c5 J/ ~$ V, S2 r% ~$ ceph orch host ls & U% ~& L1 F" }' X9 |& z$ B) x

/ P) z; R, \3 H3 T9 YHOST     ADDR     LABELS       STATUS  
& w/ ]: F7 ~# W  W% n" I' y% W/ S# I- V' V/ [
gm268-1  gm268-1  mon mgr mds          7 S2 B+ \% c; L1 `

: ~# l' z3 v( O6 x' q7 agm268-2  gm268-2  mon mgr mds          - l! L* f! I6 O8 a& c0 p
& M0 V8 @7 n3 ?5 g
gm268-3  gm268-3  mon mgr mds         
2 j. \- q1 T8 b7 I7 V, N4 C' B, Q/ P9 q" F0 @" L6 L% B8 L- ^
gm268-4  gm268-4                       
9 N+ M- q. u% v+ }: P- t& e9 h+ y, u" P8 k$ }( w
删除mon 标签
3 W+ V2 k$ Y9 v- C' ^5 G $ ceph orch host label rm gm268-1 mon
% I5 s- ]& a1 T6 m( D8 Y
6 b! ~# z) G; M2 H  C; H1 K2 XRemoved label mon from host gm268-1
  W* d4 P% t! N/ v! T& h( O: h2 R1 Q0 X8 R9 Y4 X9 w
root@gm268-1 15:15:44 ~
/ Q$ p' R1 S0 g' c% t# i" K
! o6 e8 Q: m1 G  U( A( e$ ceph orch host ls 4 {; J( X& `1 O

: w* f1 C7 c. z& E( h& tHOST     ADDR     LABELS       STATUS  
# ~6 B# c* G$ ]- Z' X
- Y0 ~! T3 {0 vgm268-1  gm268-1  mgr mds              ( g# \# W' n/ l; w
( q" i" A0 _/ k8 K; L
gm268-2  gm268-2  mon mgr mds          ; J& d1 B" z9 c: H5 _) w0 k
# q( ]# k" c5 {6 z& K

# @4 n% E# J1 \: G( Q  ^1 Ygm268-3  gm268-3  mon mgr mds             
$ M& z' H# v8 p) o' C' y
% b0 G$ w0 B  Y
7 p& Q7 o; q* W  L* e! m9 z

7 b' q' `0 O, {* p4 N$ ceph orch apply mon label:mon% }7 l0 O+ s# a/ S8 x  m9 X" s* F1 N

/ H; g$ u+ C* X0 v
  h) Z/ R( E- B- A2 ]
Scheduled mon update...
7 S# `4 {% J! V+ ]) ]# g5 ~" f4 D: W% F" ]' f6 S$ k

' ~# o" e5 ^: U( @1 g5 S! k8 x4 l9 X5 E7 c
这样mon就被剔除集群了。
& w5 l8 O1 b( s6 n4 Z/ b: q) i* i) q6 v
- s) k" u4 A6 \' I$ {; J. ^5 }

8 `: m5 l* s1 t) d3 t- i' ~mon不在报错:
! c) H. V! q9 K( W: h7 C4 P cluster:
- _( v( q8 {, v; n" ~. ]    id:     ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
: n8 m# x8 X$ f0 Q: e- D! K    health: HEALTH_WARN
8 n) t, Y: d% C4 P  g4 l/ i; n- S            failed to probe daemons or devices7 h0 U5 R6 H4 h2 ^1 h
            1 pgs not deep-scrubbed in time
, p7 j6 Q+ s( p' g# z) k: Z4 M) a9 u- Q
问题解决。
0 j6 P1 T8 T: m- M; z, Y' c5 O- a( l
' {; Z/ `8 k3 p' i( g6 {8 e

5 T9 W; e4 b1 @) ^
! T# W: ^0 z9 c( A5 \5 m) D

5 _- W: @1 {! D

0

主题

0

回帖

9

积分

管理员

积分
9
QQ
 楼主| 发表于 2024-10-17 15:32:51 | 显示全部楼层
剔除mon之后,会少一个mon,需要添加回来。保证多个mon正常运行:# Z8 U. f8 S$ }' u/ i
9 K' z" I% V8 y3 G$ D! ]
在标签上标记mon
' M1 b; x' z" d  z+ J
# L3 m  c" }2 ]( Q$ ceph orch host ls
4 T4 ]1 z$ h6 `* N" h- \+ [HOST     ADDR     LABELS       STATUS  
; _8 C8 s3 e( M- S5 w4 i7 ngm268-1  gm268-1  mgr mds              
+ [* x% a/ U$ J/ M! ?5 y6 r( Ggm268-2  gm268-2  mon mgr mds          , p, E# n) i  ]0 O; z- D# p! `$ |
gm268-3  gm268-3  mon mgr mds         
8 a& a# t- a4 N/ J# G/ O5 tgm268-4  gm268-4                       
3 g0 K- ^1 D- F  G+ X$ @8 H- xgm268-5  gm268-5                       5 V: S' O8 W3 o2 t. U1 `' f4 W( T
tp266-1  tp266-1                       4 w, F5 q& |, O

7 u1 i1 ]: [/ l9 B0 |7 a  i; m; i* J
' Z- I5 W$ n# C* A+ s& e7 Q: W$ ceph orch host label add gm268-1 mon
' V$ S6 D7 F) J0 U6 CAdded label mon to host gm268-1
; a8 c2 ?5 z. d( N; R9 \- W' j
; z6 g9 b$ P& d1 G' `$ ]' [, O6 N- m$ [2 c& M
$ ceph orch host ls
  J: `# A4 `8 N0 i0 l* R! {% ~HOST     ADDR     LABELS       STATUS  
% \' ^4 w2 p; q2 Xgm268-1  gm268-1  mgr mds mon         
* N6 e$ _4 z3 z- }* `gm268-2  gm268-2  mon mgr mds         
+ D# I2 Y2 _: qgm268-3  gm268-3  mon mgr mds         
% x" d) I* X6 o1 X# v/ sgm268-4  gm268-4                       ) z) O" X9 v; B! z- M  I& `
gm268-5  gm268-5                       
( E) s7 f* s: G, h  stp266-1  tp266-1                       4 G& e, Y  u6 L6 |

# C2 N, n& T$ H* H3 J# l/ m* x% m' s
$ ceph orch apply mon label:mon
+ M5 _$ r$ d' V9 G+ WScheduled mon update...1 [: u( q- R5 A; Z
9 l4 \8 H5 k* ^# l

- X5 {1 d$ J: E% [6 ~& `1 }* ]( r4 H  R% V$ Z# c4 M; [7 l
$ ceph orch host ls
$ N+ ]  z9 C- F$ hHOST     ADDR     LABELS       STATUS  0 \& ?$ [: P( Y. ?% V
gm268-1  gm268-1  mgr mds mon         
! z' `2 s2 l" E: Xgm268-2  gm268-2  mon mgr mds         
: D4 N3 w2 X4 g/ R0 g2 a. _gm268-3  gm268-3  mon mgr mds          8 I0 ]0 f' @6 ^
gm268-4  gm268-4                       
  E. ?. b% K' ]* o8 n1 Jgm268-5  gm268-5                       3 P9 Y4 A  v1 l8 x/ \
tp266-1  tp266-1                       
: h0 }/ w5 c, C- a. c
9 N4 c- l  z( @3 D+ `/ a- u# v. I- _& b8 J8 B( O) ~. V; `3 f8 T. L5 P
$ ceph orch daemon add mon gm268-1:10.12.1.2
# J  ~" b* q6 k1 @Error EINVAL: name mon.gm268-1 already in use
! I7 g* C7 S" p( ]8 O( k9 o) S) E% O
2 y* G/ Q* q8 |( s- d( q
' f: @' l$ ]5 y3 Z/ \$ ceph mon add gm268-1 10.12.1.26 p, L4 _5 r/ [  y' I: a. x
adding mon.gm268-1 at [v2:10.12.1.2:3300/0,v1:10.12.1.2:6789/0]/ \0 K& g3 p9 O8 _; P% Q5 L

9 n/ M/ p. P$ l+ ^& |) O0 \0 o( f( o3 G  E" F8 i

" {% \* C9 H) N/ _' Q$ ceph mon dump
& {$ n8 B9 _2 B+ U" P8 e2024-10-17T21:54:06.014+0800 7f4e6d2f7700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [2]/ D6 \2 t1 s3 g
2024-10-17T21:54:06.016+0800 7f4e6caf6700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [2]6 z0 i4 e1 R3 d# H/ s3 A
dumped monmap epoch 11
+ L& w8 P" i* q8 |epoch 11! \7 v/ e. A* B2 e/ @- i
fsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9( f/ y( E! r1 a8 t
last_changed 2024-10-17T13:54:00.781176+0000
9 x4 A2 x5 f8 L" G; r; w1 `- vcreated 2023-01-08T11:23:03.268285+0000$ y9 I) C. E. o7 i
min_mon_release 15 (octopus). d$ K# w8 x; g. x. M5 K# v: P
0: [v2:10.12.2.2:3300/0,v1:10.12.2.2:6789/0] mon.gm268-2
) r3 T- a9 y; `( U2 E6 v# y1: [v2:10.12.3.2:3300/0,v1:10.12.3.2:6789/0] mon.gm268-3+ j: I7 h( N% L1 l' z4 Z& ?. M! ]
2: [v2:10.12.1.2:3300/0,v1:10.12.1.2:6789/0] mon.gm268-19 t1 J# M3 l$ l: w7 A

) q* o/ W7 m+ U1 H  Z1 E/ U* h' r+ C, D4 ?
root@gm268-1 21:54:06 ~6 k; o; v/ N. S' T, |& w: Z* K! F
$
. y1 W% w5 w2 w- p8 B; D+ I6 n
$ U$ u! w; l5 n! `4 w2 v: k  T, V4 A) B  }9 q
6 E! r5 t- o: R# ]8 f- d
) O9 Y0 V* T) X  H  g
' D! P2 P% t3 n2 F. j6 @
9 _2 i1 m; _7 f: s: T3 G

0

主题

0

回帖

9

积分

管理员

积分
9
QQ
 楼主| 发表于 2024-10-17 16:09:15 | 显示全部楼层
cephadm bootstrap --mon-ip 10.12.1.2 --fsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9 --allow-overwrite
5 ]1 N: K3 s, C4 yVerifying podman|docker is present...( K/ o. Q! T, d' c# Y; M3 y
Verifying lvm2 is present...6 D6 Z& q; _1 j9 \% q4 Z7 C! N
Verifying time synchronization is in place...
3 b$ ?9 `/ H. k7 i6 _7 W# iUnit chronyd.service is enabled and running
. k' }$ C8 s8 S! G, O$ [Repeating the final host check...
7 U  i) n5 S0 U6 wpodman|docker (/usr/bin/podman) is present5 G, D- `9 w2 R8 u. T
systemctl is present
; r  s8 S( f2 @lvcreate is present
4 V' R8 Y6 Z" U) {0 x+ c( l$ @Unit chronyd.service is enabled and running/ i/ v9 d2 U) B& a- G9 y, Y5 g1 {
Host looks OK
5 M' H8 v0 H, q+ W  Z# aCluster fsid: ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9* w( i, \2 y5 o9 f  c
Verifying IP 10.12.1.2 port 3300 ...
/ a+ Y9 u6 b2 B5 a; IVerifying IP 10.12.1.2 port 6789 ...8 h( _. |" M$ |& C
Mon IP 10.12.1.2 is in CIDR network 10.12.0.0/15
; u3 M9 S8 u! t: |Pulling container image quay.io/ceph/ceph:v15...+ R# _( v( X/ U5 z6 s" _" v

/ j! R1 G7 M9 T& J0 u

0

主题

0

回帖

9

积分

管理员

积分
9
QQ
 楼主| 发表于 2024-10-17 21:57:08 | 显示全部楼层
后来通过删除/var/lib/ceph
2 e' [' V4 m+ a5 P- o$ e8 Irm -rf  /var/lib/ceph/ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9/mon.gm268-1/2 [+ ~( }/ i1 C/ ]9 e: g5 S  @# k

0 n9 F+ C' ^6 k再重新添加mon既可以:
% c- c9 A: k0 W' `: ?# M  E2 U5 z( u. _
  ceph orch host label add gm268-1 mon, l0 I: T$ Y& ]! w
   6 X* v7 Y# O# ]

. t' p0 j6 k3 O; {   ceph orch  apply mon  label:mon/ g& |; |2 m! v7 T( k" I

1 M- E( e! }& \* m  ceph orch host ls 9 S- ]4 s2 U* s+ ]! {

2 U' z  \5 ], V) X
( I8 B# P" a2 E" T$ ceph mon add gm268-1 10.12.1.21 K$ q6 Q# Q4 [! F
adding mon.gm268-1 at [v2:10.12.1.2:3300/0,v1:10.12.1.2:6789/0]  W. g' \; U' R

+ q4 I6 o. I$ A6 e% l3 a, ?
  u8 [2 p: \) D! w$ `9 y/ G$ ceph mon dump 9 S, E- K) t/ Y# _, l; E, b) V' P# {7 W
2024-10-17T21:54:06.014+0800 7f4e6d2f7700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [2]# ^1 O1 |3 j0 l4 k; B6 i+ l
2024-10-17T21:54:06.016+0800 7f4e6caf6700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [2]
% {7 i/ A7 G: rdumped monmap epoch 11
4 O: p0 @( j* M6 o' {epoch 11
6 s3 E( r  L. mfsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
1 z; ~, P$ p, L8 C: v/ plast_changed 2024-10-17T13:54:00.781176+00001 U1 C, s! j, O( n9 c0 Q
created 2023-01-08T11:23:03.268285+0000
5 G5 X* }) {& _2 dmin_mon_release 15 (octopus)
2 s+ A% T- b/ J0: [v2:10.12.2.2:3300/0,v1:10.12.2.2:6789/0] mon.gm268-2
$ A$ C0 E' C% h3 I* [1: [v2:10.12.3.2:3300/0,v1:10.12.3.2:6789/0] mon.gm268-3
+ B. e/ S" a, S) |7 k1 t9 j2: [v2:10.12.1.2:3300/0,v1:10.12.1.2:6789/0] mon.gm268-1
( G' ?, Y6 s9 S+ c  T2 Y4 Y3 y- r, Z5 U3 f
+ g: r+ B9 C% c6 H
$
+ t$ u: _8 H, t3 d2 g完成添加mon节点。

0

主题

0

回帖

9

积分

管理员

积分
9
QQ
 楼主| 发表于 2024-10-18 00:16:54 | 显示全部楼层
admin 发表于 2024-10-17 16:09% r: q3 o$ P1 I
cephadm bootstrap --mon-ip 10.12.1.2 --fsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9 --allow-overwrite 9 R. p( K4 r& @& ?5 E2 {
...

( o/ {' _7 @1 nGenerating a dashboard self-signed certificate.../ M8 R1 }3 ]# V3 P  }- E
Creating initial admin user...
$ F3 K+ c" f+ ~- K4 K" oFetching dashboard port number...
5 G, W7 c  _) PCeph Dashboard is now available at:
4 z  M' F: q$ E( t2 p0 A, _# Q9 ?$ [4 r% k3 T3 J) ?) V* e4 K$ t
             URL: https://gm268-1:8443/$ r3 G- B/ u. R( J
            User: admin2 h" ^( N$ Q# i0 k( K+ c/ J+ V
        Password: j2ixndfanu
  F4 b, K9 t0 ?. S" e. {7 E2 q* K; M# `+ a
You can access the Ceph CLI with:8 Q; k8 }$ p; w8 _( [0 C8 \
# A3 Z! |% b) l5 f4 Q7 s
        sudo /usr/sbin/cephadm shell --fsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9 -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.admin.keyring
. o+ i  c! A( d% c0 x0 G0 R$ T  @6 C# a9 A* j& Z) o% T3 t; j1 ?
Please consider enabling telemetry to help improve Ceph:
/ d, Q& T! q3 D% c: k" k- T/ u; D) G  L# R4 Z+ H
        ceph telemetry on
3 Y* e% h5 c. O6 I4 e# n' {$ v% |7 K  Y( o
For more information see:
3 o6 y/ o. p' U) c# y- z# u7 U$ I! q; h& s
        https://docs.ceph.com/docs/master/mgr/telemetry/7 [' s" Q) V$ G% t

; @0 B8 L9 U/ L- HBootstrap complete.
1 V& E' ?( i8 T5 I& e/ H& |! {
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-11 22:58 , Processed in 0.025406 second(s), 24 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表