将设为首页浏览此站
收藏本站联系我们相册切换到窄版

易陆发现互联网技术论坛

 找回密码
 开始注册
易陆发现互联网技术论坛»首页 › 云计算开源区 › ceph分布式存储 › ceph 分布式存储15以上版本mon报错解决办法 使用cephad ...
查看: 73|回复: 4
收起左侧

ceph 分布式存储15以上版本mon报错解决办法 使用cephadm处理问题

[复制链接]
admin
发表于 2024-10-17 11:10:52 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要 登录 才可以下载或查看，没有账号？开始注册

x
ceph 分布式存储15以上版本mon报错解决办法1 o. l+ E8 i# g! d, v6 v( G% v, N

4 |- D  u# K5 C6 Y; l) @- k
, a  G. i. Y& K% G9 ` ceph -s
1 u4 y& l' Z; V' u  cluster:. C4 E8 ^+ N$ R+ U4 `! O1 b- F- \
    id:     ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
4 Y1 k( Y5 w7 S$ p, ~- ^, z& M5 u    health: HEALTH_WARN
9 D3 L( o. _- z* f5 Z1 _7 }  G% Y* U
6 O8 E: h7 u9 c1 S- g            1/3 mons down, quorum gm268-2,gm268-30 B5 {# J7 A5 |4 g: ~* H
            1 pgs not deep-scrubbed in time
' B* T6 }, E, F' N* y/ M/ D3 v" M  p/ w" B" Z9 @

' F* N5 J9 r) Z9 {5 ^' V解决过程：
/ }: b" X) I' L- F& d( i查看：' J6 t8 r0 K- G0 K/ B" V
$ ceph orch host ls
. m* N% ]. {) x9 t
) }$ B0 ]- E. Z1 D7 M. P6 rHOST     ADDR     LABELS       STATUS  8 p8 m, P7 ~5 h( G0 }& e) z

6 ]; _  Q1 l* f# [2 q8 V) ]; dgm268-1  gm268-1  mon mgr mds         
* z. w1 ~6 C: D$ W3 H6 w" ^; Q6 b) G" t2 q. \
gm268-2  gm268-2  mon mgr mds         
2 D5 e/ H4 ]" W5 h( X
% Q) u- f; A6 M1 [gm268-3  gm268-3  mon mgr mds          / ?* |& |" J' w5 K; N
0 v+ ~3 s' Y. p
gm268-4  gm268-4                       
" |) g5 e7 q* ~; T5 g- H. N6 s* l) |$ G2 ^5 a: C% f6 p
删除mon 标签5 N  J* ^" u0 ~7 e) T3 A
$ ceph orch host label rm gm268-1 mon
; I- n( R- Z& G, J. [( `2 [7 X* v6 s8 u' d9 E& K
Removed label mon from host gm268-1) A" {% y( @9 K; H

; i& s. P: j8 ]5 F' Jroot@gm268-1 15:15:44 ~; K0 m8 c. C2 L% j

5 Y, z% V) {; n) Z# S4 U$ ceph orch host ls ; B( N" J, F8 k2 K3 }% x( B  U) u
: [  q( w& W9 F6 |! M0 O' A1 i
HOST     ADDR     LABELS       STATUS  ) M* K% g. M( p

9 u+ N  l* }& Y7 Q+ s) Ggm268-1  gm268-1  mgr mds              
0 w2 \9 `$ Z4 u4 R$ m3 t& k/ K! z3 ~8 D& |1 N; k! O
gm268-2  gm268-2  mon mgr mds          : z' M% a, L/ z; k; [9 R2 H8 G

# v7 n0 E% g; N' b- T5 F4 f" s+ N& E; y9 \' o
gm268-3  gm268-3  mon mgr mds             
( Q4 c5 ]/ a+ y8 l, W5 Y6 r
' |* P, v7 ?5 H, W" D( I( @2 D+ I* m1 [8 \
  E4 s6 m2 h. N
$ ceph orch apply mon label:mon+ c7 @% M7 {; Z% [! d5 t
$ M! L0 ~. ?$ |
  m6 w6 p0 J6 S0 S: @  b! Q
Scheduled mon update...1 {5 E3 n  _& l. J! X* }7 u3 e

' q8 {- U9 M& {  u" Z, d
) [/ W% F( i% v/ a/ I( e; a2 s2 q
( ~# U: S- D0 V0 b这样mon就被剔除集群了。! y# `) w4 O4 z1 o

& I0 C7 L, @! S: n! \; b/ `8 P
+ `# F* l9 s& e" E0 ]% Q6 c$ pmon不在报错：4 H( j% r! n5 c2 d/ Y) k1 V
cluster:  P2 j% K" t3 s, C
    id:     ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
1 h) K: D0 V- E& {: b) z' x    health: HEALTH_WARN) W* C' q0 m' E' ~
            failed to probe daemons or devices1 J) y$ C+ {- m
            1 pgs not deep-scrubbed in time
% w. t% a" M  y  e3 t! G' d- x6 A6 L" R( q" j
问题解决。% P" |3 Y8 N( ~/ m

& K/ w& U& n- M
) ?& M+ A! Z, C, O
* n2 Q  q! q7 d- x' A8 i( M* s6 l; |1 I% G  B; z" @
, j4 p6 f$ _8 D% ?% y
回复

使用道具 举报

admin
 楼主| 发表于 2024-10-17 15:32:51 | 显示全部楼层
剔除mon之后，会少一个mon，需要添加回来。保证多个mon正常运行：
+ |7 k3 k3 d+ y- B" }' d" l  Y
8 E4 K8 s9 G1 x在标签上标记mon3 h* O. ^( t* H3 f: C; \. p- W* n
" F" \# d# o4 h2 A
$ ceph orch host ls
+ Y% d8 ]1 k5 `) h( h6 ?6 NHOST     ADDR     LABELS       STATUS  + L$ a* y  O. N
gm268-1  gm268-1  mgr mds              
  Y* e4 P/ N7 }) y2 ]$ Z; m7 O. v) L7 N( ogm268-2  gm268-2  mon mgr mds         
* ?9 S. r' a0 p; {gm268-3  gm268-3  mon mgr mds          # ~2 z/ w9 e' R* _
gm268-4  gm268-4                       3 ~9 _, Q7 V. r9 G1 G0 R5 F  V5 ~: F
gm268-5  gm268-5                       
( y' T7 V' |  I1 Htp266-1  tp266-1                       
+ }  Y5 _$ N! W" v' y% }4 d
) I9 ^9 _  Q* `/ p/ @9 V- W  l6 s1 B# F
$ ceph orch host label add gm268-1 mon ) C  x0 b8 H, E; U
Added label mon to host gm268-16 L6 \6 F- p% C7 t% E# _' A5 f
( j2 \8 @  H  a4 p0 t! p

" n. t# k& b' a4 N7 M* @3 L" m) b$ ceph orch host ls
! L8 u' n3 ]6 k+ z9 k6 W1 {HOST     ADDR     LABELS       STATUS  
9 f2 D4 s+ f' ^+ R' F* b' Dgm268-1  gm268-1  mgr mds mon          $ f) @) d' ?  |& Z
gm268-2  gm268-2  mon mgr mds         
  [0 ~% M! X' F3 fgm268-3  gm268-3  mon mgr mds          - v6 x+ G( T" Q% u1 w2 T4 q# ^
gm268-4  gm268-4                       
, S. m* r  t( agm268-5  gm268-5                       
4 ~. A% h- g6 t- y& S# wtp266-1  tp266-1                       - s( ^( P0 }# `# E( y- _

) c: q$ H( D% u8 g: o$ G  [  Z. V' J: T& s
$ ceph orch apply mon label:mon
& C+ a' o$ s* p! k+ B! nScheduled mon update...; v, n  Z; E" ~5 [* q
6 q$ P* }  @$ B) k4 A( }0 B# ~, ]

) L  P  j$ Z) r0 u% ^+ l2 u. [! \5 l. Z3 o$ ?" T% k: F
$ ceph orch host ls# K2 y7 I' M; y1 Q
HOST     ADDR     LABELS       STATUS  
7 E! e) ]/ o& R$ Q0 C8 z4 Ygm268-1  gm268-1  mgr mds mon          $ W& ~8 z; Y+ a: B& g2 a
gm268-2  gm268-2  mon mgr mds          7 q7 R7 [! K- h+ J8 D6 c
gm268-3  gm268-3  mon mgr mds         
! S3 t4 _7 R; }$ M1 F( tgm268-4  gm268-4                       
; [* W! ?5 ?$ U; P" R3 zgm268-5  gm268-5                       
4 n/ s' v' ~9 k- K/ S! C" Qtp266-1  tp266-1                       + w: [3 r* x9 h" L$ O) j0 W  w, I2 |

% G; z4 u: n+ J  P# h7 y
* Q% b7 Q( D, m$ ceph orch daemon add mon gm268-1:10.12.1.2 ; }' d$ [$ d) C1 H
Error EINVAL: name mon.gm268-1 already in use5 f8 ]  n( j# b( Y5 S& T$ k
2 C+ o! ]% M2 y4 y4 ^7 T3 H

( _6 Y- H8 v' ]/ S" z$ ceph mon add gm268-1 10.12.1.2
5 m0 b1 X5 w; r4 [+ nadding mon.gm268-1 at [v2:10.12.1.2:3300/0,v1:10.12.1.2:6789/0]
% O# {% }* P# R
& h/ r! z5 M0 D7 _- g" a# P/ t
* [& i+ V9 a. B/ f9 b
$ ceph mon dump & i- U$ `" O- j- r
2024-10-17T21:54:06.014+0800 7f4e6d2f7700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [2]& a% M+ I0 i/ k
2024-10-17T21:54:06.016+0800 7f4e6caf6700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [2]* S# B) V; D9 t6 K
dumped monmap epoch 11# d4 p$ t, z2 {, ?
epoch 11
5 J! O8 N. g  `( s7 C& Rfsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b97 s* y' {6 m7 V
last_changed 2024-10-17T13:54:00.781176+0000
$ u/ d5 ^8 p; U6 Kcreated 2023-01-08T11:23:03.268285+0000
9 I( R% C8 C( ]; X# B+ qmin_mon_release 15 (octopus)% j- \" P8 c' J
0: [v2:10.12.2.2:3300/0,v1:10.12.2.2:6789/0] mon.gm268-2
( x7 b8 Q- J; o" I" p2 r8 K7 k! }# G1: [v2:10.12.3.2:3300/0,v1:10.12.3.2:6789/0] mon.gm268-34 J5 |5 @3 S2 ], G1 e5 {
2: [v2:10.12.1.2:3300/0,v1:10.12.1.2:6789/0] mon.gm268-1" D. |! b1 }2 k0 x! c
/ {' q0 U* e" Z% O0 U" N

! k$ C! ~/ X; d# r- J6 Wroot@gm268-1 21:54:06 ~
* U9 ^- F% r3 _! _; F" I$
9 P( D1 N; c' G. q- ?6 G) k3 ]+ i8 N# X, H1 W

8 e$ }. _- b0 `5 u+ s
- N" Y7 b' D( t6 s& V4 ^/ k
* _' [2 c( ~) a9 K+ f8 u, ~
2 U  x- L7 b. g3 ~3 L# {# {  g1 H  `+ d7 R/ u* W' Y: n7 g- ?
回复 支持 反对

使用道具 举报

admin
 楼主| 发表于 2024-10-17 16:09:15 | 显示全部楼层
cephadm bootstrap --mon-ip 10.12.1.2 --fsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9 --allow-overwrite
$ V- T- n7 f7 P& zVerifying podman|docker is present...
9 @# F; X1 m# J& zVerifying lvm2 is present...: I& }4 q' Y7 _& b  p( d# z, ]+ }+ S
Verifying time synchronization is in place...7 p- a) q; I2 l0 Y5 t8 h
Unit chronyd.service is enabled and running
- t& _9 {# Y, W1 _5 u: x* c& j# [Repeating the final host check...
& T6 w( j4 D  k7 I4 C; w8 X8 Rpodman|docker (/usr/bin/podman) is present+ J3 {1 A. B7 A
systemctl is present
  U: I7 d0 W& P. j4 u. o, y/ flvcreate is present8 n. ]5 w8 ?0 Q5 }& {
Unit chronyd.service is enabled and running3 U3 S1 k! j# \. f2 f& q* k1 [9 M" G, t
Host looks OK
4 t( Q1 W0 z/ p* RCluster fsid: ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
- k% O- w4 b0 @9 a/ e! B2 UVerifying IP 10.12.1.2 port 3300 ...5 d( r) c/ D; ~( Q$ E# @1 C
Verifying IP 10.12.1.2 port 6789 ...2 [3 l$ a2 t9 v4 P) C* E7 R  K
Mon IP 10.12.1.2 is in CIDR network 10.12.0.0/151 i! ]* Z- ~6 p& @
Pulling container image quay.io/ceph/ceph:v15...$ c' Y( J% r- k' F0 j' |+ a3 s
$ t, j: f1 `/ |+ Y# k1 ~! d

点评

admin
Generating a dashboard self-signed certificate... Creating initial admin user... Fetching dashboard port number... Ceph Dashboard is now available at: URL: https://gm268-1:8443/ User: admi  详情 回复 发表于 2024-10-18 00:16
回复 支持 反对

使用道具 举报

admin
 楼主| 发表于 2024-10-17 21:57:08 | 显示全部楼层
后来通过删除/var/lib/ceph
" J9 B+ R1 U8 erm -rf  /var/lib/ceph/ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9/mon.gm268-1/
" V2 e. C$ g( s8 p' w: h
2 W8 K- k( b4 U; _! F" _再重新添加mon既可以：
- C; _( @/ a  ?( @3 e" V% l7 C' J
. b: U  @9 u7 P, v1 f- t  ceph orch host label add gm268-1 mon
: V- {9 D$ N' N! ~   1 W6 a$ f- E4 J& ]5 R

, m3 m4 F" Z! I, n  e, H   ceph orch  apply mon  label:mon
; v" v5 G& x6 S9 A( A0 m1 v" N5 U
" ^( p3 |4 w6 ?( T0 x  ceph orch host ls % a9 ]. ^  }1 T/ \& r# u7 @
. z+ ^- D5 O, r' J( Y/ b8 k$ x6 O
# ]/ H+ l- ~2 F! y0 N% ^' ?5 I
$ ceph mon add gm268-1 10.12.1.22 d  F) i* [  `' A: o0 O
adding mon.gm268-1 at [v2:10.12.1.2:3300/0,v1:10.12.1.2:6789/0]( n! P9 ~# O! Q9 S. l

' L  q+ s( |3 }- [5 B! a% T+ @4 A0 T, R! ~$ ~" e$ r. Z
$ ceph mon dump
  d5 v( ?$ [, u2024-10-17T21:54:06.014+0800 7f4e6d2f7700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [2]
5 O- {" Y4 m4 ^! x2024-10-17T21:54:06.016+0800 7f4e6caf6700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [2]6 J* ^% @* E) s# {/ p1 r
dumped monmap epoch 11
) L" Q0 J! l5 w! J" ^; V& s* }% gepoch 11; m% u! L# A, y  H. v, t# K
fsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9  K: }* C; e3 ?) I8 d# q5 S- c) J0 \
last_changed 2024-10-17T13:54:00.781176+0000! H1 k* k! j2 o- K5 i
created 2023-01-08T11:23:03.268285+0000
, c: n! ^; g" d/ q! _8 L: `min_mon_release 15 (octopus)+ U% ?3 Q( @0 \* A9 m
0: [v2:10.12.2.2:3300/0,v1:10.12.2.2:6789/0] mon.gm268-2( s' q& Z9 o5 M- M
1: [v2:10.12.3.2:3300/0,v1:10.12.3.2:6789/0] mon.gm268-35 h3 W6 U1 D; X) Y; p+ I
2: [v2:10.12.1.2:3300/0,v1:10.12.1.2:6789/0] mon.gm268-1
0 i2 E0 M. m& y: _4 g7 `+ y+ [4 M9 l/ F: N: ~9 C
. y* m+ r3 b. i' e  [
$
! a5 I: s" g; d3 `完成添加mon节点。
回复 支持 反对

使用道具 举报

admin
 楼主| 发表于 2024-10-18 00:16:54 | 显示全部楼层
admin 发表于 2024-10-17 16:093 r6 H1 ~. g# l) Y) i; x( U. P2 Y
cephadm bootstrap --mon-ip 10.12.1.2 --fsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9 --allow-overwrite ) R/ K# [% j9 ?
...
3 I" ~9 d6 Y$ ]0 u+ @1 |; e
Generating a dashboard self-signed certificate...4 D4 L1 Z( q, o* z$ z" }- D
Creating initial admin user...0 C" K5 @/ v  M
Fetching dashboard port number..., m+ f9 |6 c% p4 y) ^
Ceph Dashboard is now available at:
8 s3 @9 ^+ G2 @0 x. H4 V6 s: ^/ C& Y' _5 w* e6 j
             URL: https://gm268-1:8443/* N0 e2 {7 Y, t; U
            User: admin
0 W4 D9 h. J0 Q7 q  _4 x! j8 l        Password: j2ixndfanu, R# j( x$ k% u  L" z# L/ U# ~
6 [% f7 O2 ?2 n0 S% E
You can access the Ceph CLI with:  o  v6 Y3 ~! H, d6 _

6 U+ D) t. f3 M        sudo /usr/sbin/cephadm shell --fsid ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9 -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.admin.keyring6 d9 ]) u/ s2 c. [" y
: K; h# ~  S+ Y
Please consider enabling telemetry to help improve Ceph:8 m6 a# ?- D' \4 w8 R

+ B8 @4 [: ]. j& a( M' [        ceph telemetry on7 Z1 C4 B. A' r  u: M! Z, Z
! `! s  n7 u, @2 e, r: [
For more information see:6 j2 t$ |6 W1 e8 T% k( }

0 I: D* G9 z8 D: m; a        https://docs.ceph.com/docs/master/mgr/telemetry/; s7 `/ l0 @) c6 `6 `  i0 N

8 m' E7 O' U( m. p7 q" C, NBootstrap complete.1 L- C: A1 v* V; m* W9 p
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 开始注册

本版积分规则

关闭

站长推荐上一条 /4 下一条

北京云银创陇科技有限公司以云计算运维，代码开发

QQ|返回首页|Archiver|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )点击这里给我发消息

GMT+8, 2026-4-8 21:26 , Processed in 0.047819 second(s), 28 queries .

Powered by Discuz! X3.4 Licensed

© 2012-2025 Discuz! Team.

快速回复 返回顶部 返回列表