将设为首页浏览此站
收藏本站联系我们相册切换到窄版

易陆发现互联网技术论坛

 找回密码
 开始注册
易陆发现互联网技术论坛»首页 › 云计算开源区 › ceph分布式存储 › ceph osd存储osd出现down解决
查看: 30|回复: 2
收起左侧

ceph osd存储osd出现down解决

[复制链接]
admin
发表于 2024-10-15 10:11:35 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要 登录 才可以下载或查看，没有账号？开始注册

x
ceph osd存储osd出现down解决过程
" |) S; s9 O1 c4 u0 M: `! A' t4 }/ L% v. G: v( R
查看：
2 G3 h: {0 E* U5 h1 V1 l* q" K
0 c. c3 U- J$ b3 C  @$ lvscan
  i# u2 Q0 d1 {. yFile descriptor 5 (pipe:[21407308]) leaked on lvscan invocation. Parent PID 2382294: -bash3 R5 g1 s$ i2 r
  ACTIVE            '/dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37' [14.55 TiB] inherit
. \% G3 H* Y) s2 G- e/ i& m  ACTIVE            '/dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce' [14.55 TiB] inherit6 Z0 g& a, c/ g% }0 U( V' g
  ACTIVE            '/dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47' [14.55 TiB] inherit, H3 Z( {  x# t/ E* T8 {$ [& E
  ACTIVE            '/dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f' [14.55 TiB] inherit& l+ q* a4 k5 N- w& R  N6 z
  ACTIVE            '/dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7' [14.55 TiB] inherit
3 Q; e/ _; [8 Y+ g8 e  ACTIVE            '/dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e' [14.55 TiB] inherit
( d  F( b: d5 g! C: G) W  ACTIVE            '/dev/vg_thinker/lv_thinker' [97.65 GiB] inherit0 a* }: g6 p6 z2 h5 v+ i8 U
  ACTIVE            '/dev/vg_thinker/remswap' [32.00 GiB] inherit
: y# b: h9 V9 K  W4 b4 ^; i2 v- }/ n) B
1 o' O4 d) C- f' f* ^; o! R
$ lsblk ( Y9 ~- b6 t7 X7 h# N
NAME                                                                                                  MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT* E1 S! c! }# J: u& S
sda                                                                                                     8:0    0   7.3T  0 disk + J  b" [% E$ S8 {& w+ h- W
├─sda1                                                                                                  8:1    0     1M  0 part * N7 G, s* w$ K2 |
├─sda2                                                                                                  8:2    0     3G  0 part /boot
9 N( H  w6 P: S& G5 z7 r, s; c6 N├─sda3                                                                                                  8:3    0 488.3G  0 part /home
# `& B  `# d- A  }8 z3 _├─sda4                                                                                                  8:4    0 195.3G  0 part /
. H( ]1 j1 z# d# Z* H├─sda5                                                                                                  8:5    0  97.7G  0 part [SWAP]
3 [4 H9 C3 ^/ m) ?+ f: Q. p├─sda6                                                                                                  8:6    0  97.7G  0 part
+ R: S2 H  t& c9 I│ └─vg_thinker-lv_thinker                                                                             253:3    0  97.7G  0 lvm  /thinker/rem8 V& m- ?, B- z7 U, O
├─sda7                                                                                                  8:7    0   1.3T  0 part , y; S" y; k$ A& r7 x4 }
│ └─vg_thinker-remswap                                                                                253:7    0    32G  0 lvm  ' u" Y3 J4 s/ Y( E$ i. r2 b
└─sda8                                                                                                  8:8    0   4.2T  0 part 7 H2 L2 w" Q# p- v" _$ H& T4 z
sdb                                                                                                     8:16   0  14.6T  0 disk
+ R3 K. s+ x" R6 \4 q0 X2 M└─ceph--a0e4549d--3cfb--4741--932d--81a4c07233f5-osd--block--bfe4f8b7--90a4--47bf--8cd9--9d9765f0c24e 253:6    0  14.6T  0 lvm  7 N& `3 A- P1 L/ U  i0 ~
sdc                                                                                                     8:32   0  14.6T  0 disk
+ A2 n6 G7 \% [0 r2 J└─ceph--c6cbb4c7--9fd7--46bf--b990--493df45680ca-osd--block--132e71ba--344a--41f7--a162--34bb94bf43d7 253:5    0  14.6T  0 lvm  
9 E8 H8 J, o2 U5 bsdd                                                                                                     8:48   0  14.6T  0 disk
* v4 p3 {( R& ~0 G! S└─ceph--64c8725f--bdfd--4968--9f9c--8d212f0fc336-osd--block--8f39ebbf--9cba--4c32--a807--c2628ca2bd1f 253:2    0  14.6T  0 lvm  
/ d9 c% ]% Y+ G/ R. p6 p3 dsde                                                                                                     8:64   0  14.6T  0 disk
& e) c8 ~# i' E8 n! R( h( a└─ceph--302f6a8d--d98d--4d4a--b049--d0d2374de24f-osd--block--1fd96d27--1fb1--4061--b700--5fc0c72e5f47 253:1    0  14.6T  0 lvm  
8 o3 n" ^) T3 @sdf                                                                                                     8:80   0  14.6T  0 disk - ]5 p# t4 {& {) y! a# E# f# P2 ]
└─ceph--05b950c4--4b29--412e--840e--eebf630c49c6-osd--block--e4ef12f6--7ebd--4e3c--bcd9--c9909dcb10ce 253:4    0  14.6T  0 lvm  ; V+ a( @( w1 d! F6 C; ~' J
sdg                                                                                                     8:96   0  14.6T  0 disk
6 W. v: ^# z7 z( l  B- F└─ceph--dd0e9bb1--bd80--4de4--8c66--7a5fc21454ff-osd--block--3a460a49--70ca--4f28--a719--0fa7a6b30a37 253:0    0  14.6T  0 lvm  $ a8 u' |! J/ K+ c
sdh                                                                                                     8:112  0  14.6T  0 disk , I8 J8 k# [/ H
└─sdh1                                                                                                  8:113  0  14.6T  0 part
, i8 }9 d: `. T' ^7 U( ]4 Erbd0                                                                                                  252:0    0    20T  0 disk
, ^& B. m4 Y% ?: w0 |└─rbd0p1                                                                                              252:1    0    20T  0 part $ i0 P% k) [, Z4 x, I
nvme0n1                                                                                               259:0    0 931.5G  0 disk
4 {# q/ J# {# w$ m) o: \7 m└─nvme0n1p1                                                                                           259:1    0 931.5G  0 part
. _# h% _2 w. ]; t2 T) g% ~2 \6 ^& \* [
! `/ `/ b6 @) F' X) x: ?0 V
$ ceph-volume lvm list 2 ]1 k, _( W. U. b% V9 w+ f% B
. A8 m) {# E' }3 G* J
0 e* N0 n* H! v' n
====== osd.25 ======
4 ?( E& B, Q* z; y9 h2 P5 Y4 z7 X2 U2 A( U" ^1 x: U' j; E
  [block]       /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e. `3 o& D( a8 s/ v
; r- Q. ^' q. `% P
      block device              /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e( p  |# k4 G" j: X; V: j
      block uuid                PZe96y-KzSv-YMAh-pqc5-mXj0-wbUH-oT1aNz
9 R9 I7 h: i) K4 I; e. A4 w) |      cephx lockbox secret      3 h7 [; W; Z( Q, W$ O
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9& S& {' k( f4 B! G! ]8 i1 O3 L
      cluster name              ceph! C( E* R# D* w; D( m
      crush device class        
, D8 l& ?1 X) _: p0 \; T      encrypted                 0
- [0 M+ g" k% R- V- Z4 w$ I      osd fsid                  bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e
2 r: g! G3 h4 q      osd id                    25; |2 `* Y7 ^1 C# i( g9 O$ {
      osdspec affinity          None; ~3 |% X! L& j- p) _, F, u
      type                      block
' f% V4 Z( m5 W2 K      vdo                       0( A. b" }! |5 o3 {) r4 Y
      devices                   /dev/sdb
- `- }  k& s# |6 X, u# \0 g. u/ i7 m. ?. ]6 u5 u8 P; V0 R" L
====== osd.26 ======
9 q  Y- f; w0 ?; H; w" I' [& K8 O7 q: V
  [block]       /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
& }1 l2 w/ ?- ?' A
: M! ?  k9 \: ^1 m3 n. W, O) D8 I      block device              /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
3 e# C, {1 l! H      block uuid                OPQkXF-WZR1-dTzF-7eZM-OiER-lCg6-gId7jr
6 E! O' ?- V: N      cephx lockbox secret      
9 F- S7 p- |4 \8 `" w! H& T      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9: |$ @- g* b) @) N+ g8 B, W0 [$ F
      cluster name              ceph$ ^, |$ ^, ]7 v8 W: U
      crush device class        
0 c" S1 z. ?. `5 @" h      encrypted                 0
3 Y0 s$ p- N+ u      osd fsid                  e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
0 |( |: i0 r. j      osd id                    26
2 }; N( {. i8 M' Q( Q2 G, b      osdspec affinity          None4 l' d( K+ ]( w
      type                      block
& ?+ o0 T5 `6 X$ ^$ v# b2 R3 f      vdo                       0
; M/ e4 Y, h6 y      devices                   /dev/sdf8 q8 o8 C. z' O, a2 [, s
4 k: ^% C) z# F2 z/ m
====== osd.27 ======
0 S6 A3 y1 e4 o+ I/ Z+ T& D: R0 U4 R' u" M/ j5 X. @
  [block]       /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7
: u' R4 S7 h, q; V. p$ ]6 u, f, k" R0 |2 X' \# j
      block device              /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7
) s+ x% A6 j) S: G3 X      block uuid                drIezU-3a23-EiUk-Jijj-kxtY-nAKi-EClJ0J
, n1 G% A9 \" x3 H& l/ ]      cephx lockbox secret      
9 \* V( _9 k; l      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9% c' U# u8 f' h0 k: K1 L
      cluster name              ceph
& D9 b/ Y" L$ F7 c" X      crush device class        
# \" N* a5 i7 T/ i/ {# i9 y8 T      encrypted                 0: G( ~  ^+ S4 `
      osd fsid                  132e71ba-344a-41f7-a162-34bb94bf43d77 u! a( H9 w0 X( M. \8 ~& Q
      osd id                    27
9 W$ U% g* b' ~* X5 I9 F" ^      osdspec affinity          None, g; Q0 r2 S( w9 l/ C- Z0 B2 P
      type                      block* [! `- o5 N3 T3 A* j) a6 L
      vdo                       01 x7 v' g$ J9 w; ?) {
      devices                   /dev/sdc- f( }! I3 t! I/ \' {* B  Y0 u5 Z
$ m4 X1 Y5 b+ k- b3 @
====== osd.28 ======( R9 C9 M2 r* k

6 F9 l0 _4 u  B  [block]       /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37
. f* X9 g# w$ C: ^* G; F
9 s5 O3 A& d. U      block device              /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37* s" K& U' t0 v0 Y
      block uuid                mkGkjm-p89M-JN30-LDrn-qsgF-FI2c-Jv4IEo5 \! B! Q0 Y6 l) O) g7 d
      cephx lockbox secret      # W4 H. {5 N- X9 {
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
& c1 d9 d. Y: J6 L9 T: _1 z1 Y      cluster name              ceph0 s# e0 m6 I# S( [0 c
      crush device class        
+ H1 ]% u. |( s, L. j+ z# f: }% p      encrypted                 0: a/ @* h$ i( T+ ?
      osd fsid                  3a460a49-70ca-4f28-a719-0fa7a6b30a37  g: d) |& |. Q' e% `/ W( P
      osd id                    28
2 t& l5 V! k4 k- J$ |8 a7 P7 Y3 [      osdspec affinity          None
2 t, M9 B, {8 B, d) D      type                      block6 c% W* A( D1 S& X0 t
      vdo                       07 X2 B1 d1 U2 ]/ H5 x
      devices                   /dev/sdg# b: b& _$ {! b8 ]: A5 ?
2 h( w- `; c7 ?
====== osd.29 ======
# O& _( }! W; [7 b/ C1 l/ K. Z1 H5 u+ o( \! T$ _1 ^& |, i2 T
  [block]       /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f, i5 c# O) D: H: J
  _" f- E, r! i1 l+ e# [5 w
      block device              /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f7 @! f7 Z5 ?1 `* G6 ?6 h1 |( h8 X
      block uuid                lOTPQt-Hjix-1NWb-ur7n-yXCL-xxMp-U8a7tf( u# M% V8 k; M: Q( F5 h
      cephx lockbox secret      
0 u" t, b! L8 z1 y, [3 V- G6 N      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b90 r/ S8 U% J4 g/ Q
      cluster name              ceph9 h2 O5 _* {) z% f- m
      crush device class        ( i0 l" S% \) ?6 W) @1 Z$ e1 u
      encrypted                 09 X* i$ r1 l- T5 N& f
      osd fsid                  8f39ebbf-9cba-4c32-a807-c2628ca2bd1f+ N3 @9 G/ p$ o  |7 ]+ V8 N
      osd id                    292 q! ]$ G0 o- p, W! C& @
      osdspec affinity          None( @6 s$ i0 b1 a' p4 L0 e' ?) r1 M
      type                      block' N! O5 M1 X7 J9 C* i" I
      vdo                       0
6 O- a8 {9 M( E1 t: J  d; ^: W! ]: ^      devices                   /dev/sdd
3 Z, \# ]! q+ O9 \& t( d- G4 O: \8 i" m% t( Z( `
====== osd.4 =======
# u! |1 A. ?+ w* F6 ^* {3 P1 a# y9 `) C
  [block]       /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47( ~7 K! w2 E, Q
  p3 _" D+ _, N* y% i8 p" |# P, g
      block device              /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f478 b/ `# g/ i: u" l6 R; h; r% y
      block uuid                reOm7n-vELk-Cqd2-IXXV-K1qH-luJn-RfXSOE$ k4 [% A. a6 c8 a3 b" E1 q. T
      cephx lockbox secret      
$ j- M) `# Y$ U      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
* `# i7 g, A) w* N, d      cluster name              ceph
: e8 n* x( `% M6 ~      crush device class        
( U) T# c5 I1 v, p      encrypted                 0! t3 w/ o4 s0 c2 x. U
      osd fsid                  1fd96d27-1fb1-4061-b700-5fc0c72e5f47
: ?) q* a- K& a% }      osd id                    48 X4 J5 T* G+ p2 J
      osdspec affinity          None* ^3 G3 ^) o* V$ P
      type                      block
& t4 u/ R$ V: z) J' x      vdo                       00 t; ?1 l6 c1 B' y( ^
      devices                   /dev/sde
/ k, V7 C3 V+ @$ zroot@gm268-5 10:14:58 ~4 `% Y% ?7 |" ?" _+ r

( {' s- c5 V) u( c4 c. |1 |  J* X: C# O# E4 m# N+ n

! w7 X+ h' B' N2 g' r) J* f( y2 o+ G
目的是找对应关系
  P% g/ m4 _% ~9 B$ m! @! \) l0 o. _2 `0 {

& I( J; ~2 y( A- A! {6 ?! c
回复

使用道具 举报

admin
 楼主| 发表于 2024-10-15 10:24:17 | 显示全部楼层
$ ceph-volume lvm list 0 G( M4 l! U( S
' n0 L# o1 o! A" z$ @

! b) l& W  ?7 k2 r====== osd.25 ======
8 x8 K% @% I0 \2 y' t& l- r! |- ~$ `( e; g
  [block]       /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e
+ V& O& R0 ~: w- W
2 j2 D8 G6 R6 D      block device              /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e2 T7 w1 v' n/ J# e  {6 i7 h6 L
      block uuid                PZe96y-KzSv-YMAh-pqc5-mXj0-wbUH-oT1aNz
5 }5 B3 _) X7 x* y+ t- G5 i      cephx lockbox secret      / h( K! O3 Y' p- O2 v) R6 N, d
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
# m0 w) S2 F2 B" X+ s      cluster name              ceph) _! h3 [# p* H8 }( T
      crush device class        1 T5 K5 W( b( ~) {+ ~
      encrypted                 0
. H! L7 v4 o6 X# w+ V      osd fsid                  bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e
+ x: E5 Z' i: [/ Z* b      osd id                    258 D; e1 Z( i3 k% ?4 Q( L9 J- Z7 E4 ]6 H
      osdspec affinity          None( _& X5 Y; _$ H7 t; _0 i/ |, J
      type                      block
: I5 P# ?2 {2 J+ R! n' N( }' e      vdo                       09 `* F# k+ L  `5 \- u- i; E
      devices                   /dev/sdb
9 ~5 B; [! H0 @$ l3 M% b
. b( I' E6 r( {1 }$ d6 G! j====== osd.26 ======
, w0 e6 x' S& o! v. S; V4 s
! R; V& K1 W' g3 {/ O9 t6 U  [block]       /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
$ y! l' ?) w3 l6 {% l/ |% m) u$ a  |; [, v) [0 ~
      block device              /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce6 g8 H5 }! _9 l: O5 D/ Q
      block uuid                OPQkXF-WZR1-dTzF-7eZM-OiER-lCg6-gId7jr
" {! M" j3 M& k$ h  c      cephx lockbox secret      ! Y7 g  M( S& C4 R8 i6 g4 j" ?
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9$ P; O& a4 U" V7 H, O2 j" X
      cluster name              ceph" z; i* T' C6 V9 E* a6 r
      crush device class        1 b0 [. p8 T  Q5 r) P; [
      encrypted                 0
! O8 r6 T. D+ N5 G& S      osd fsid                  e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
' C  X3 l5 W  e/ v* ~0 n      osd id                    26
* S4 T7 X0 x+ _; A; n  I      osdspec affinity          None
9 p7 P- B: p. s6 I) v% M+ g      type                      block% A# f; Y. X$ [/ m( e
      vdo                       0) x+ W9 c% O  W; M
      devices                   /dev/sdf, k: n: Z8 V# D1 ~1 g
& j5 R; j4 P9 j3 i. C3 r2 y( G
====== osd.27 ======
/ U, ?9 Y$ H% L% m/ P
+ d+ ]% n$ B- y  [block]       /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7  F" B: m  N/ y2 C

3 u( t$ @# R$ n1 ]0 U      block device              /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d78 {' S: Z( i2 ]/ r8 z
      block uuid                drIezU-3a23-EiUk-Jijj-kxtY-nAKi-EClJ0J' v7 a, u4 l, D5 s
      cephx lockbox secret      
7 g- ]5 D  S8 o( u' l* _! D5 [, X      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b92 k+ e( M8 @4 N; t; b( s$ O
      cluster name              ceph5 K! `, ]9 ^* ^- S+ h" G
      crush device class        6 j6 C2 U: Q3 c& e3 y' \
      encrypted                 0
# M1 l6 S1 D5 `5 a# j6 v0 {      osd fsid                  132e71ba-344a-41f7-a162-34bb94bf43d7
$ c, s' X/ C( K$ x; d      osd id                    27, Y0 G9 C) a. c8 e* ~3 |( C
      osdspec affinity          None
8 N, `1 q; g: c* ?) `- D1 X: P4 `      type                      block, N' o# g& Z+ @+ v1 U" ]5 p) q
      vdo                       0
. l$ N" H4 P7 F( P; Q5 _- w2 X# m      devices                   /dev/sdc- `, ~; b9 B4 m; J" q3 ]

2 k) x5 \0 I2 L, |# |+ r====== osd.28 ======
; w, E0 _8 m. H% P* m* |0 w% N7 M/ N: ]  z4 I) z9 c' q
  [block]       /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37
' {0 _. c; r" F1 Y( @0 @
0 M. o" F7 y5 F. x% G7 e      block device              /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37
/ {* r/ N& t/ b0 M      block uuid                mkGkjm-p89M-JN30-LDrn-qsgF-FI2c-Jv4IEo
' L% U' `+ X- w2 I0 ]5 c5 b0 _6 {1 ~      cephx lockbox secret      & P; \9 p0 {% R/ g
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9, l9 `# C2 x7 V9 o. F
      cluster name              ceph% y8 v" W) a* u" f% C& t
      crush device class        
1 G4 c: _/ M0 |) b& P      encrypted                 0
. A3 Q$ b8 Z# y; z1 C* h      osd fsid                  3a460a49-70ca-4f28-a719-0fa7a6b30a37) J6 J8 O! a, t
      osd id                    28
9 i0 ~6 ^9 p9 m1 r2 {  W      osdspec affinity          None
# z7 V: ?! T+ _1 h. U      type                      block
8 n# F( T5 H- L      vdo                       0
: G; a( ]* J; H+ o  j; ]7 M+ A      devices                   /dev/sdg/ `! T# r/ ^5 q, \

1 {" n9 h" K6 E+ f====== osd.29 ======
1 T( G5 _3 c- B) N2 g5 G. x1 w( L) A+ l" N, u  f
  [block]       /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f' h; r2 {* M9 i$ G# M
- _0 Y6 c/ c6 r3 D1 \/ k
      block device              /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f/ }; S7 P$ x+ N
      block uuid                lOTPQt-Hjix-1NWb-ur7n-yXCL-xxMp-U8a7tf
( ?, |) I3 @8 _9 n* I  U7 k# u  f      cephx lockbox secret      : i( N3 ^( j3 o, r% {
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
8 L9 g% o5 w3 k3 _6 w1 O- T      cluster name              ceph
; S3 ~% f, M% k- K% g5 `      crush device class        5 ]' H5 C6 j+ a3 R
      encrypted                 03 U0 C/ w1 u6 x
      osd fsid                  8f39ebbf-9cba-4c32-a807-c2628ca2bd1f* D, ~$ z6 p# O- b
      osd id                    29
2 w" C; [- `* P# s7 T: h      osdspec affinity          None
/ z  u! V: m" ]% F: _0 A4 N      type                      block7 k% o) s  m- U. _" \5 m& R8 {
      vdo                       0, p& v6 L. k6 @4 Z6 v* {, ?9 H
      devices                   /dev/sdd
7 y! _' m2 }1 ^& a$ A( R# L8 N! J
5 D9 s- j% X- r3 x====== osd.4 =======9 f- H9 p3 e" k: i$ [* J

, {/ W' [8 m3 x. K# O  [block]       /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47
. V6 D. G. T- u
/ |, c) p2 j0 j+ `2 |% J* Q8 q      block device              /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47: V4 d6 P5 Z) S0 D2 b+ a# P5 z
      block uuid                reOm7n-vELk-Cqd2-IXXV-K1qH-luJn-RfXSOE* m+ {2 ]5 x; ~* z' c3 u3 I
      cephx lockbox secret      
. s$ M( V' {* c# {4 x      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
# q  g5 h) K, R. @  B      cluster name              ceph
8 M1 Q5 C; b, C      crush device class        , \! W" ~# d- X7 g
      encrypted                 0, a; u3 M) L+ u3 w6 X1 @7 \9 @' L2 t& p
      osd fsid                  1fd96d27-1fb1-4061-b700-5fc0c72e5f47
4 K0 M0 C7 C  }      osd id                    4
  u; y. G: C$ X' i: j      osdspec affinity          None/ v# N0 t& s; B$ j0 @
      type                      block
- ?2 O+ j  v$ D% }# Y0 s      vdo                       0: d6 _$ ]) Q0 E! r
      devices                   /dev/sde: e$ w, ?; D  {! i6 N/ M
root@gm268-5 10:14:58 ~
回复 支持 反对

使用道具 举报

admin
 楼主| 发表于 2024-10-15 10:58:00 | 显示全部楼层
$ ceph osd rm osd.28 " i( X, ?. A; Y" a

1 A8 A$ h0 B1 p" Yremoved osd.28. S6 f. ]1 `: K+ D

$ C6 b2 C, I" ?2 b: y* }1 t9 {root@gm268-5 10:51:48 ~
) K) k! c4 h! N, f, M0 }% q9 a! r/ B% g+ b
$ ceph osd tree
) I4 Q8 o/ A4 z2 ?5 m5 h1 K1 y7 h( s
ID   CLASS  WEIGHT     TYPE NAME         STATUS  REWEIGHT  PRI-AFF8 e! K+ A& p) x7 z( @
! ~; \0 v0 Z8 k- k$ {( e6 o' B! |
-1         582.11163  root default                              
, {, I; u5 {0 B& T. }) c: f# b: _6 m. Q; o6 S7 b! O
-3         101.87065      host gm268-1                           
/ m3 n& X6 Y+ e' U. d$ b: t- t/ m9 w; R) T! _6 m2 l
  0    hdd   14.55269          osd.0         up   1.00000  1.000001 p+ {9 h7 R$ p8 g2 t" D* ]
! G( _1 a) u  ?; j/ p
  5    hdd   14.55299          osd.5         up   1.00000  1.000001 r! t/ l  D$ Q2 ?  e: C
' ?7 r8 f1 W- {3 k1 y; h
  6    hdd   14.55299          osd.6         up   1.00000  1.00000
6 k" l) y; P4 j& [; n
) Y' [( ?' {9 I0 r' y  7    hdd   14.55299          osd.7         up   1.00000  1.000006 N- ]! F2 W- E( x) @

) y5 C# E4 A0 S7 A/ o  8    hdd   14.55299          osd.8         up   1.00000  1.00000
1 o. r- u, r: {
  ]0 q# i) `- ^2 Y& p  9    hdd   14.55299          osd.9         up   1.00000  1.00000) w& e5 `- ^& ~( P3 `" t1 W3 q8 A
3 L: v: d* V- p" _, E
30    hdd   14.55299          osd.30        up   1.00000  1.00000
: E- i5 D/ _1 y
$ F9 @1 k2 a, T4 P' \7 F -5         101.86900      host gm268-2                           
* ]' o6 z' i$ {6 W$ B6 `
: q6 p+ S2 r& r# @, r# Z! p, M  1    hdd   14.55299          osd.1         up   1.00000  1.00000; p" G, [* }0 @& B: W0 s
2 x- P- X# f9 I* t+ w
10    hdd   14.55299          osd.10        up   1.00000  1.00000
. ~3 z- h, {- {) Q. n5 {; `
: @! {' u7 O3 _0 k0 T; p- @; L* Z8 @& l 11    hdd   14.55299          osd.11        up   1.00000  1.00000
" w; Q4 {; N" V7 ]4 h
9 D2 Q; _9 N) l, S7 J. M 12    hdd   14.55299          osd.12        up   1.00000  1.00000. c- }. M, J) J3 F6 T

& Z* m3 n$ l8 E# N 13    hdd   14.55299          osd.13        up   1.00000  1.00000  f2 G. y& v# \' g% [( G& Y

8 u$ e5 ~, ^( k( P8 W; Q3 l 14    hdd   14.55299          osd.14        up   1.00000  1.00000
: A: }, J# e; v# g5 \5 @+ }- P% L5 c1 k, o
31    hdd   14.55299          osd.31        up   1.00000  1.00000
" I6 w% |1 p/ I2 L
' y8 V/ E6 q1 L$ U0 b' G+ v9 \# G; C -7         101.86900      host gm268-3                           : p. o5 `) F1 e6 y! d+ h+ U, Q
( Y2 c6 K/ A3 y1 D$ H
  2    hdd   14.55299          osd.2         up   1.00000  1.000009 D  [2 w: Y, b9 @% P0 ~5 l7 r

7 h. P- {* m+ s; A6 o 15    hdd   14.55299          osd.15        up   1.00000  1.00000
4 k- v. g- t* ^/ b% I! {0 d  j! i0 j, s
16    hdd   14.55299          osd.16        up   1.00000  1.00000
& S; {/ F5 P, f2 z, N3 {! F* _6 F$ H% r' H5 t1 [
17    hdd   14.55299          osd.17        up   1.00000  1.00000
. s$ b: l/ K+ W; v# `: z% E' ]$ b4 E; y6 C$ i" Y/ y3 G  f
18    hdd   14.55299          osd.18        up   1.00000  1.00000
! D* Z% T9 @6 n2 ~1 S* k* [9 K8 ^
; A' V1 ^, y& J 19    hdd   14.55299          osd.19        up   1.00000  1.00000
* t1 d% e# N) C9 }$ N6 Q" g  B! M; k, Z. }  d8 ?
32    hdd   14.55299          osd.32        up   1.00000  1.00000
( Q( _+ `/ w$ }" Z: ?8 d0 H" e1 \; J) x! ?+ H
-9         101.86900      host gm268-4                           " a4 b8 U3 |9 g
+ p2 Y$ R8 g7 M
  3    hdd   14.55299          osd.3         up   1.00000  1.00000' R0 B4 h) ?1 d
. x9 y! \% X3 {* z  Z1 O3 R
20    hdd   14.55299          osd.20        up   1.00000  1.00000
. i$ Y/ }5 z0 S9 A# ~# U' r4 {# e# y; i. J5 w9 R
21    hdd   14.55299          osd.21        up   1.00000  1.00000  S( o4 x2 Z  Z7 o& z

# [4 P; y1 h. h; A8 N* V) ? 22    hdd   14.55299          osd.22        up   1.00000  1.00000
8 M" j1 ^2 U* \- F' M3 N2 N
% B. c8 e9 Y2 b) O 23    hdd   14.55299          osd.23        up   1.00000  1.00000" g2 m. G( q/ _) r

5 @/ Z5 }4 M1 p* {0 d% G 24    hdd   14.55299          osd.24        up   1.00000  1.00000" `) F8 T9 @5 P# `! d( W, O
# Q5 s: d* H; p! r3 L8 s
33    hdd   14.55299          osd.33        up   1.00000  1.000003 W2 J0 u6 F# S% }, d& q
6 B3 {8 e) k  g
-11          72.76497      host gm268-5                           
7 z: m6 [3 \* e- D- z  E1 u, V, X- O
  4    hdd   14.55299          osd.4         up   1.00000  1.00000
4 B! X( D. W; k' {
; e) w) U' e# U# f- z 25    hdd   14.55299          osd.25        up   1.00000  1.00000. T5 t  L/ c& i

/ U  n( J* Q# g2 c2 q- n 26    hdd   14.55299          osd.26        up   1.00000  1.00000
& V( S' o* F' _: e
7 ?  C  S* Q- l- M8 i4 y 27    hdd   14.55299          osd.27        up   1.00000  1.00000
0 S3 ~0 p: v: |* T+ M6 o. q  n8 [
1 y) Y8 P9 J$ }5 o( K& b 29    hdd   14.55299          osd.29        up   1.00000  1.00000
0 k, v+ K2 z' M* Q) `- _
3 }0 ~1 e- Z/ ?-13         101.86900      host tp266-1                           
( k! \+ a6 A( [; _! j' H+ r& H1 {
& H, q. u; j  J8 T- d 34    hdd   14.55299          osd.34        up   1.00000  1.00000
: F9 p) u! w# D" {7 s( x, k0 E$ y4 I! k& i6 Z
35    hdd   14 .55299          osd.35        up   1.00000  1.00000& o& ?  B0 f5 ~/ ], V4 F2 o

% V$ w' O3 Y# L1 A6 v5 t6 s* C 36    hdd   14.55299          osd.36        up   1.00000  1.00000
  a4 h  i9 {5 |! S' q
9 e, W7 }) X; q5 B0 g7 V. r5 a 37    hdd   14.55299          osd.37        up   1.00000  1.00000
* j% J. Q- N) U* l: s- E& |+ f1 F) S2 X2 e- T
38    hdd   14.55299          osd.38        up   1.00000  1.000004 K2 ^; W  I9 h, s7 E5 \3 R. z

( H$ w1 Q$ c* h& p, ?6 ~ 39    hdd   14.55299          osd.39        up   1.00000  1.00000
  A5 `! }- w2 n/ e1 K; F& y* G2 i9 ]& ]3 x9 O
40    hdd   14.55299          osd.40        up   1.00000  1.00000
2 m. _: W# ?8 Q
7 L0 k$ Q. M* mroot@gm268-5 10:51:55 ~
5 z; U4 Y5 j" S6 {& ?' j
7 d" l2 y( b, _# d: i! M' [; ^$ ceph -s# c) g6 h8 ?( Q- i/ G
8 n( \+ o! Q9 ^, e/ X+ C
  cluster:" I" o( k  K2 C* c2 O* C

. G  U3 T2 w6 N6 ^) z    id:     ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9" S: h: {1 D1 u2 l1 x' [! G* }

1 g; W3 `  r/ p9 c: l7 o    health: HEALTH_WARN
# D! D: g: }* e# o; K3 n
" o% X* t) L2 N1 o: O3 f  _            1 hosts fail cephadm check
6 j) t# D$ {1 n% D: ~+ b4 }: O. Y( F2 F6 Q0 V
            failed to probe daemons or devices
1 D- b" j% x6 i) e0 v
& b. ?1 P. j' z% {6 A; n' Y; k6 J            Degraded data redundancy: 117992/84949880 objects degraded (0.139%), 28 pgs degraded5 m8 G4 ]3 M3 M) ?$ ]' ~

5 A1 A# L) d% d% A$ r6 R
9 K( I' Y& ~1 O3 p  z# {6 I1 X3 B' {5 U
  services:
( G6 J7 h/ W8 C6 v$ x, }7 K! L5 S
& s* Q/ k! V& X  f) E6 V    mon: 3 daemons, quorum gm268-1,gm268-2,gm268-3 (age 5d)0 f, Q8 \3 z, V
2 w) b5 `/ d! S" }' o
    mgr: gm268-2.zttohs(active, since 5d), standbys: gm268-3.sjagqo, gm268-1.jgdvxs
5 A8 p3 ?: A+ T' `5 |( ?7 s
9 ^) D! H! J9 A7 D    mds: cephfs:1 {0=cephfs.gm268-2.xdsdoz=up:active} 2 up:standby# M% x" i: U+ H; [$ \

7 o( R5 N9 y7 e    osd: 40 osds: 40 up (since 101s), 40 in (since 101s); 804 remapped pgs: X3 K; v2 M. C! l: w- d

1 ]7 @/ [: e$ P5 ]" R  [
8 \7 N* F& m2 w" A
1 n4 R2 `3 I/ k  data:1 I( E: F# Z  H; U- W; u

4 {7 D; T& j" g( Q2 D    pools:   4 pools, 10241 pgs
1 j8 w1 l$ ^, j" ^" h# W2 h) _# U# T, j( `* ]( f0 l
    objects: 42.47M objects, 115 TiB
# b( q) P1 |7 |* P; t$ a* N6 p5 R5 q" _2 M7 z
    usage:   232 TiB used, 350 TiB / 582 TiB avail" s: ^/ o& T6 K2 p
3 V- f3 j  W0 ^0 }( ?! Y
    pgs:     117992/84949880 objects degraded (0.139%)
/ D. C7 d3 Y0 v. }, ~: f4 J
/ J  w  Q' M4 K* f             3274408/84949880 objects misplaced (3.855%)" Q* Z$ @5 b" o( u: S

8 m% m( v5 ]2 }1 U9 D# c             9437 active+clean
2 `4 Y' x9 e0 L3 o) R( h  Q7 L9 p* }4 c* [
             739  active+remapped+backfill_wait+ u. L: S* F- D$ E8 D0 E8 k

, `/ t) s) G- Z% ]             37   active+remapped+backfilling
& A7 ^3 P- |1 H; V6 S( m3 r3 Q$ D. o- h: m8 z2 y) [" r+ V& V
             26   active+undersized+degraded+remapped+backfill_wait
  }$ u' j6 F. E3 F7 x# C; l( J9 ~5 E: p1 T9 ?* [
             2    active+undersized+degraded+remapped+backfilling
" Y7 l, j1 ^7 t' u/ c  c+ S' E. w& L2 g2 W( ^4 A
1 x$ V6 ]6 J! i7 P
: o" m( Y4 g7 X  X. }2 k
  io:5 c9 P9 z) b- x: I5 w" E/ e
9 d/ \. ^' E* i
    client:   1.4 GiB/s rd, 1.5 GiB/s wr, 1.02k op/s rd, 870 op/s wr
" ?8 F; r1 {5 K+ W. b" C1 T9 C* `6 z( z$ F5 t
    recovery: 754 MiB/s, 371 keys/s, 371 objects/s' k7 s9 R, g0 e: N- ]

% h2 H2 k5 [9 z0 S" a - W- V5 H0 ^; k' }2 X

9 P) h& w2 j7 n/ A* ?: [. p* u  progress:4 X8 p* G. y9 V+ l9 ~: Z6 f
. f- |3 L$ p! F# b! ~
    Rebalancing after osd.4 marked in (2m)
/ e, J% u( ]5 c" [' K
( z2 J) x' N/ u' L5 C% h- M; p; A      [===.........................] (remaining: 14m)" E/ e7 K4 f3 B* z- x. c1 q

$ x% I; s$ K9 y# _7 I: t" o    Rebalancing after osd.29 marked in (99s); B' f' ?5 Z8 {# ?; J$ V+ l

. q( H1 h: C5 J" B; Q' f0 m      [............................]
6 H. A/ w( J0 b! I* D% J
$ N$ Q4 i8 N" K0 Q( s" C8 l2 x    Rebalancing after osd.25 marked in (2m)
8 c7 s' u6 ?/ N  t& b5 p* C. l
/ P% R, s2 f3 V: I1 M( F      [=======.....................] (remaining: 6m)  ]7 G4 k" _' v& Q
2 `, ?- G3 G% e/ H$ `3 x  K1 m
    Rebalancing after osd.26 marked in (2m)- j1 X. {- ^6 e" T& q* a

: h' f0 y0 B( A6 z      [=========...................] (remaining: 4m)
. O- R( l' T/ y' ]/ q
4 S) f7 ^- S  s& G! T3 B' A    Rebalancing after osd.27 marked in (2m)) E7 V  C$ S0 D; O
+ X2 H* x: [6 u/ c, j0 l
      [==========..................] (remaining: 3m)' g8 d% W) C5 T5 Z: i0 t$ n8 W

, _/ ~$ V" Q: p. o- U. W - [2 Z; o6 Z1 V* ^

: f9 k2 E0 b) Uroot@gm268-5 10:52:03 ~- e2 @5 h/ l5 V8 l

. k! ?1 U; G0 q  i! r$ lvremove /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37, ]! p5 a& B' O8 H, \

3 d6 C/ D; Z+ K$ O/ ADo you really want to remove active logical volume ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37? [y/n]: y
0 Z; h0 |+ c% ]8 O7 D4 h1 _/ M7 V2 D+ e8 M5 h& S8 n
  Logical volume "osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37" successfully removed
1 F1 v( `" y8 `, I2 K  I& m/ ^, l9 B6 Z3 i# {
root@gm268-5 10:52:35 ~
: Z  ?7 z0 T  @- b! s1 s( k# M' e: f% v+ ]( T( y4 q* k6 g6 V) k
$ lsblk
0 n1 r1 V% \+ U% g) G5 I! h& F- L
5 c* I" i3 |  _# t. X' {4 nNAME                                                                                                  MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
. ^/ ]: z# ?4 w5 ^! f" G2 s& K: T% L
sda                                                                                                     8:0    0   7.3T  0 disk
3 F3 W2 u8 U/ n0 U5 b3 F# F
* Q: S8 W* T' R- N├─sda1                                                                                                  8:1    0     1M  0 part 2 g6 B5 j4 h+ Y$ N0 D
  _2 Y) v: H! M, g7 T
├─sda2                                                                                                  8:2    0     3G  0 part /boot) L/ l, L  u% }0 \
8 O- ^, @' j+ ?+ ^
├─sda3                                                                                                  8:3    0 488.3G  0 part /home9 c; E. L# O- W  e* V

) D1 i: g0 J" d, l├─sda4                                                                                                  8:4    0 195.3G  0 part /- @- z) Q$ w0 k& t6 b

1 t% X7 Y1 O$ s6 O, d# |7 v├─sda5                                                                                                  8:5    0  97.7G  0 part [SWAP]0 ?3 ^. ?# o9 M- k4 ]1 Y

8 V) ^7 `7 a  X3 V$ K* |├─sda6                                                                                                  8:6    0  97.7G  0 part & g% Q, }# T8 p- o
5 d4 _( {. M1 A2 n. C
│ └─vg_thinker-lv_thinker                                                                             253:0    0  97.7G  0 lvm  /thinker/rem+ s( L9 c( v& K6 z

, y: U( Q; s/ _; X0 X' h& U1 g- {├─sda7                                                                                                  8:7    0   1.3T  0 part
5 Y  b  j, L; f+ Z- v/ I: I% R- j, r* d: N8 u
│ └─vg_thinker-remswap                                                                                253:7    0    32G  0 lvm  
3 z" w+ j, x( [' l/ ]3 t4 [# a% `
! N6 i$ p3 x9 }└─sda8                                                                                                  8:8    0   4.2T  0 part 0 y: q5 f- E, t( T) L6 t

# |' N6 o- Z; f  P: vsdb                                                                                                     8:16   0  14.6T  0 disk . \1 b0 |% C& i

9 h0 g5 o& e; ^" {. d* p8 v8 i4 {└─ceph--a0e4549d--3cfb--4741--932d--81a4c07233f5-osd--block--bfe4f8b7--90a4--47bf--8cd9--9d9765f0c24e 253:3    0  14.6T  0 lvm  : c- m- m9 b1 G  a: {0 ]

1 \7 M2 Z$ g5 M9 d  y# }9 vsdc                                                                                                     8:32   0  14.6T  0 disk
7 ^! B1 y! o3 R. P* U3 G  x, l1 Q
2 e2 v/ d: I# b% b5 k$ G! p, A$ K└─ceph--c6cbb4c7--9fd7--46bf--b990--493df45680ca-osd--block--132e71ba--344a--41f7--a162--34bb94bf43d7 253:2    0  14.6T  0 lvm  
* _% N3 W! g' `5 b9 J5 T- I0 |) n1 a$ c2 T9 o
sdd                                                                                                     8:48   0  14.6T  0 disk / P" r$ O( R2 a& ^- g$ v

1 E) _) g' s. c7 E4 `, I└─ceph--64c8725f--bdfd--4968--9f9c--8d212f0fc336-osd--block--8f39ebbf--9cba--4c32--a807--c2628ca2bd1f 253:5    0  14.6T  0 lvm  3 N- |! P. \. R$ ]2 D$ s  i

5 i1 o6 N/ p( |* R  ksde                                                                                                     8:64   0  14.6T  0 disk
* }( D& S! {6 u: {- P% k; r3 s0 z5 y$ Q) f7 u( G" u
└─ceph--302f6a8d--d98d--4d4a--b049--d0d2374de24f-osd--block--1fd96d27--1fb1--4061--b700--5fc0c72e5f47 253:4    0  14.6T  0 lvm  $ ?% i, s' L. Y# F

$ ?6 }1 _; A5 x7 Isdf                                                                                                     8:80   0  14.6T  0 disk
4 Y- y& G( O4 U* `3 c
% P7 U: [2 m! I& t: C└─ceph--05b950c4--4b29--412e--840e--eebf630c49c6-osd--block--e4ef12f6--7ebd--4e3c--bcd9--c9909dcb10ce 253:1    0  14.6T  0 lvm  ) Z0 ?5 [+ e+ m3 _0 N7 Z5 ?
. K/ [# |0 n. E2 V6 q
sdg                                                                                                     8:96   0  14.6T  0 disk % J: T& q. I2 r
, z  F- G5 \; M' L. L5 ]
sdh                                                                                                     8:112  0  14.6T  0 disk ) [/ t/ u& Z+ N7 {

( M; W' O$ q% w. s# M/ _└─sdh1                                                                                                  8:113  0  14.6T  0 part . w' s  z8 ~4 Q) k8 ]5 x+ J' z5 G

$ {0 u, z. Y, u( {* R* ]rbd0                                                                                                  252:0    0    20T  0 disk 1 |% }/ K& D  L  }6 D+ `7 w
6 B& j* D. A8 z) u# p( U) j
└─rbd0p1                                                                                              252:1    0    20T  0 part 6 |+ z! K: [1 B

* U# G; s1 L* d$ c7 {2 |) L( Unvme0n1                                                                                               259:0    0 931.5G  0 disk   }; ]* p) h. K: @* H( e. {

' s* f  B$ c) X# {5 `& o; o4 x└─nvme0n1p1                                                                                           259:1    0 931.5G  0 part . m1 j3 G: [6 Q0 s. j
6 k1 K: N2 |0 x% @
root@gm268-5 10:52:46 ~( K% A3 ^1 x3 `' Q9 T% a9 i

( ~% H. G' R  m, z2 P9 s$ vgremove /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff6 _- X9 n+ d6 z- k
' ?3 Q, Q8 c4 H* q+ v# k" s. n
  Volume group "ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff" successfully removed1 }# ?4 h1 J' `0 I' H& `* B

3 b# }2 r9 z" S* R* O1 h- ]root@gm268-5 10:53:16 ~
1 O+ t" Y/ e6 }6 p$ V. s! u: w
5 C& s; q1 H4 \. H! D) M9 m' _$ ceph-volume lvm list
& [" w9 Z% r0 Y7 [+ J
" {% i; h. t9 k+ F1 y! W' p8 _1 w- v6 |! l: O. z* e
, J3 W2 Z- Q" R6 O2 F
( k  j) g9 P9 |5 T. S) X( m

! m1 l8 a9 ]. K- C====== osd.25 ======
9 y; \% m) [' T# c: S5 X0 c4 A" P5 q3 s2 m9 ~0 k( s1 F  ]

  e- t8 B3 o4 j) S/ i% R6 S" ^. y7 _, ~/ }8 c
  [block]       /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e
& ^$ s0 [& Z$ E3 \2 [, c. ]+ y2 Q$ j9 H( E( t! f
: H  Q; ?. _6 y+ n

2 v) Z/ R2 h; c. ?3 n1 l$ a      block device              /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e
" U2 x6 C( n% Z
  R$ \, [- O/ w3 ?      block uuid                PZe96y-KzSv-YMAh-pqc5-mXj0-wbUH-oT1aNz4 D; t% R+ j2 h' c9 l1 V+ g
' L7 J3 m, l+ J. ~% j3 j
      cephx lockbox secret      
- t2 Q- p2 C, j& u" S9 A
6 x+ m7 m4 e; \  ?      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
2 j# `* @1 b6 r) s4 w
) n* [; Q2 a+ }      cluster name              ceph
& O1 a% [" W9 H2 g3 @; v' _7 f3 B% i  x8 k  n
      crush device class        , M7 o9 ]4 F: X/ C) b6 p
( j" O1 H1 @! r8 r9 Q# e# V
      encrypted                 0( Y3 F9 e: V4 D" ^/ D2 m

8 K9 V" q8 p9 U5 p4 u' F: s  f      osd fsid                  bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e
% U9 y9 d4 }: g0 A# r( e  g
! l3 _8 Y) U. ]7 {# {      osd id                    25
2 }) E; e1 n, O. z) z$ l: q! L7 H
      osdspec affinity          None4 s4 d$ O- Z- @, x5 S. ]

3 Q4 C" x/ H8 d3 l1 j* o3 g. \      type                      block
; q' M9 Q6 p5 Y# }5 z4 y
2 n: ?( c* E) k8 c; q: |      vdo                       0/ I# Z- {& l% d  p  i* b
* E2 @% ~+ ]1 a+ ]
      devices                   /dev/sdb
. P, y+ ~0 k% p* M! N! N+ u" I4 [% h1 B$ w: u2 S7 S, S9 X

4 |9 o2 }. D3 Z
$ F% v" t0 f" A# y, I====== osd.26 ======
9 L8 D  A; i% {$ r# P( J; c6 |/ ~9 ~0 t$ X* `# v
7 B( m/ J! y! L$ t
8 ~9 u- L5 f; b/ J9 J/ j5 t
  [block]       /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
2 ]0 x7 Y) ?" S- Q. G1 D3 H& @# u, f9 Q& p. x8 r  U4 r
3 [- h, I8 Z0 U/ o9 l

: w2 F0 g5 V" q! a- T1 W1 l. f      block device              /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce0 x' ?9 J1 N3 C, |! t% A

. L. w% \) K* `+ u- Y" o/ Z$ f$ O) F1 w      block uuid                OPQkXF-WZR1-dTzF-7eZM-OiER-lCg6-gId7jr
# l, O1 \. j& H2 C: ]) K4 d; y
& I& v" o' [  W$ N1 m0 p      cephx lockbox secret      + X" [5 ~1 Q8 I2 R; R

. z, ~- }* e* n& R* P2 S      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9* r* U; s( D* y6 s; D8 C
8 ^7 M2 Z6 G8 F5 m4 L, }& t; q
      cluster name              ceph# [- _- {+ X" }( {

8 g9 A( G4 ]$ B+ a8 y0 N, _) A      crush device class        ) \2 t2 A3 r$ @, h
7 ^+ a% ]* Q1 h. Y; S7 k; v2 M! A
      encrypted                 04 t* e3 r" V1 E9 ]* a

& ~4 T& Q' @2 x6 E- ~9 w: |- v      osd fsid                  e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
* X8 ]% @0 p) b8 }  v
: ?" K0 j& _( D$ X* B+ o( O4 D3 i      osd id                    26& Q0 U9 k5 ], e! V
' j9 ^0 v# r: s: x% b& J1 U. i
      osdspec affinity          None
4 k; l$ c& N! ~: j, A7 G& x1 O: I3 E6 e6 P; h& i- w. C
      type                      block3 q/ o# W* C2 m/ M( K/ Y2 m, p

- ?" w  J0 T- I0 x" K1 v4 L      vdo                       0
: n: B- k2 N) R' Y& _8 m) x6 P: p6 j6 B# b, k' w
      devices                   /dev/sdf' G0 S8 s/ k; X
& F4 |+ }& l# S5 E* d: c2 V

% w2 n! u8 [' z4 _4 @
& ?0 _3 f2 ]: \+ F====== osd.27 ======
* D' A; k+ r. r$ ?" o9 O- ?" Z: [9 _& [  n2 A

) E/ e1 }1 {( I4 F2 S4 Z2 _# v. I% m! q
  [block]       /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7
: |$ d: a8 d: |
, B0 J; w2 l( h7 C$ r" A5 R3 g8 i8 E

" I9 S+ G: e* t; f2 E2 l: X7 S# o      block device              /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d72 q: s; H, I; [! C! C) t2 h2 U/ X

3 `( O9 c$ F* {6 u      block uuid                drIezU-3a23-EiUk-Jijj-kxtY-nAKi-EClJ0J. g" y$ w1 Q, X1 d7 G! B
% f9 K7 \$ h7 f( F7 H
      cephx lockbox secret      ( L& D6 q6 D6 w9 ~6 |

+ m7 b: i+ G' t      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
# g/ Q6 [, }- g# o( `
+ g+ ^/ k! ^' m; Y0 O& V. z      cluster name              ceph/ g  f' R$ A3 w% H) l; h
: e' C& w* o" U. j" k. m" p
      crush device class        4 E( I$ q5 @, y( ^6 P

) z6 R1 {. W) l2 w5 ~! q# Q      encrypted                 0
- V4 d7 i2 L+ l( K0 v( k: j
; [. T6 G# s7 B6 D      osd fsid                  132e71ba-344a-41f7-a162-34bb94bf43d7
6 B$ D, n$ w9 X
/ `) S. E& g) w) U; ]+ ~% M      osd id                    27) d3 r  J" `' A7 N
9 Z* ]; Z& x: ~2 u
      osdspec affinity          None! G+ U* t' b  o
1 \# U; M1 z' J7 R0 Y( a
      type                      block; [1 w# n$ @4 }! N* u, e/ R
7 m) ]3 D5 {. f' E
      vdo                       0
0 p7 f7 ^$ M) n6 X( h5 D, ^+ ^# L3 D8 F) ]
      devices                   /dev/sdc% p8 D$ \; B; H$ F, T& e; L6 R

' i$ q6 j. A+ i. Q) Z
) Q- W& V# e3 r3 K( r5 x, W# X4 g4 X* q& O9 d0 C
====== osd.29 ======
' f% {( ?7 Q3 Y# C' F7 _7 k* }4 b) A

6 K) V( _1 z3 x7 W9 p# z5 {9 i' \3 T) e: U% A/ u
  [block]       /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f
: ]' V0 m6 E8 b3 E# U
) }* H8 V* V- `2 d  _
. l* Y) C* L5 C0 |8 b& g8 M* R& a" p- o+ y. T1 D. Z+ ]' \) ?
      block device              /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f' O2 U1 A; z1 p

. h5 M& i, d; V1 c, [/ p      block uuid                lOTPQt-Hjix-1NWb-ur7n-yXCL-xxMp-U8a7tf
! Q1 B1 |- k4 p+ U  V7 V3 {! [  g
      cephx lockbox secret      
- x! h; P4 b, y  {  v' H! y
8 X, C( d+ S6 r; \1 f! O! g      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9( {. E# H% u, r! @, o" e/ q
( C( `2 T% p: t
      cluster name              ceph
  l) z" l7 W" R# S% _+ \6 e* F
9 k: \, z: C% `6 c+ i: x3 Z      crush device class        . h5 L  t3 ?. G, U

, {, T; i+ w9 {: {* s      encrypted                 0
+ ?, J' ~7 s0 v' E1 f* M1 m+ S, b
      osd fsid                  8f39ebbf-9cba-4c32-a807-c2628ca2bd1f9 ?8 h/ y$ W" c- f
. z, ^- {% X+ ?, f2 a% ^% e
      osd id                    29
$ B" b" [% e  m
! z4 G0 w3 K) H8 V9 m      osdspec affinity          None
/ M! v+ P' n) S5 P# |- W+ y0 L% P! p9 g4 V
      type                      block& u6 B# O/ m$ K3 U% `
% D' m4 H1 `/ x
      vdo                       0, G  z+ _# O) @9 I) J, m0 s
# f$ a4 l% P, |+ W! T
      devices                   /dev/sdd
+ [  \& `% G- j
. I* P, m- F% M3 X' P5 O
/ \& K) ~* M* L7 N1 W% }
/ M& a+ @8 M! |1 t====== osd.4 =======
( ]2 [% E+ {/ A
& F; Q0 H$ ^; i# B, `' l
9 ~! i& _; K) }
7 v+ g2 q8 _2 M$ H8 d, o  [block]       /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47" |- ]% L7 v: y0 l3 ~
! `9 z/ V7 t9 w7 `% F

1 P7 S/ m0 W& G* m3 T9 e
8 D* r) X9 w/ j8 E1 \: q) Q" j      block device              /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47
; N6 e4 E% x3 {8 r" q4 o  o0 R: ?  o1 t
      block uuid                reOm7n-vELk-Cqd2-IXXV-K1qH-luJn-RfXSOE. ^! v( p% Y' u8 @3 i( j) C
# g& v0 [( C2 W$ h
      cephx lockbox secret      7 y9 F/ i* h, H! P8 n* H

  w$ m  @- O6 y' g# o) r" x2 l      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
1 ?( U3 U) J9 l% g# d  J
0 m8 }1 U2 b1 ]' o      cluster name              ceph& l2 v; u1 J) k; w

6 w8 ^0 B- H/ C7 e' G5 p      crush device class        
2 b9 W% w5 x% c- _
& }  v# h2 q+ K( b      encrypted                 0
. U% L' \* U: [. V- D& e2 J4 s* x+ @+ M7 a4 p+ p! Z" [8 C% y! j
      osd fsid                  1fd96d27-1fb1-4061-b700-5fc0c72e5f47
4 J9 c: b% _- |) o4 Q" j+ b6 s2 s6 ?, I" m4 t) Q6 |0 S
      osd id                    4: |6 V0 E8 h  e
- n+ k( z7 P: b+ m: A
      osdspec affinity          None; ^% T2 X" ~0 l

% q0 P( c, F$ |3 N$ H0 j9 Y! X      type                      block3 `! D. q# m8 L; f
; j; ?& j, a& @
      vdo                       0
/ Q4 `! G; k( ], [2 {
& N* L: r3 C. g6 D/ m      devices                   /dev/sde9 N$ `  P" R4 p
+ K+ b0 c7 P  \
root@gm268-5 10:53:27 ~, Z/ H& Z6 |9 d6 \! D* N

1 K9 e2 V/ a) ^# K4 s5 U+ P$ M8 @$ u
$ @" i# V$ ]2 l- l9 v
$ ceph orch daemon add osd gm268-5:/dev/sdg8 v% L: U2 B% ^+ H3 R" s! S

! G) L/ }( U5 ]/ S! Z9 N; E
* x7 X! R+ \0 e1 q  lCreated osd(s) 28 on host 'gm268-5'
. \% y* B! n/ jroot@gm268-1 10:57:24 ~
" z* a+ B8 t2 C, s$ y$ ceph osd tree 4 S; ?. A5 A/ Z6 q
ID   CLASS  WEIGHT     TYPE NAME         STATUS  REWEIGHT  PRI-AFF
* [, b# K( i; M5 O9 U -1         596.66431  root default                               7 F; h$ o/ `- l4 e
-3         101.87065      host gm268-1                           9 j& b; w4 {$ j0 s
  0    hdd   14.55269          osd.0         up   1.00000  1.00000  E/ z  x" m' s1 Q; W$ V6 F' @
  5    hdd   14.55299          osd.5         up   1.00000  1.00000/ d3 T1 c$ j+ I9 |3 `# {6 I) P/ g
  6    hdd   14.55299          osd.6         up   1.00000  1.000004 M9 e/ ]9 P( x( m
  7    hdd   14.55299          osd.7         up   1.00000  1.00000
3 c/ _/ i3 d4 c) P  8    hdd   14.55299          osd.8         up   1.00000  1.000001 c  b5 {" S* x3 I7 `* j
  9    hdd   14.55299          osd.9         up   1.00000  1.000003 f0 \( y; W) v- S' J% Y
30    hdd   14.55299          osd.30        up   1.00000  1.000005 e4 ~+ V* L9 i) r9 Z
-5         101.86900      host gm268-2                           
" e2 v# d  G" h& t! a  1    hdd   14.55299          osd.1         up   1.00000  1.00000, [0 n) A! o( x  @
10    hdd   14.55299          osd.10        up   1.00000  1.000009 N; f3 Y! C1 D# p5 B6 n
11    hdd   14.55299          osd.11        up   1.00000  1.00000
4 L5 S0 B0 e8 o  l8 ^  w* W0 Z0 X 12    hdd   14.55299          osd.12        up   1.00000  1.00000  T! M6 M9 P/ X( L3 H. q
13    hdd   14.55299          osd.13        up   1.00000  1.00000
9 ?$ f$ e9 U0 T! ^# t; _ 14    hdd   14.55299          osd.14        up   1.00000  1.00000
6 ~& Q$ i+ t8 d0 |& v# [7 M4 G 31    hdd   14.55299          osd.31        up   1.00000  1.00000( w3 S) G/ Y& F8 i" r
-7         101.86900      host gm268-3                           
+ U3 I/ E8 [5 t3 p9 b/ e  2    hdd   14.55299          osd.2         up   1.00000  1.000004 s/ o- w+ w: z- o( _) D
15    hdd   14.55299          osd.15        up   1.00000  1.00000
+ b$ `: W' _5 K- i* ^ 16    hdd   14.55299          osd.16        up   1.00000  1.00000# |6 x& B6 p9 \
17    hdd   14.55299          osd.17        up   1.00000  1.000004 g, ?! i: s9 b- ?4 k
18    hdd   14.55299          osd.18        up   1.00000  1.00000+ g  P: {/ b3 c3 y* @' {. u
19    hdd   14.55299          osd.19        up   1.00000  1.000003 U" F7 {' L3 \6 F' K5 f
32    hdd   14.55299          osd.32        up   1.00000  1.000008 o0 a5 ~4 K& W: M
-9         101.86900      host gm268-4                           
. T0 S: i( ], p+ R, V0 t8 G  3    hdd   14.55299          osd.3         up   1.00000  1.00000
5 F' S1 D0 z8 ^# _% z, y/ x 20    hdd   14.55299          osd.20        up   1.00000  1.000008 M3 A  ^$ w! @
21    hdd   14.55299          osd.21        up   1.00000  1.000008 R. P8 A+ L& V/ I& i
22    hdd   14.55299          osd.22        up   1.00000  1.00000; X7 Z8 @; ]7 e4 H2 @
23    hdd   14.55299          osd.23        up   1.00000  1.000007 R, ^" j. D; R1 y
24    hdd   14.55299          osd.24        up   1.00000  1.00000$ e+ s' p  A+ O: u0 a. Q: w, P
33    hdd   14.55299          osd.33        up   1.00000  1.00000
3 `$ r$ J( t; ~4 n-11          87.31766      host gm268-5                           
4 S" N; s9 \5 X! B0 v5 g8 p  4    hdd   14.55299          osd.4         up   1.00000  1.000007 l* M* ~+ R7 N3 J
25    hdd   14.55299          osd.25        up   1.00000  1.00000
! K, T- H" m0 Z# r 26    hdd   14.55299          osd.26        up   1.00000  1.00000/ O% P2 E* p' E" n- S
27    hdd   14.55299          osd.27        up   1.00000  1.00000+ O, ]% L) o* z+ @& R
28    hdd   14.55269          osd.28        up   1.00000  1.00000
5 X& ]- V8 U, D/ r7 b7 m; p 29    hdd   14.55299          osd.29        up   1.00000  1.000005 i. g# j' T% x4 h* }& s
-13         101.86900      host tp266-1                             q  U- w8 @0 H6 t9 w! l* r! Y
34    hdd   14.55299          osd.34        up   1.00000  1.00000- D" E$ ?8 H; I5 K" p0 V% F* y/ x
35    hdd   14.55299          osd.35        up   1.00000  1.00000) U2 N/ J- q6 z5 v0 a* N3 H
36    hdd   14.55299          osd.36        up   1.00000  1.00000/ h' F& a9 V6 R* }
37    hdd   14.55299          osd.37        up   1.00000  1.00000
( H1 h+ @( j3 Y! s 38    hdd   14.55299          osd.38        up   1.00000  1.00000/ u% j7 Z& M9 k. Q/ a
39    hdd   14.55299          osd.39        up   1.00000  1.00000
) A$ w/ ~2 _* _1 ^' k/ b 40    hdd   14.55299          osd.40        up   1.00000  1.00000
  S; o9 N6 F6 ~) c; s* b
. H5 Q4 V6 s& o* v' H+ V* {  F/ a. {2 l
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 开始注册

本版积分规则

关闭

站长推荐上一条 /4 下一条

北京云银创陇科技有限公司以云计算运维，代码开发

QQ|返回首页|Archiver|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )点击这里给我发消息

GMT+8, 2026-4-8 23:59 , Processed in 0.064033 second(s), 22 queries .

Powered by Discuz! X3.4 Licensed

© 2012-2025 Discuz! Team.

快速回复 返回顶部 返回列表