浏览此站
联系我们相册切换到窄版 Language

 找回密码
 注册
易陆发现论坛»论坛 › 云计算开源区 › ceph分布式存储 › ceph osd存储osd出现down解决
返回列表 发新帖
查看: 38|回复: 2

ceph osd存储osd出现down解决

[复制链接]
admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
发表于 2024-10-15 10:11:35 | 显示全部楼层 |阅读模式
ceph osd存储osd出现down解决过程' S6 \5 W8 N1 T: e

2 I, L. Z# a1 P查看：1 q4 y8 ]8 E) p! [  a: _, i/ s
+ \' E. D8 x; P0 T: s
$ lvscan
* Z1 c! f/ g2 E# r6 E) rFile descriptor 5 (pipe:[21407308]) leaked on lvscan invocation. Parent PID 2382294: -bash
8 H) h# h* C. H# b; h  ACTIVE            '/dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37' [14.55 TiB] inherit
+ k, u9 @5 B) D  ACTIVE            '/dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce' [14.55 TiB] inherit1 f2 j; s. n  L
  ACTIVE            '/dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47' [14.55 TiB] inherit: g6 |, p! v) ]( h7 V
  ACTIVE            '/dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f' [14.55 TiB] inherit
/ c$ U4 s0 f: y0 z8 n+ @  ACTIVE            '/dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7' [14.55 TiB] inherit
) v7 c3 o# V0 ]2 c  ACTIVE            '/dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e' [14.55 TiB] inherit
2 R- d3 I. D! ?2 B4 w% g  ACTIVE            '/dev/vg_thinker/lv_thinker' [97.65 GiB] inherit' c- J2 r: o/ @6 h4 H6 n7 _! H
  ACTIVE            '/dev/vg_thinker/remswap' [32.00 GiB] inherit& b' B9 T% V! m! s, |- J: g8 w. v% G+ ]

5 m, @# r, T+ x5 j  o5 A
2 W( V/ ~+ g/ I$ lsblk 8 W8 d5 G: L! s
NAME                                                                                                  MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
9 w- Q6 b8 |: z' O, Rsda                                                                                                     8:0    0   7.3T  0 disk 3 i3 }' u: y. c. x5 M
├─sda1                                                                                                  8:1    0     1M  0 part 9 s: p/ P! C- H
├─sda2                                                                                                  8:2    0     3G  0 part /boot1 T* H  K  x5 N4 r7 r5 L6 P
├─sda3                                                                                                  8:3    0 488.3G  0 part /home; |4 u" j9 W6 F  g
├─sda4                                                                                                  8:4    0 195.3G  0 part /' |, y9 G, O- g2 O
├─sda5                                                                                                  8:5    0  97.7G  0 part [SWAP]
5 ^& p% ?/ H& ]+ V- g, I* _5 q├─sda6                                                                                                  8:6    0  97.7G  0 part # R0 K: J, O: M' M2 a
│ └─vg_thinker-lv_thinker                                                                             253:3    0  97.7G  0 lvm  /thinker/rem9 L2 w" [& V4 m# e
├─sda7                                                                                                  8:7    0   1.3T  0 part
8 M! N0 z* a: p5 x2 I) r* p│ └─vg_thinker-remswap                                                                                253:7    0    32G  0 lvm  + M# U5 \- X% I. T# h1 p
└─sda8                                                                                                  8:8    0   4.2T  0 part 1 [5 Y& j" T4 a1 ?4 y
sdb                                                                                                     8:16   0  14.6T  0 disk
4 e# D, t6 D$ n$ y└─ceph--a0e4549d--3cfb--4741--932d--81a4c07233f5-osd--block--bfe4f8b7--90a4--47bf--8cd9--9d9765f0c24e 253:6    0  14.6T  0 lvm  & r3 }! p) e! a9 T; T7 X( x
sdc                                                                                                     8:32   0  14.6T  0 disk
) {6 D' _. _3 d( k" x1 B└─ceph--c6cbb4c7--9fd7--46bf--b990--493df45680ca-osd--block--132e71ba--344a--41f7--a162--34bb94bf43d7 253:5    0  14.6T  0 lvm  
/ W* h6 F% Z8 {$ Zsdd                                                                                                     8:48   0  14.6T  0 disk
* V% f3 G' {/ \. X' G* c: D# i└─ceph--64c8725f--bdfd--4968--9f9c--8d212f0fc336-osd--block--8f39ebbf--9cba--4c32--a807--c2628ca2bd1f 253:2    0  14.6T  0 lvm  
6 S. i7 K* ?/ y; Usde                                                                                                     8:64   0  14.6T  0 disk
% a9 O" C5 f' f# M) D; _% K0 a  [└─ceph--302f6a8d--d98d--4d4a--b049--d0d2374de24f-osd--block--1fd96d27--1fb1--4061--b700--5fc0c72e5f47 253:1    0  14.6T  0 lvm  
! G" o. n4 _3 ]/ }sdf                                                                                                     8:80   0  14.6T  0 disk
! o" ?8 }4 U2 W" ]1 z+ u└─ceph--05b950c4--4b29--412e--840e--eebf630c49c6-osd--block--e4ef12f6--7ebd--4e3c--bcd9--c9909dcb10ce 253:4    0  14.6T  0 lvm  
% u+ {2 U: r5 K' n  X/ vsdg                                                                                                     8:96   0  14.6T  0 disk 9 i3 P% ~: f9 i* p* C' L
└─ceph--dd0e9bb1--bd80--4de4--8c66--7a5fc21454ff-osd--block--3a460a49--70ca--4f28--a719--0fa7a6b30a37 253:0    0  14.6T  0 lvm  
9 F/ [2 s9 p: S3 A3 J( zsdh                                                                                                     8:112  0  14.6T  0 disk
, F# W, W3 r1 \: J└─sdh1                                                                                                  8:113  0  14.6T  0 part 0 M$ A$ b' @9 t/ |
rbd0                                                                                                  252:0    0    20T  0 disk . m$ b0 p, [9 d% S* a
└─rbd0p1                                                                                              252:1    0    20T  0 part
9 r4 i8 q1 ^) p8 K4 N* G: Lnvme0n1                                                                                               259:0    0 931.5G  0 disk
' S# \% i  \6 F7 }% _! b└─nvme0n1p1                                                                                           259:1    0 931.5G  0 part
& N8 l( w$ H; J7 E2 K. |" f: |/ _2 T9 C; [& r
% D+ h4 U! i' b+ s* O
$ ceph-volume lvm list
1 B& n0 b; s! B
3 p% x5 I3 S# w' D; t; j/ d9 B& `! V0 Y: T9 V4 Y
====== osd.25 ======
8 @3 g; @1 W7 U- R6 D) I; E
$ X! B/ V; }; n8 g5 ^8 a  [block]       /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e1 U/ x/ i' T+ z& R' f

1 U9 O7 y9 s( \$ F      block device              /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e  X" d% C# q2 n; s6 e. Q/ q4 z
      block uuid                PZe96y-KzSv-YMAh-pqc5-mXj0-wbUH-oT1aNz/ S: Y! o0 ]$ ]/ R6 ?
      cephx lockbox secret      7 B9 z4 {( r0 B: K9 _
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9: y: ^5 u4 a9 J: Q0 a0 g; b
      cluster name              ceph
" V6 b( c" [  I1 b      crush device class        * K* b- K; c! ~7 |1 J* G/ U
      encrypted                 0
9 f/ G8 |' D$ R) A      osd fsid                  bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e% T) N9 u" X& y
      osd id                    25
! c! w2 X' i$ u; G2 @: Q      osdspec affinity          None: g6 }: K# r+ K' m1 S! W6 h; J
      type                      block3 A: e* B+ i$ `" R+ `2 R
      vdo                       0
. u7 L: v& [- H4 R      devices                   /dev/sdb
3 ~. q9 }8 [" z4 e# S
( z* j2 S; D! l====== osd.26 ======% O! M% o4 ]! ~; i5 f) d* \8 ^
$ J9 |9 A, F; k* e
  [block]       /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce1 B* ^* z- W& L: C' B; ^

; a* o' a3 P5 [  }/ y: ^* ?      block device              /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce* D! ?" K" B" E) w
      block uuid                OPQkXF-WZR1-dTzF-7eZM-OiER-lCg6-gId7jr) N. z$ e$ p/ c4 k) ]
      cephx lockbox secret      
* o" l% b7 f4 y2 E; u+ b      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b92 I, u$ N! `% [# c! |7 B. I# G# i0 d
      cluster name              ceph
2 i+ B6 _2 v( m+ {* {9 M& ?( l+ r      crush device class        ! ?$ e" Q. G% [2 d! N
      encrypted                 0& n- C! L3 \& j
      osd fsid                  e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
4 u0 n4 X# H. f! P! C$ q. E8 c" l/ l      osd id                    263 |0 D/ w  B/ a/ E
      osdspec affinity          None
. G8 i2 E1 @2 J' D$ g      type                      block4 J* R% g% c! W2 a+ A" J; s' ~7 F
      vdo                       0  u) W" t5 W  s$ C& P& b
      devices                   /dev/sdf% b6 ]6 |6 ~+ ]- N# P5 Y5 q- r
9 ?. J4 s8 B3 H! A) R3 S  e
====== osd.27 ======2 \/ }4 f' ~7 b: k; D

3 a0 ^4 z. V" N  [block]       /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d75 X* P- n. G" o
' u. Y! k, x; S! O7 ^. _
      block device              /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7! \" T* i: Y5 g  K5 c% J
      block uuid                drIezU-3a23-EiUk-Jijj-kxtY-nAKi-EClJ0J' A/ D& A% L* r
      cephx lockbox secret      
# n5 Z7 o" }7 p( G% X2 e      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9/ P- V6 @) ]: D- O; i: o9 ^* [
      cluster name              ceph
4 l1 O1 u" W. a( y+ e! D      crush device class        
+ H5 H" X* |. R9 a( F! q; t      encrypted                 0
' a$ D8 L1 U9 q% @: I# ?( \      osd fsid                  132e71ba-344a-41f7-a162-34bb94bf43d7
$ H5 y9 c- ]& P/ p  S& n      osd id                    27
/ K; }& L( u  I9 B" o5 t& E9 }      osdspec affinity          None+ G& u. P4 ?, E; _# e5 u$ f
      type                      block* |! G/ B" n2 }2 E2 C& I1 O* ?5 D
      vdo                       0% k4 \" S- k8 M4 b8 E3 w
      devices                   /dev/sdc
2 {! x9 u! P( V/ B1 S* i# z1 i: K
====== osd.28 ======2 B7 d) m2 m8 Y' I2 R# _, y! Y8 m
: U7 N& o6 D% A0 l( m: ~
  [block]       /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37/ T0 [. H' m+ Q8 e! r/ b, j

$ b- B* K4 \% C      block device              /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37. j( Q. w* a* _* W3 B
      block uuid                mkGkjm-p89M-JN30-LDrn-qsgF-FI2c-Jv4IEo% M2 u# h2 W2 E9 n5 N
      cephx lockbox secret      
% L7 B% l' u( D3 N- F      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
5 T7 b) Q6 D% }& P7 }5 ]      cluster name              ceph
8 V8 \6 [$ C: R& @1 B3 `      crush device class        
1 J0 A  C; f- c9 X# O' C8 D% e      encrypted                 08 g8 j' O$ I/ |; U* Q
      osd fsid                  3a460a49-70ca-4f28-a719-0fa7a6b30a37: k' b9 u7 s: ?6 _- I3 ?& v
      osd id                    28
# k+ _8 Y5 J6 g0 N% P6 q      osdspec affinity          None
( \1 p  {. w9 ~% r* x# G5 K      type                      block
* Y0 \& G4 y5 r# G/ Z) g      vdo                       0& K4 h+ c- y; c1 z& @
      devices                   /dev/sdg
- y6 f& }- |& H( F+ t" V" `( s
6 o, R# E* R: i  s3 ?- P/ ?====== osd.29 ======
$ Z7 v# I7 }* y, U+ D5 Y8 N, l: ]) Q! F. v  {
  [block]       /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f
. x# p4 ?. H9 |+ R% w% _6 u8 g$ h2 |
      block device              /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f, M. X$ B4 A8 D' v7 T6 C
      block uuid                lOTPQt-Hjix-1NWb-ur7n-yXCL-xxMp-U8a7tf
) v# h. e2 d( @/ o      cephx lockbox secret      
3 Y) e% E- K4 ^( C- X) G' u      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
! r! p0 t7 @* B' M2 G2 `      cluster name              ceph
0 V. Y7 Q6 S; G% _) l      crush device class        & k) K' y+ l0 P7 ^/ e5 t
      encrypted                 09 F( L/ m9 p0 K' j1 y6 O  Z
      osd fsid                  8f39ebbf-9cba-4c32-a807-c2628ca2bd1f" {: v* e8 H0 _( F, X$ M
      osd id                    290 T8 U/ _, [: Q/ _, Q
      osdspec affinity          None
* M' z/ |5 v& S/ B1 p, T) [  @      type                      block8 P/ i' \2 q# k: m# T) j0 Z( ]
      vdo                       01 ]0 U* U" n& w8 \; s9 O3 Y
      devices                   /dev/sdd, }+ u1 [" S, o7 O; ]# |" `" E" `
' k  N, i4 f" L$ Z
====== osd.4 =======  |- u$ t- g" R& D: g7 g+ c& {

6 e. h* V% j* T% \  [block]       /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f472 u  T4 z) U* \  F

/ {" c4 |& m# V. V' a: \9 @      block device              /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47
9 l3 k8 ^0 w9 r5 g8 M7 G      block uuid                reOm7n-vELk-Cqd2-IXXV-K1qH-luJn-RfXSOE
8 N7 B0 J: V( |      cephx lockbox secret      5 T2 a# s6 a' D* @% c. W  }" O
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
6 _# w: y# b/ T) i" G! x      cluster name              ceph
( N9 ~' P7 t% b& y      crush device class        9 t- r/ V  t9 [# d5 Z
      encrypted                 0- s  W2 Z  e$ W7 J" G
      osd fsid                  1fd96d27-1fb1-4061-b700-5fc0c72e5f47  K. [, v0 Q- m0 P7 A
      osd id                    4
" f, Q% v& M( ]& ^# w% m      osdspec affinity          None
) b  @& I; t1 e, }9 ]9 N, \, j      type                      block
( `+ J" L' Q: o: H      vdo                       0
: f9 X# d5 F8 v: L& Y      devices                   /dev/sde
# s# g# C* {+ M% M) eroot@gm268-5 10:14:58 ~
' I, Q( a: [& z: e% @( i" A
8 z9 m2 t/ N# K' E. W  H/ U2 v" a5 n) ]- J2 O7 a
: j: o/ ?! N8 c

9 i0 `2 ?# c1 ]. g/ C  ]目的是找对应关系) P) |  p1 x' ~8 e
* J7 l; d' F, e4 N) w: P3 |

, V- L( }) `; ?- Q) ~) p
回复

举报

admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2024-10-15 10:24:17 | 显示全部楼层
$ ceph-volume lvm list : f! T3 g( m4 j( i: [

- q, N+ G9 ~1 M2 P8 \7 Z+ ~, F/ M$ W2 Z8 X( r  l
====== osd.25 ======
. x4 |: ?: D% s; Z
! h, X. P  T# N( s9 q" I( j" C. l  [block]       /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e" }! Q  q+ z6 R5 s

5 u* p- t$ Q+ q      block device              /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e
9 n5 G+ Q, ]1 u7 ]$ Q2 }      block uuid                PZe96y-KzSv-YMAh-pqc5-mXj0-wbUH-oT1aNz) F2 ~* P  _' R5 l; j0 Q5 p
      cephx lockbox secret      . @+ ]+ ?! k+ g0 ~8 n/ a
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
5 X. C- {; u2 Y& @! R+ s1 T6 p5 j      cluster name              ceph
9 \9 _8 j$ Z4 D( B2 o: j      crush device class        / ]$ M" K1 a+ ^3 H
      encrypted                 0
( G% U+ p# H5 x* p      osd fsid                  bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e
0 W+ d# y( S9 S1 H      osd id                    25# e5 q/ m7 J2 k& }/ i
      osdspec affinity          None" S+ }% q" U) Z+ @. d! P% T
      type                      block
; T% \9 f6 Z" B* u# \  ?0 v      vdo                       0
; `& A! j, f3 ]  u  |3 L: y0 m( E      devices                   /dev/sdb9 w8 n: L( T* h, e  \  U
5 t4 M$ ^8 C4 t* v
====== osd.26 ======' g2 c$ K' _/ o2 a. a
) d# `# O" x3 B( _
  [block]       /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce* E) c: v0 W9 b" j/ I

/ w4 O; s3 W" B3 @0 \      block device              /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce, T" J6 H; y# N6 W( {, N
      block uuid                OPQkXF-WZR1-dTzF-7eZM-OiER-lCg6-gId7jr3 }( t# a% O' I' ~
      cephx lockbox secret      + M( S! r7 P: C4 ]
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9$ t, x# N2 b* N) u/ w
      cluster name              ceph
& M! s: K4 K( A. X      crush device class        
+ g7 u& x1 l8 W" p2 p      encrypted                 0% F0 A6 s0 o& T8 \# T) z
      osd fsid                  e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
" D$ O/ c+ A! ^. R5 g7 s  w      osd id                    264 u; V  q" q( R; x6 j" Z1 M' j
      osdspec affinity          None5 K& x1 w: {& W8 k" B
      type                      block" L, d0 x4 q  b- F8 z$ `
      vdo                       09 U0 L, _3 y* `, u  b
      devices                   /dev/sdf) x9 u+ y: |- ^* L
  ~- A' S8 `2 S- h2 g8 [
====== osd.27 ======3 k  l0 \9 Z* B; }

* S5 |, S6 f. \. Y/ y  [block]       /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d79 V2 r$ h; d3 H; w1 d% R" e7 J* Z
- b4 k  b) h( C/ H
      block device              /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7  Z0 d& M6 b) o
      block uuid                drIezU-3a23-EiUk-Jijj-kxtY-nAKi-EClJ0J9 R  |, f1 j1 Q5 I3 i$ q+ V
      cephx lockbox secret      ; N  B% ~: V8 c' T  R& {
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
& m$ w. ^( o) w8 ^5 q7 \  g) N      cluster name              ceph
& u- }6 E2 T4 o  b7 I8 i      crush device class        
6 W6 c5 g' X  D* `" r      encrypted                 0
* b! q9 E% H" k      osd fsid                  132e71ba-344a-41f7-a162-34bb94bf43d7' S% D4 ]. D2 F
      osd id                    274 }; M& D5 `; \
      osdspec affinity          None3 n+ \! K, {; {4 P$ b
      type                      block
& L' }  K+ V! s1 G      vdo                       0) o  E; }" X: ^% q
      devices                   /dev/sdc
6 Q2 H1 m) [6 m8 V
) R: R2 ?$ W0 n/ t* f====== osd.28 ======" k0 b/ C4 M3 C) ]
1 F* l& F0 E  T5 R5 e
  [block]       /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37  Q. b) K0 V$ |8 D

) d' k  O4 {9 P" d9 ~! V3 F" {      block device              /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37
" {4 p' H3 ^& k1 y      block uuid                mkGkjm-p89M-JN30-LDrn-qsgF-FI2c-Jv4IEo
) ?* @4 W8 K4 f. l9 H9 e1 z+ ^; j      cephx lockbox secret      
, Y0 u. `( S" p      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
2 `1 p  _. |8 i' n, k9 k      cluster name              ceph
# m% Q; ]7 ?" t- L      crush device class        : O0 D7 [3 P0 h
      encrypted                 0- I; |6 e, Q  M# E
      osd fsid                  3a460a49-70ca-4f28-a719-0fa7a6b30a379 p4 L0 C7 R) j7 A- L8 X# e
      osd id                    28
7 A& k/ ~: h* Z2 y; z" R4 F4 Y      osdspec affinity          None
' d9 O: E% C& @& P4 ~4 G: H      type                      block, c4 r2 h" d2 D" T3 S* T
      vdo                       0" C6 a! w% L( A% S2 {3 j( }
      devices                   /dev/sdg6 w$ J: c$ _3 O8 H3 m/ `$ o" V( g# q
! w( s) n% _" k( }& J7 |
====== osd.29 ======
7 q8 u& h3 r1 U; [, q
( [  b1 B$ o+ H  [block]       /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f# l: D# g; Q! W# N* w2 U

) P/ j1 f5 i& {" j3 L. y% b      block device              /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f
2 R) f  O4 S: F3 a7 g      block uuid                lOTPQt-Hjix-1NWb-ur7n-yXCL-xxMp-U8a7tf9 I  ^1 {/ ?3 c4 G
      cephx lockbox secret      
) f/ g: q3 h* a7 `7 F" ]      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
/ I% r, }6 W$ d/ W      cluster name              ceph% A2 p% q7 n; R) V  U
      crush device class        % ?$ D: ?. z& N; F: [* Y
      encrypted                 0
( ^' R$ q" z3 m! L      osd fsid                  8f39ebbf-9cba-4c32-a807-c2628ca2bd1f
# ?" i8 C' U# T% n5 u      osd id                    29
* ~% r% r; D0 ^      osdspec affinity          None
) Z* p8 f* W2 C9 u+ x      type                      block. g. I; M3 t9 J3 J$ E, r; e5 j, ]
      vdo                       0
+ H0 k& ^9 N6 g0 z  X3 x4 E0 B      devices                   /dev/sdd, g% T* G" B5 p
6 [' g1 g" o- T
====== osd.4 =======( W2 F' {3 T; Z+ n4 T$ J: F5 w
. `8 d% B; Z: P- w3 }# B$ t# c
  [block]       /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47% R$ `/ X% j6 t

( l2 s* C( v' Z5 y. n$ m; Y* j: b$ [      block device              /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47
& c: P1 `5 J" d7 i9 [! A      block uuid                reOm7n-vELk-Cqd2-IXXV-K1qH-luJn-RfXSOE7 e; y; [1 |" P) Z( P
      cephx lockbox secret      ' N0 }" {& N/ I+ o% J; H' a
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
: c& u& `. N" n* v. r  C( G& w      cluster name              ceph
! |/ _3 N' ?1 c) g3 Z1 {      crush device class        $ j4 f( `( n. @. y, m  p
      encrypted                 0
7 M4 O. \& g1 I% K( v/ l  j2 `      osd fsid                  1fd96d27-1fb1-4061-b700-5fc0c72e5f47
# J( S( Y" S* C: m* @8 u( e      osd id                    4, L- j+ _; {0 k% k: ]! k
      osdspec affinity          None$ ]( g. o7 U% ^6 U- K5 Q
      type                      block) F  O. u7 {9 R# b& y% r$ f
      vdo                       0
8 |8 i- t, _7 w2 w) S, }      devices                   /dev/sde3 ]& H# ?" g/ R( {
root@gm268-5 10:14:58 ~
回复

举报

admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2024-10-15 10:58:00 | 显示全部楼层
$ ceph osd rm osd.28 3 u7 C- o% e( Y+ f# `4 V( }  y  O% p
* x3 ^5 q  C2 w
removed osd.28/ \* j2 t1 A- o8 m
$ L. O; q3 i1 B5 r" S) E( S/ y2 @
root@gm268-5 10:51:48 ~
2 C- S4 N4 A; W+ ~3 x. E* m6 f" J3 k- _2 |
$ ceph osd tree
  v' n' d2 i! f
0 [% M8 f& M3 E3 |7 wID   CLASS  WEIGHT     TYPE NAME         STATUS  REWEIGHT  PRI-AFF
+ m# P( H' G( o) l, L  o+ y  L. K8 z5 z8 G5 A
-1         582.11163  root default                               ' W/ e/ S! |+ l
- m) @, a4 A# h6 Q( j, `5 u
-3         101.87065      host gm268-1                           
& p. x5 _0 o# Z
: a6 P* v7 a, X1 e# b  V6 T& M4 p- D- M  0    hdd   14.55269          osd.0         up   1.00000  1.00000
+ S+ @4 |1 z& r* i  I( g, y  U; A  n! i8 U! v& F7 A, x# B  Q
  5    hdd   14.55299          osd.5         up   1.00000  1.00000, R" I( O3 E1 Y: @
0 C+ R' L: j# o, Z" M4 k7 \, }+ X) }
  6    hdd   14.55299          osd.6         up   1.00000  1.00000
, B) p+ x0 l6 k4 `! O$ n
0 s$ W$ F- l+ O0 |5 x  7    hdd   14.55299          osd.7         up   1.00000  1.00000
  v( |; v1 L4 P9 m) C' R5 T9 h+ `& i9 O6 `5 B4 T  a' i
  8    hdd   14.55299          osd.8         up   1.00000  1.00000$ x  B9 R6 z2 `8 M
" c  E8 I% f2 S& W- ^" }- J
  9    hdd   14.55299          osd.9         up   1.00000  1.00000
' a9 b0 W9 i1 k0 x; w9 ^4 Z1 i7 }" J. c. f
30    hdd   14.55299          osd.30        up   1.00000  1.00000" O' C* T9 i8 H

9 U8 W( X# _) z" ^ -5         101.86900      host gm268-2                           
5 b  J7 K, O1 n4 s' H* Q
- I! ?. l. e8 O: h/ ^; V  1    hdd   14.55299          osd.1         up   1.00000  1.00000
" L0 Y& ]: i' b- }, p( O3 e) F+ G* P0 e9 E
10    hdd   14.55299          osd.10        up   1.00000  1.00000/ C% Q* ?% H) E1 I
. x# C+ d, B6 x: c
11    hdd   14.55299          osd.11        up   1.00000  1.00000
# |5 t' S) C- r0 Q/ g( e. l* }3 y# ~8 z& f) d2 U& N8 {& Z: @  B
12    hdd   14.55299          osd.12        up   1.00000  1.00000  E( X, u$ i# f" v8 [

$ R& R, X, E2 x2 {1 `! B3 w 13    hdd   14.55299          osd.13        up   1.00000  1.000009 q4 K' G. \  Q" m

& C# y2 u- e6 w5 ^6 r# w" m 14    hdd   14.55299          osd.14        up   1.00000  1.000008 S- g9 E) r. _5 N& \. |

% y1 p7 `7 c8 R' S8 U 31    hdd   14.55299          osd.31        up   1.00000  1.000007 T6 d' I5 a" H$ v3 M
$ q5 ]* W. h. n# u4 B( |
-7         101.86900      host gm268-3                           
) y8 P- ~; |4 i1 v! O6 ?/ Q/ r8 E
  2    hdd   14.55299          osd.2         up   1.00000  1.00000
/ C4 A5 u, p9 Y% f4 M
( u' ~2 A4 s0 W2 o. L 15    hdd   14.55299          osd.15        up   1.00000  1.00000
( C- D. E. g  u  D4 O9 b( J
; S/ x! `, L7 P- r: r, X2 S. q 16    hdd   14.55299          osd.16        up   1.00000  1.00000
! A, K5 G' R8 f; ~
! c4 |. S" G5 l5 L! g 17    hdd   14.55299          osd.17        up   1.00000  1.00000
" [# ]+ [0 K' f8 K( A4 e9 }3 X7 h; }3 a; m. p; j
18    hdd   14.55299          osd.18        up   1.00000  1.000004 B! P! q/ g6 J/ j+ {0 r

/ l1 s; \3 f. |/ D# x. ]+ ?8 V 19    hdd   14.55299          osd.19        up   1.00000  1.00000, Z* b" \, [$ Y3 g8 S! T2 N% S- g

4 x. s" l8 ^/ E 32    hdd   14.55299          osd.32        up   1.00000  1.00000; B8 {. x# I; O( A6 g+ t3 p
: x+ n& ?4 n1 c7 K, z3 N3 t2 G" I
-9         101.86900      host gm268-4                           
( J. l; I$ s2 e1 M2 A4 A7 }) |& M- k9 I. s
  3    hdd   14.55299          osd.3         up   1.00000  1.00000- t# t: X8 M' W2 [  Q

* B  |* }- D4 c 20    hdd   14.55299          osd.20        up   1.00000  1.000000 j: k' G- w1 u+ |% z

# A- j& S7 g( {+ A- ? 21    hdd   14.55299          osd.21        up   1.00000  1.00000' c4 m7 L* Q7 S# @8 l
! d0 F, @* I# K) g7 s6 z, m
22    hdd   14.55299          osd.22        up   1.00000  1.00000" C; e9 ^1 I" |! j1 c9 l, g

) }0 @" x8 r9 A, A8 s5 i4 a# [! c; @ 23    hdd   14.55299          osd.23        up   1.00000  1.00000
" {3 I/ Y! V  A5 M( o
$ U, ]+ E8 I) z: E$ u* B 24    hdd   14.55299          osd.24        up   1.00000  1.00000: J( y: J; v2 `! b

1 F8 G  L& p. J( H: j 33    hdd   14.55299          osd.33        up   1.00000  1.000006 @3 w# a2 U% z) y7 z$ s
! F* M( }( i. w2 J2 y/ O' U0 C* e
-11          72.76497      host gm268-5                           " q& ~1 t+ J( k. P4 {) ^" F: K
  r$ R% U, R! w5 s! x
  4    hdd   14.55299          osd.4         up   1.00000  1.000005 D' r- T+ K5 _: c6 I& U  S
/ I! X0 b& c; b( S% o1 W: h
25    hdd   14.55299          osd.25        up   1.00000  1.00000
+ }  p( [+ [+ l" c+ L- k
1 _; w3 X3 y+ X4 h. Z. O 26    hdd   14.55299          osd.26        up   1.00000  1.00000
; q7 A5 r6 k8 i
: Z1 @9 ~- s' c# G5 y 27    hdd   14.55299          osd.27        up   1.00000  1.000003 ~& l. M1 B0 i3 i
8 Z8 _9 s( \% n. ]
29    hdd   14.55299          osd.29        up   1.00000  1.00000
7 q, i+ S$ H$ Q" d
1 X# z4 G1 J0 m7 `7 G8 L-13         101.86900      host tp266-1                           3 B  r/ I2 E9 }
5 r& o) ]2 J8 \
34    hdd   14.55299          osd.34        up   1.00000  1.000009 q0 z$ w0 {' r% E

2 [9 Z1 ^  w+ @: h 35    hdd   14 .55299          osd.35        up   1.00000  1.00000
: X( }7 \8 X, r- ?& H2 ~( q# s7 S2 V6 e* A* x6 e7 F/ z
36    hdd   14.55299          osd.36        up   1.00000  1.000001 m# t) Q0 P5 O2 O
; w- P  l" ~' e1 g# q4 I
37    hdd   14.55299          osd.37        up   1.00000  1.00000' i! z" l+ @% h: L5 B/ _) e

2 a; x0 U& u8 }1 R 38    hdd   14.55299          osd.38        up   1.00000  1.00000
3 k* H  p7 Q2 [6 C; p7 v6 A, u- S8 Y* u5 o& Q$ v2 o/ K# M
39    hdd   14.55299          osd.39        up   1.00000  1.00000  m. X+ a& A6 Y% J& U

+ L& Z+ A) M, S; D7 `3 x 40    hdd   14.55299          osd.40        up   1.00000  1.00000
$ L1 l$ Y4 H% |* i6 R
) c6 F( O2 Y5 y0 }5 droot@gm268-5 10:51:55 ~
: x* j7 ^* V1 [/ I+ a  F, y) k+ K. X- u* u( ]
$ ceph -s' i: {: B/ q) ]2 x6 s7 H/ B2 }
% Z7 t( R& R  Z1 [/ _
  cluster:
& ?4 H# D) q6 @2 ]/ M4 Y+ p1 [4 V
    id:     ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9$ V8 H9 E2 X1 X! Z3 G+ n

7 @3 E9 k* ?. T9 p0 c" M    health: HEALTH_WARN4 }' S0 x/ B8 l# N$ @4 ^
3 C" R" v5 R' S! ~" Z' \7 L' m
            1 hosts fail cephadm check# F( c& e! }; U6 v& I! }* z8 H
, E! S: e# N2 {, L
            failed to probe daemons or devices5 V) ^1 D5 l& g8 _
8 o3 x( L( Q# C$ |
            Degraded data redundancy: 117992/84949880 objects degraded (0.139%), 28 pgs degraded
! Y& `3 ?' F4 |1 {8 O
: G! u* @; A& {
; X! L/ ~2 y6 ]+ v! [8 K3 K0 x, ]  @: D5 }4 o2 \! @/ V
  services:
; Z! P3 Z7 Z# }( x. ~' S' j& l3 ~
    mon: 3 daemons, quorum gm268-1,gm268-2,gm268-3 (age 5d)
0 F9 N* o" c1 u' L& @
+ |9 ]- J$ i/ v/ I$ y/ m9 n    mgr: gm268-2.zttohs(active, since 5d), standbys: gm268-3.sjagqo, gm268-1.jgdvxs
- l7 i' G* i& v: A
/ M  r' i- J4 e    mds: cephfs:1 {0=cephfs.gm268-2.xdsdoz=up:active} 2 up:standby' {3 {2 e" q1 P
0 K6 N8 M  u* H0 f) S* P2 U8 i6 b
    osd: 40 osds: 40 up (since 101s), 40 in (since 101s); 804 remapped pgs
! ^2 \+ F. K% u+ _* L7 [. X5 ^7 ~5 I
! ?$ r3 R, r0 m& ?9 H$ G
* u  x5 u# G( B* D( I6 S2 t3 c  ?3 {
  data:
" D2 d0 i$ U: n2 n% I
8 |  A1 K. ^6 g7 [" l  M5 ^5 O# o    pools:   4 pools, 10241 pgs
% J% N9 ~3 b5 R! z0 U" i3 u. Y- E3 H% Z. k; d: i4 S
    objects: 42.47M objects, 115 TiB
* J. [7 M+ n* I" z5 h1 f* N) u- ^
5 S4 h, x7 ~1 m# U0 {- i    usage:   232 TiB used, 350 TiB / 582 TiB avail, U1 r) e6 O8 p/ G
, X9 H# h$ Q3 \) \( q- g( ]" j
    pgs:     117992/84949880 objects degraded (0.139%)
# g1 w/ Q: G- @9 J7 M- s" H
5 y0 g& e) I, Q! ~; n% ?             3274408/84949880 objects misplaced (3.855%)
  l9 l( f0 @. c1 v; S  Q+ e5 C0 Z' i: Z9 k
             9437 active+clean
" t0 _4 ?! d) B
7 c$ x9 S& I! S' [1 K! X2 }             739  active+remapped+backfill_wait
4 R4 |9 e! ~" O3 t0 H8 R; J/ ^1 h/ M
             37   active+remapped+backfilling
' u; e) L7 v0 C1 @9 z% R2 X2 J
8 R3 s+ c3 n4 q7 z             26   active+undersized+degraded+remapped+backfill_wait
) E# \; f" }) w: |5 ^" `' x' z6 a* A2 e  S6 I+ C
             2    active+undersized+degraded+remapped+backfilling
, A# E2 H/ e; K0 z
: k2 H+ P: ]3 w0 \; b( Z
/ b7 t/ K6 C( }" C, M: k1 P; ]5 m$ R
  Z& G: f$ X# O% _" ~  io:+ J$ h! s, `9 Y2 s7 M
7 E  x0 O  d+ V3 h- B
    client:   1.4 GiB/s rd, 1.5 GiB/s wr, 1.02k op/s rd, 870 op/s wr
: L7 U' }; x+ Z6 _% ^% z  E+ F- x% |- l5 x: m. V7 L
    recovery: 754 MiB/s, 371 keys/s, 371 objects/s
6 z% H( w6 y2 r! a. @; o  l  @) D) e# l! k

$ }# b' X; j! A; ]$ w$ B  ^1 T4 t8 W* T! Z& f
  progress:* I1 o/ N9 f$ ]( `' S7 U7 A6 F
" A. A3 L# Y- h
    Rebalancing after osd.4 marked in (2m)
  e8 n9 Z8 ?) t3 u: W6 v/ `5 d7 y$ e' U9 N% @
      [===.........................] (remaining: 14m)$ ?3 k0 J, x9 L4 R5 Z# u
3 S8 V' P1 v: C& z
    Rebalancing after osd.29 marked in (99s)4 y7 ~; H' L/ t
9 R! j. ^7 O* E
      [............................]
, E) Q  B6 m; u! d1 m
% t# \- B6 p  t( X    Rebalancing after osd.25 marked in (2m)
8 ~5 N! k1 [+ S+ U5 i! r( I4 D$ ^9 t6 m! K" @8 p
      [=======.....................] (remaining: 6m)4 H+ ^; {5 U7 f; _
" C3 K" }2 {% i5 x1 |
    Rebalancing after osd.26 marked in (2m)& I* l) W5 V3 ?6 }
0 S, n. c+ @1 @
      [=========...................] (remaining: 4m)8 [* w; j6 l$ T' Z( F* u0 Q3 t

; \8 Q- e, q2 `% ^/ p    Rebalancing after osd.27 marked in (2m). M; u* D; W( l. P1 b' V
  @3 _3 D& z  Q! v1 P
      [==========..................] (remaining: 3m)& P$ q, }+ y* @( L2 d  B" Y) N

, Y3 y! h; A" D8 b  T
* s6 j+ m8 O& k! b
+ Q1 r. f0 s6 y; v4 y8 {- nroot@gm268-5 10:52:03 ~
3 i/ t; G; j, ^9 l9 t# m
( U# h* n7 H, l& A4 R- K; J+ z7 q2 X% Y$ lvremove /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37/ u0 D( Q- {+ @" x( Y: W+ _
) ~+ F/ e; B) _3 i" [
Do you really want to remove active logical volume ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37? [y/n]: y
# h, {+ N# |- N2 F% K, K0 ?3 `: F) G: }5 p# c
  Logical volume "osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37" successfully removed
8 H% k8 a: a4 g  P* ~
( r2 B0 e7 w' Z2 f! g5 p; Rroot@gm268-5 10:52:35 ~7 C/ W6 c# C3 Z6 Y) W

" L- H* H; w- v$ lsblk
- v+ I+ y' a6 E2 @$ E* b2 w& }* C% O7 p6 \  z
NAME                                                                                                  MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT4 h+ E. f/ I$ R( k- f* {

* Z1 |; Q) u6 _2 R0 Rsda                                                                                                     8:0    0   7.3T  0 disk
  g# L* i' y: C  g! D' W$ y6 q3 {& D: D0 u
├─sda1                                                                                                  8:1    0     1M  0 part
5 [- r0 h0 u7 R8 s) c3 O7 x! L3 n; V' ]% z
├─sda2                                                                                                  8:2    0     3G  0 part /boot
+ N8 M" y6 z0 c+ ?6 S
$ }4 U$ y8 [5 t: ~├─sda3                                                                                                  8:3    0 488.3G  0 part /home
6 Q9 W. C$ ]: i  i
* d# T/ t7 i- _7 T├─sda4                                                                                                  8:4    0 195.3G  0 part /
- E+ y% F# Z: j$ G' J" P
% O, ?6 x- l! h! w├─sda5                                                                                                  8:5    0  97.7G  0 part [SWAP]1 N2 Q  k+ F" ?. @( I

+ X, M/ V9 D) G/ }* K├─sda6                                                                                                  8:6    0  97.7G  0 part
% K, ~. ]0 A; Q# g* G. c0 M- L, G  G7 z, U
│ └─vg_thinker-lv_thinker                                                                             253:0    0  97.7G  0 lvm  /thinker/rem
4 Y' X. R: y- m! D* J2 y' ?5 l; N0 e( Y* [5 Z. v* ?
├─sda7                                                                                                  8:7    0   1.3T  0 part
7 X: p  \: V6 x6 K1 |$ Y" g$ z. g  t! }6 C+ ?$ X; x, D/ s
│ └─vg_thinker-remswap                                                                                253:7    0    32G  0 lvm  , {4 m% \. Z# q9 J/ }; Y% D
9 U  n. m& b& h& ]3 r  q$ ?8 Z8 X/ n
└─sda8                                                                                                  8:8    0   4.2T  0 part " I! N! t5 U! I

5 D/ Z& _' o% G1 ^: ~5 Ssdb                                                                                                     8:16   0  14.6T  0 disk . y, h9 E7 t2 c
) T) |0 ~5 I6 e: Z
└─ceph--a0e4549d--3cfb--4741--932d--81a4c07233f5-osd--block--bfe4f8b7--90a4--47bf--8cd9--9d9765f0c24e 253:3    0  14.6T  0 lvm  " _3 `7 \7 G4 }
7 x( ]7 l7 r7 k' [, \" K) N
sdc                                                                                                     8:32   0  14.6T  0 disk
+ J' _! a- J( J
5 c0 X5 M* Y7 |└─ceph--c6cbb4c7--9fd7--46bf--b990--493df45680ca-osd--block--132e71ba--344a--41f7--a162--34bb94bf43d7 253:2    0  14.6T  0 lvm  
: J3 T0 E* t/ D( n, w) L! W( K  D
* A) |9 ~9 s9 A( O8 Q1 ?sdd                                                                                                     8:48   0  14.6T  0 disk
( B& i; u* D+ r6 g/ x
) W7 j2 |' b4 `9 Z/ r1 ]; y$ x└─ceph--64c8725f--bdfd--4968--9f9c--8d212f0fc336-osd--block--8f39ebbf--9cba--4c32--a807--c2628ca2bd1f 253:5    0  14.6T  0 lvm  
) i2 R; \3 T! f1 e/ X' `6 D) Q6 \% ^- A; `
sde                                                                                                     8:64   0  14.6T  0 disk
9 S+ n5 x) M9 j; h$ t, g- I; W
; F2 _1 t: [# h- T3 K└─ceph--302f6a8d--d98d--4d4a--b049--d0d2374de24f-osd--block--1fd96d27--1fb1--4061--b700--5fc0c72e5f47 253:4    0  14.6T  0 lvm  
5 K' @( S1 N+ S; `. @  ]% `
) T2 R- b9 A, v2 x3 zsdf                                                                                                     8:80   0  14.6T  0 disk
( F( z3 \6 R3 D% H* u1 z! O0 `  H- P- |2 `
└─ceph--05b950c4--4b29--412e--840e--eebf630c49c6-osd--block--e4ef12f6--7ebd--4e3c--bcd9--c9909dcb10ce 253:1    0  14.6T  0 lvm  - B' W2 v1 o; i3 E0 h
/ Y6 a! s+ N% e' W1 l
sdg                                                                                                     8:96   0  14.6T  0 disk ) V' ?/ R- \7 _6 g
+ H" z; c! r' O3 q: D' b
sdh                                                                                                     8:112  0  14.6T  0 disk $ l0 `9 X* \0 d9 ^! s* p

6 Z& _+ d! l* r7 a( n* L: H+ d. u└─sdh1                                                                                                  8:113  0  14.6T  0 part
4 ]/ i8 x& `0 u) i9 P: O2 j' d+ K
rbd0                                                                                                  252:0    0    20T  0 disk + [* [3 G  P. s$ {, a  P

& _) B( a- k$ U; I- W. }+ Y└─rbd0p1                                                                                              252:1    0    20T  0 part
! F/ v' q8 @3 p! n* P: A2 T, V, ]* }4 \8 x
nvme0n1                                                                                               259:0    0 931.5G  0 disk $ n+ ?) B/ Y* E- i

4 P; W' r/ }" A8 n└─nvme0n1p1                                                                                           259:1    0 931.5G  0 part
- I) H* v! n$ P/ p; W' z) m
/ S6 R' |! N. R" z) a. a1 o8 x! Qroot@gm268-5 10:52:46 ~
2 T, y8 G# G, F9 [3 l( k/ g& l6 O9 |: p* f3 h7 T7 k) N
$ vgremove /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff
5 w0 s% Q& o' w1 k
" S) @4 S* D' }* ~( |& w# `% o  Volume group "ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff" successfully removed
7 \5 a; ?! T& Q* A, Y! a# D- T7 z7 u9 [5 ~& h0 t+ l6 M
root@gm268-5 10:53:16 ~0 o, v  a$ O9 U/ i
3 b& a7 \3 m; R# D9 e* m$ c
$ ceph-volume lvm list
) i0 H2 u, y+ k3 L/ P; X: D6 b5 E$ `3 j( T$ c2 B  \
2 a6 j* I( B0 x: `/ @4 A3 Q
0 C- ^, N3 h. W3 H0 M! Z  G9 C
+ u3 |+ S8 C& U) M. o

7 o9 i5 W& L% X====== osd.25 ======
* M+ h, ~2 O' r% g+ q! u7 [8 R8 U4 Y1 F

& ?& m+ k8 Q& b/ e- t% G
) n* H( h" X6 H  [block]       /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e3 d9 L1 B+ J$ \$ o; p- {

. ~- ?7 {2 F4 m# H4 N9 {4 w9 s) ^( l  w
, Y- }5 S% E% z- {, m. x
      block device              /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e
1 |* \: W0 M( s6 x  D. H2 y0 v8 U% ]" @9 }, {( [7 C6 ?
      block uuid                PZe96y-KzSv-YMAh-pqc5-mXj0-wbUH-oT1aNz, M+ {3 ]: F6 i
6 U* l  t- O0 `/ J. f
      cephx lockbox secret      % P2 `1 L3 D* [+ U3 f& }

1 Q+ W4 B7 \/ Y* N1 ?3 }" F      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
5 q: t; X; J7 ]" D1 \* v/ @/ k* Q% F$ O( ]1 \% ?
      cluster name              ceph
2 }6 @+ @1 g/ m+ Y# r; r' P2 ^1 P) \' _
      crush device class        
0 D, a/ r2 _" m
3 H# D9 V' E5 b6 }( m" h      encrypted                 0
: l- J: y  G- I5 |
% t$ ]# J7 O- c6 Z( z      osd fsid                  bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e
. w# F# K# y2 J) R" Q. }' Y2 N5 ]5 N) X! V' i, v5 x" u' \1 t
      osd id                    25( s+ ]  e% Y+ u3 X

: w3 D. ]  n& ?* A$ P      osdspec affinity          None% B9 E& J4 L8 y8 Y% K, w

( Z* F  q1 E  M# G" D" M1 \      type                      block  y/ u- u5 n. ~6 @& S$ F& v
2 ^, g1 Z0 f( G, Q% O$ R
      vdo                       0( W) f! u! z- j: D" U! _& T

0 V% X9 c2 K' X" a" n      devices                   /dev/sdb
% v* N1 h4 x! L' {( @, @' d( [" T, |6 H) [8 ^

, u; M6 m* Y, i% R/ q  v0 S9 G: p3 i4 Q2 M) |
====== osd.26 ======0 g" d) F6 ^. F4 |" V9 W7 O6 ~

0 M8 q( b. z0 c: D" [- Z$ G1 O6 f$ Z2 L$ K8 l3 ^1 a

8 s9 k& r7 y0 K  [block]       /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
% W! O$ L- T7 ^: W- d& w& B# F* S: t% x' Z1 w

8 z: w$ \! g% W# V% \7 N( R* t( g( `- T. u) z4 `$ Q6 j
      block device              /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
  m6 I6 P  ^) F! |$ ~' W# [7 B' i( O
      block uuid                OPQkXF-WZR1-dTzF-7eZM-OiER-lCg6-gId7jr6 e& K9 @) J% H) ]* |

: p* R7 k) R5 V- B* Y      cephx lockbox secret      ! v0 B4 x5 a' C0 [7 L
+ b1 M& C, s7 f
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9! }5 Z, t5 s% s0 z0 K& D
9 i; y2 F! R5 R' Y
      cluster name              ceph# N# V, h9 Y  ]+ {6 Y8 y/ e+ X
% A+ O1 F( K# o1 R
      crush device class        $ w- k, o9 [" u' R0 @
8 E) R6 y% e9 v" @) z
      encrypted                 09 ]2 G2 [6 l7 g& _
9 U4 {/ J' k0 X5 ~( T" o  w! ?
      osd fsid                  e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
) P) p$ m' ]3 ^5 ]8 y4 F' D
, V9 O3 ?! B, m5 R* p- p/ D7 [      osd id                    268 Y) d9 |: z( l7 C
( m& w* h1 W9 z1 C# _( U9 ^
      osdspec affinity          None
* x- D" E2 q. s! L% h
9 @3 t' P$ G, f/ L      type                      block! P- u2 \( H8 ]  P# v; n+ H% w

2 x, m$ W+ q8 A. b* t/ I  d      vdo                       0+ h  k, L( K, o
# h3 Y# w2 [* D$ N. r
      devices                   /dev/sdf- M" B9 C3 C4 K

1 H2 u9 V- _7 A  `# r; p* n4 ^( M7 i
( l. ^2 y! c) b: |$ g7 |# x
====== osd.27 ======
$ q! [$ k( j2 O- {, ?  L
8 [% e! R6 \% S+ d9 Y
3 e, ]* b" m3 E, ^
( z: R4 m  z" C& g2 K0 n; e- O0 t  [block]       /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7/ B6 k0 _: M5 r# O: }: F9 W- Z( y

0 Q. n& b$ N' l5 z3 N+ d( C& e
) E% s0 N4 p; {& `9 e3 A5 n4 y" K+ v2 s, ~, [5 n2 |! G9 r9 m# x
      block device              /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7
# P& u* l, h/ q0 S& i8 C
( I7 Z6 C2 H: ?' ?$ h) {      block uuid                drIezU-3a23-EiUk-Jijj-kxtY-nAKi-EClJ0J; q$ w9 r8 t# d- F2 O7 \+ A# R; n

, |: `: K# P, D( S      cephx lockbox secret      : Q6 V6 C1 N7 X' X6 l- Q( n

8 }3 e" q2 W% _1 H* E- m      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
! W4 F8 Z7 _3 a9 J5 ]/ m) a2 ?* y2 J: m: U( c8 ^! M
      cluster name              ceph
( X$ m. ]+ S) p8 I% c; O# ^; R* ?0 g  @% A( O) @
      crush device class        
9 W+ B7 i" _1 ^$ S" V3 a
0 T1 Z4 @; u4 h2 R      encrypted                 0
6 Y0 C9 e' _' n) {$ g1 ]/ h. t3 \: M3 \& U
      osd fsid                  132e71ba-344a-41f7-a162-34bb94bf43d7* v/ P* d8 a' t$ r2 H! W" f0 n* d! T
# h, c  d+ Z& k( P
      osd id                    27
7 Y" e2 z7 \& j' J  k, r: m  V* y8 g; ^. A7 d0 w
      osdspec affinity          None! B6 J8 X  I/ G9 H( L( c

$ @1 I& J& M  Z7 S6 Y% z- B" f      type                      block3 J: c& B# a) n7 w, _2 a
/ M) l/ J; Q% G2 f
      vdo                       0
$ b: q' X" |+ ~8 D2 J2 {
* u" A. j) J2 P/ Y      devices                   /dev/sdc3 g) H% N: `- k( I% O$ H1 ~3 _
; ]8 m1 ?& \* h. _0 c3 _# x+ s
. \1 b2 \5 d) M* x9 V; D

2 o0 N1 {4 l8 @% C' g$ K* L====== osd.29 ======/ q0 G! A! c3 i) l& M

$ g$ R# v4 p' G5 X# h7 r& a. K$ _' \! I" Q% [. G
7 a3 j' t2 g5 U2 `( W: o
  [block]       /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f, Z5 a' C$ [7 `
& z; c  ~% Q) W: n+ n6 s/ W7 \
+ e, F5 [3 I" c; o& p5 @

, h1 d; X! e2 D1 z      block device              /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f# Y2 h% @. d  N* n$ z/ \

/ x( a8 {5 F5 v/ I6 ^      block uuid                lOTPQt-Hjix-1NWb-ur7n-yXCL-xxMp-U8a7tf3 \8 l+ z  T9 [

; }5 C6 s" D/ M& T: _      cephx lockbox secret      " D1 j0 o. x9 {; G& R" N
$ B5 _- Q5 G2 x6 E1 n
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9$ t- Q" {5 _; s$ T
$ y: C% O( A; @) z! |6 ]- K
      cluster name              ceph0 E  k; i* l. ~! N! `

8 ^; ?/ d6 Y7 x" Y1 ~  j      crush device class        
! a6 r" _# K5 j7 T: D5 j2 A) f8 u6 k: Y2 z7 U
      encrypted                 0" C) I4 f3 |; V" r/ f1 y& [9 A% c, q- z
6 y' J) Y) ~5 i
      osd fsid                  8f39ebbf-9cba-4c32-a807-c2628ca2bd1f$ r4 Y/ _7 P  G- Q, O1 V3 Y
/ D, Q1 Z7 a0 r$ Z2 L* @( h5 L
      osd id                    29  y7 w! s, s) W7 D3 d+ I

7 t# G) N( q" u4 c3 c( m      osdspec affinity          None% }2 G3 v, y, `" L7 J

! K  I. P$ z$ v2 Z' n      type                      block' M0 ^6 c6 w0 ^; e; n1 y) ^

# ?8 [) N4 a% |# T5 v      vdo                       0; ], y. x9 ?" a0 E5 W9 Y
9 C, h3 K0 f( b
      devices                   /dev/sdd
. m" k2 B4 A# y( C4 M4 G7 x0 ^; S4 n/ w0 _* n
6 {% L8 x- X0 a
' }  n% L4 D2 ^
====== osd.4 =======
  F" W2 G+ x- L" X# M0 }5 D7 P7 Y8 c

2 G  X* @" Q; u' F- E, e6 g
8 W# |" h7 l1 d, l5 z6 `* i  [block]       /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47
( O& ~1 ~' {( g: i' b! K% D  ?0 ?* G/ d" n$ ~
, _2 R4 o$ _* i& f/ Y: E
/ {* R" Y& S* S. a2 M. {3 f
      block device              /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47
9 X: V$ z1 x% u, M4 h4 M5 g3 W* H+ w: }; ^0 H
      block uuid                reOm7n-vELk-Cqd2-IXXV-K1qH-luJn-RfXSOE4 O* p: O8 F( Z1 d; u* i
; h# M* [" o; F7 D4 U# k
      cephx lockbox secret      : C/ _" w2 h0 }4 f# m
5 g7 d1 y$ q! h* z; E, F
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
% N# r8 B  F. `/ n* R, M* l3 \5 i8 Q
      cluster name              ceph) I# n0 C( W) x! l( ?

" L5 v* K7 H( T) P0 Y      crush device class        
# v" p6 |+ g" @& r: E- {; h( w4 t- o" d0 c& b2 D4 D
      encrypted                 0
2 ^  l2 S; B, M( r; G: X/ X6 G5 P. O  K3 l
      osd fsid                  1fd96d27-1fb1-4061-b700-5fc0c72e5f472 {& `& x5 _2 p/ H( I. i8 h# C
% l- F; C2 v4 J* J! a+ H
      osd id                    4
! F/ J. u7 K  W2 d& }2 I+ j0 t+ o& j% |+ i+ y
      osdspec affinity          None
: J* v) x2 F1 Z2 k5 \( z9 J9 V1 Y6 ]- U) S) H2 g
      type                      block
! |* T9 v- k3 g  S* U( n6 F* c: k! e: V( d$ W9 ~) ^
      vdo                       0" u0 }1 C4 c+ ~$ V4 K

, [4 e+ d+ a: Y4 k      devices                   /dev/sde2 H0 a  n! u7 U- n4 n$ S

, B  M. `8 s! G4 e' d; c( Lroot@gm268-5 10:53:27 ~
& {2 S. I4 u0 j& v& I5 b: U/ R0 w0 ~, Z7 ?+ r6 x

8 }8 A- ?% y. w7 F+ k. @
( q  ]" a: x5 q" S1 e5 I$ ceph orch daemon add osd gm268-5:/dev/sdg
$ D$ a0 \1 g4 w+ \! r- L! Q
# l1 w* H6 A* k" V2 n6 [4 E/ t
& R5 O4 l; o+ S5 a. hCreated osd(s) 28 on host 'gm268-5'
. E- q, x# E9 J5 X  m; \5 I( ]root@gm268-1 10:57:24 ~$ {+ h( X9 m: C4 T
$ ceph osd tree
3 P/ e3 e- V0 d+ ~! U' \0 Z: uID   CLASS  WEIGHT     TYPE NAME         STATUS  REWEIGHT  PRI-AFF; c$ [2 o$ G* x
-1         596.66431  root default                              
8 C( W, a. v" I) } -3         101.87065      host gm268-1                           
6 ~, O3 b5 z1 S6 }+ ~; N  0    hdd   14.55269          osd.0         up   1.00000  1.00000
( N* ?) l# k4 |( m% t0 A  5    hdd   14.55299          osd.5         up   1.00000  1.000004 h  p3 m. j2 h1 ?
  6    hdd   14.55299          osd.6         up   1.00000  1.00000
/ ^1 h; M% ^/ U1 e  7    hdd   14.55299          osd.7         up   1.00000  1.00000
9 P6 R; S+ G! t) |; @8 ^  8    hdd   14.55299          osd.8         up   1.00000  1.00000
  C4 ~- d3 W( J) J  9    hdd   14.55299          osd.9         up   1.00000  1.00000! k# o: \( f8 a+ b+ M
30    hdd   14.55299          osd.30        up   1.00000  1.00000: L3 b$ _% Z; K% C
-5         101.86900      host gm268-2                           " U3 Q6 s& Y! d! G4 A: W
  1    hdd   14.55299          osd.1         up   1.00000  1.00000* X4 J5 H1 B; p# b$ G
10    hdd   14.55299          osd.10        up   1.00000  1.00000
: z8 W7 y/ @3 G2 {5 T4 S) S3 y 11    hdd   14.55299          osd.11        up   1.00000  1.00000( e7 i* V" B) x' @0 e
12    hdd   14.55299          osd.12        up   1.00000  1.000003 w1 S# {/ g2 f( x: `; X2 g
13    hdd   14.55299          osd.13        up   1.00000  1.000004 K% m- E/ m& R/ E( J9 b$ @
14    hdd   14.55299          osd.14        up   1.00000  1.00000( S9 L/ e, L; G7 y) H4 r% _
31    hdd   14.55299          osd.31        up   1.00000  1.00000' w6 b  ~) Y' g2 d+ g1 a2 H/ F) \5 i
-7         101.86900      host gm268-3                           
# J: Q4 ?2 [! @& U  2    hdd   14.55299          osd.2         up   1.00000  1.00000
0 W" ?( G, {0 _8 ?4 ~# @% I  O1 o 15    hdd   14.55299          osd.15        up   1.00000  1.00000
7 o# E" v2 ~  e 16    hdd   14.55299          osd.16        up   1.00000  1.00000
; g- V. L! [9 D3 c' K; t5 x 17    hdd   14.55299          osd.17        up   1.00000  1.00000* T  }# n5 X3 }/ [' b; N
18    hdd   14.55299          osd.18        up   1.00000  1.00000% B+ N  m$ M: ~5 B8 G
19    hdd   14.55299          osd.19        up   1.00000  1.00000
4 P( B* k$ Y, t! X 32    hdd   14.55299          osd.32        up   1.00000  1.00000
3 ^: o( i6 y8 ~; f4 K -9         101.86900      host gm268-4                           3 Z) ?4 F# Z$ y. b5 i
  3    hdd   14.55299          osd.3         up   1.00000  1.000008 q" h( K6 v1 u* a
20    hdd   14.55299          osd.20        up   1.00000  1.00000
7 X' Q+ O. ]4 f' x2 @; y# G$ S 21    hdd   14.55299          osd.21        up   1.00000  1.000006 U$ K7 ~3 v6 v# M- ~/ N5 E. U8 @
22    hdd   14.55299          osd.22        up   1.00000  1.000001 ^1 I; c5 {* D# d. h! b
23    hdd   14.55299          osd.23        up   1.00000  1.000002 s2 T6 B3 `3 W6 Q% V4 d
24    hdd   14.55299          osd.24        up   1.00000  1.000003 ^. Q6 L8 j0 g! [/ y, l. c6 w
33    hdd   14.55299          osd.33        up   1.00000  1.00000
& j5 t: w4 y- n8 M5 `0 y-11          87.31766      host gm268-5                           9 @. g6 u3 |6 o; C) J
  4    hdd   14.55299          osd.4         up   1.00000  1.00000; k3 x  J5 v2 u7 l( d1 q
25    hdd   14.55299          osd.25        up   1.00000  1.00000
+ O/ W, G- B) @, @9 U) L4 | 26    hdd   14.55299          osd.26        up   1.00000  1.00000
: O$ `9 F, V/ D6 \ 27    hdd   14.55299          osd.27        up   1.00000  1.00000
& G( C# i- I$ q/ s: H 28    hdd   14.55269          osd.28        up   1.00000  1.00000
+ |& ]2 Z# `* W 29    hdd   14.55299          osd.29        up   1.00000  1.00000
) e( V1 B6 U" E, M% v, l-13         101.86900      host tp266-1                           7 x3 E; A( [9 K" Q
34    hdd   14.55299          osd.34        up   1.00000  1.000006 v; m  z# ], T; F0 Y: ?- U# u
35    hdd   14.55299          osd.35        up   1.00000  1.00000% S4 g0 q  a. Z0 ?1 K
36    hdd   14.55299          osd.36        up   1.00000  1.00000
; K( E: q; t5 w4 K 37    hdd   14.55299          osd.37        up   1.00000  1.00000
1 n) \" u0 l, \0 Y 38    hdd   14.55299          osd.38        up   1.00000  1.00000' [. I! S( [# q1 _8 P# j
39    hdd   14.55299          osd.39        up   1.00000  1.00000
: ~# [+ Q9 a! G' \, i0 s2 Z. @( C, v 40    hdd   14.55299          osd.40        up   1.00000  1.000007 o* {" e- m" S! O) ]& l0 H3 b' \* ?
7 @7 p' _2 b: ^: f; B& ?

" V( B2 B, c) m, Q( M( Z
回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-12 00:11 , Processed in 0.070581 second(s), 21 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表