浏览此站
联系我们相册切换到窄版 Language

 找回密码
 注册
易陆发现论坛»论坛 › 云计算开源区 › ceph分布式存储 › ceph osd存储osd出现down解决
返回列表 发新帖
查看: 39|回复: 2

ceph osd存储osd出现down解决

[复制链接]
admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
发表于 2024-10-15 10:11:35 | 显示全部楼层 |阅读模式
ceph osd存储osd出现down解决过程. Q" I9 N; @' h$ x1 t+ ]0 `2 U, m
- j9 @6 \, Q5 |7 _* L$ c& X/ z
查看：
% {( B$ W+ ]) s# u9 X# R9 q- D/ i! E7 g, e1 U3 E6 A" Z" m
$ lvscan
5 M9 U: j6 X& w' tFile descriptor 5 (pipe:[21407308]) leaked on lvscan invocation. Parent PID 2382294: -bash
% m3 V7 r4 l* b1 R" g8 n  ACTIVE            '/dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37' [14.55 TiB] inherit! t% v1 d' P/ |' @5 x; ^6 a1 D; }
  ACTIVE            '/dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce' [14.55 TiB] inherit0 l, s  v: S# W4 T2 K# j6 K
  ACTIVE            '/dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47' [14.55 TiB] inherit3 j9 D; j" _) L
  ACTIVE            '/dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f' [14.55 TiB] inherit; q* s5 i8 X9 N' V: }. H
  ACTIVE            '/dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7' [14.55 TiB] inherit
/ D5 k: m: \+ r2 _1 j  ACTIVE            '/dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e' [14.55 TiB] inherit
# ]- U. G" Y* s1 t  ACTIVE            '/dev/vg_thinker/lv_thinker' [97.65 GiB] inherit
7 J$ \  t/ T( Y( Y/ i  ACTIVE            '/dev/vg_thinker/remswap' [32.00 GiB] inherit
6 g$ [: S2 h+ D+ P+ w) I9 h* P0 o3 P# Q0 S# m# h/ W. U2 d
9 w& n4 f* C  g, D8 J
$ lsblk
" O0 Y0 r+ K" Z$ a! k; NNAME                                                                                                  MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT; x; D* o$ Z) Q# [7 E. ?" ?
sda                                                                                                     8:0    0   7.3T  0 disk   l' K& t, a4 V$ d8 G, @. n
├─sda1                                                                                                  8:1    0     1M  0 part
& M! c1 J1 R2 G( V) z1 x. M: S├─sda2                                                                                                  8:2    0     3G  0 part /boot
/ u6 w+ y5 S* |4 u├─sda3                                                                                                  8:3    0 488.3G  0 part /home
3 i, n# S8 o, c! b: H├─sda4                                                                                                  8:4    0 195.3G  0 part /
9 @2 H" q) V1 I% w- K9 y├─sda5                                                                                                  8:5    0  97.7G  0 part [SWAP]! V% v; e/ m9 x- |
├─sda6                                                                                                  8:6    0  97.7G  0 part , X4 g5 K4 ^& O
│ └─vg_thinker-lv_thinker                                                                             253:3    0  97.7G  0 lvm  /thinker/rem  R( i% R; O3 ~1 g% l
├─sda7                                                                                                  8:7    0   1.3T  0 part # ?1 Z# n& |& ^1 m/ T/ t5 }
│ └─vg_thinker-remswap                                                                                253:7    0    32G  0 lvm  : }$ T. ~1 e. x- c
└─sda8                                                                                                  8:8    0   4.2T  0 part # `, o+ y# Q2 p6 M0 x9 T1 V) M
sdb                                                                                                     8:16   0  14.6T  0 disk - I/ @5 @. v' d$ I* w, t
└─ceph--a0e4549d--3cfb--4741--932d--81a4c07233f5-osd--block--bfe4f8b7--90a4--47bf--8cd9--9d9765f0c24e 253:6    0  14.6T  0 lvm  ; n7 V, f- V+ Z9 ?8 @7 Z3 ~+ X
sdc                                                                                                     8:32   0  14.6T  0 disk
# p" [) d6 [$ K) x/ z" M└─ceph--c6cbb4c7--9fd7--46bf--b990--493df45680ca-osd--block--132e71ba--344a--41f7--a162--34bb94bf43d7 253:5    0  14.6T  0 lvm  + a2 @7 g+ Z3 ~. V
sdd                                                                                                     8:48   0  14.6T  0 disk
, L& Y# b4 T4 r7 f0 \/ c; F; u└─ceph--64c8725f--bdfd--4968--9f9c--8d212f0fc336-osd--block--8f39ebbf--9cba--4c32--a807--c2628ca2bd1f 253:2    0  14.6T  0 lvm  
6 m0 Q* Z) {2 w: b' S# osde                                                                                                     8:64   0  14.6T  0 disk + y9 ~% T, i# k  \. X% a7 d3 K
└─ceph--302f6a8d--d98d--4d4a--b049--d0d2374de24f-osd--block--1fd96d27--1fb1--4061--b700--5fc0c72e5f47 253:1    0  14.6T  0 lvm  
! K' }, S* p+ rsdf                                                                                                     8:80   0  14.6T  0 disk # q, f/ R' K3 V$ B0 j* h1 t0 x" x
└─ceph--05b950c4--4b29--412e--840e--eebf630c49c6-osd--block--e4ef12f6--7ebd--4e3c--bcd9--c9909dcb10ce 253:4    0  14.6T  0 lvm  
0 Y) r2 y1 v- |1 V8 V6 Osdg                                                                                                     8:96   0  14.6T  0 disk 3 z3 d. g1 q) ^2 O" A# h
└─ceph--dd0e9bb1--bd80--4de4--8c66--7a5fc21454ff-osd--block--3a460a49--70ca--4f28--a719--0fa7a6b30a37 253:0    0  14.6T  0 lvm  
7 a2 R' D1 D7 C/ X3 H2 J" E0 F' R8 Asdh                                                                                                     8:112  0  14.6T  0 disk ; e, v/ r) ~7 }8 r. a
└─sdh1                                                                                                  8:113  0  14.6T  0 part : W4 p/ d* Y  }" V* k
rbd0                                                                                                  252:0    0    20T  0 disk - A4 D8 Y$ s5 c5 {4 s
└─rbd0p1                                                                                              252:1    0    20T  0 part ! {7 m1 D" e; A4 A' [  x" z2 }
nvme0n1                                                                                               259:0    0 931.5G  0 disk 8 Q  o; P: C5 f
└─nvme0n1p1                                                                                           259:1    0 931.5G  0 part ! `+ L. \4 M9 W4 z3 V: P7 X. R
3 U4 {, Q: r, N
$ t/ M& N' ^, H% _1 y: J7 j
$ ceph-volume lvm list 9 ]: w& H% q- o- c3 ~8 W( Y
% X% a6 s1 G, n

; F% U" }( X% c0 F5 j- [' Y( `====== osd.25 ======
3 s  F) d: [$ s% J4 T, d. h: E$ B8 l+ L! V2 I( f- G" J. ], A7 Y; h
  [block]       /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e( N# `/ x* ~3 m2 L2 p5 ~3 W

  A7 J, U5 ]% X: g0 Q8 V2 w% t! y- D% Z      block device              /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e
9 y9 H- d1 n2 ~' o3 p2 a  W      block uuid                PZe96y-KzSv-YMAh-pqc5-mXj0-wbUH-oT1aNz/ o6 @4 l( v; a1 z, w8 t, W& M
      cephx lockbox secret      
! d/ r0 u+ ~: h      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9; F* l# r/ c. @
      cluster name              ceph& c% i) S! Q1 u
      crush device class        : a" c/ I# ^2 x, J4 @+ v% c
      encrypted                 0
+ h2 ~4 f3 w9 N0 m% U7 n, O, I      osd fsid                  bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e% P7 z6 T: H. W+ W) y) J2 m$ c
      osd id                    25; [& d/ ]* P% h' c1 F$ R( ]1 {
      osdspec affinity          None
" M4 e* X% Z# I- D/ ?/ _4 m      type                      block8 d0 }( n$ n4 r
      vdo                       0* _* a! T5 v4 Z1 n% S  c
      devices                   /dev/sdb
/ Z: g& x1 R9 z9 y7 W% e2 [2 k$ n9 |) Y9 [8 _5 V
====== osd.26 ======
9 q* Q- d( L! o/ J- ?$ j% W3 ~) @6 B8 |# F
  [block]       /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce) g1 R* M/ A  D
5 C6 I  t& U9 a
      block device              /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
5 [* i) c% p- u( x      block uuid                OPQkXF-WZR1-dTzF-7eZM-OiER-lCg6-gId7jr# U6 d9 s  E  w0 R9 g. D# E" A
      cephx lockbox secret        F, V. d$ I9 W
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
9 r3 }4 d4 v0 F5 ?6 w      cluster name              ceph, I9 K" i" g+ ]6 a7 Z
      crush device class        
( S5 k% T, @5 A( F  ~      encrypted                 09 K  U6 N3 H( H0 M4 X
      osd fsid                  e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
6 @! a3 R7 Y" w$ H3 R; e  f$ F      osd id                    26: O  ^8 g  k. e% I& I8 Z
      osdspec affinity          None
! ], H- ?  _7 y# K$ H; P      type                      block
) |/ ~5 e0 r3 O9 v* D1 q) C      vdo                       0
) F$ X4 G% i  C& N. }) b6 M      devices                   /dev/sdf! @! y# A0 l5 M& o' \% O6 x
( _# I4 N6 _8 n) i( S
====== osd.27 ======) l# Z) U. U  F& P" y: I3 P

  v! L% V7 w- n/ N1 T  [block]       /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7* i# E2 M9 x. X; ^3 I
1 l7 o$ y5 V/ ~2 Q; t
      block device              /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7( }2 l* Y- i2 x1 `' Z* k
      block uuid                drIezU-3a23-EiUk-Jijj-kxtY-nAKi-EClJ0J+ i/ K& `0 D, c% N+ N+ d( l
      cephx lockbox secret      % W2 K+ u2 x4 Z- B
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
5 v0 l) H; b3 _# L8 W( b. S      cluster name              ceph5 M( p1 \! a" c
      crush device class        6 e9 r' j8 A3 b& r6 s' P& x3 P  C
      encrypted                 0
4 ]5 G* S0 I3 z. a2 l$ {      osd fsid                  132e71ba-344a-41f7-a162-34bb94bf43d7
! U$ e: z! j6 z& c$ w      osd id                    27
$ x3 U5 c8 g0 M9 }$ s  w+ i, z      osdspec affinity          None
- o! y5 E% }4 Y8 b- U1 h' c( b$ ?! e      type                      block: Q4 `* \: R  w/ R8 o) W, B6 [
      vdo                       07 x/ M% D$ T* G+ d2 y% ?
      devices                   /dev/sdc
) \9 d1 M0 b: M: X0 u) T3 s; y7 H& Z" g; h, i" ^1 F" U/ I
====== osd.28 ======
+ K3 L4 K6 Q/ C' U% U# E+ Y1 p. J3 F, ?9 @
  [block]       /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37% C, J4 S! s' v, b, U, W9 c" ^

8 y- g2 u9 z- j$ K- L      block device              /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a371 m. i6 e7 C" d0 a+ j
      block uuid                mkGkjm-p89M-JN30-LDrn-qsgF-FI2c-Jv4IEo! m7 h" W- G4 A. e; M8 L& h, a
      cephx lockbox secret      5 C  F- w6 w1 s$ q+ q
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9; w' o% S6 `" I/ |
      cluster name              ceph1 {0 L4 y* z$ Q5 a: f; z2 W
      crush device class        
: r  y" r, P9 p5 }( z, W      encrypted                 00 Z9 m& ^6 U- B
      osd fsid                  3a460a49-70ca-4f28-a719-0fa7a6b30a37
. b+ |9 q2 g( n9 ]# |2 \      osd id                    28+ B) _* {( q$ f+ b
      osdspec affinity          None3 J5 c0 a( C. [  i
      type                      block
) G+ s, }, w6 J7 s" L; d1 ^8 a      vdo                       0+ S( S9 d/ {! J# c) f+ ~" `2 k
      devices                   /dev/sdg" X' s. A9 G; i4 h- N* h
* ]7 `9 Y& I6 h. y; ^7 q1 b( C1 F
====== osd.29 ======
1 B: k, F3 Z4 V5 x& Q) k
; }9 _# B3 h* V9 ?$ b0 a( C  [block]       /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f# ~2 M9 M' a6 @/ V' o  {
: r7 W! ^" f' Y+ o/ x$ w
      block device              /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f2 d- }  Z" @( N% ~
      block uuid                lOTPQt-Hjix-1NWb-ur7n-yXCL-xxMp-U8a7tf
2 s. R+ @7 U9 T, x/ d* I9 w      cephx lockbox secret      
, n: |! I0 z' J! i* |/ N      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9. Q) V% V. k: p  B' }
      cluster name              ceph% j4 V) `+ J* S, Y! m
      crush device class        
1 V  h8 e: x; X. u1 z. G: q      encrypted                 0
$ D7 [; k2 O. f( Q$ J3 l      osd fsid                  8f39ebbf-9cba-4c32-a807-c2628ca2bd1f- Y2 ?1 l& \4 s) R
      osd id                    29" m9 I! v7 v5 J2 X- h
      osdspec affinity          None
  B, L4 y" V0 x& |: Z1 b0 r6 @      type                      block
4 F$ X) |2 s7 `3 Y      vdo                       0
8 B* w/ `; e$ _( V      devices                   /dev/sdd
! ^  f7 d% T, G& }) B+ E0 n$ T, j' V/ i* ^
====== osd.4 =======+ B1 w  d$ z& ~6 n' A+ |3 z

7 T7 G" R0 Y# F, h! _' W- G9 f  [block]       /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47
/ H; G$ S6 A+ k; }, ~* N4 I' F6 d' E+ Z2 Q9 I( x
      block device              /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47) B% q7 l  b) U! O6 d! i' V  P! _# R- W
      block uuid                reOm7n-vELk-Cqd2-IXXV-K1qH-luJn-RfXSOE  m8 l0 ?4 w5 ?( K) T/ n
      cephx lockbox secret      4 J4 q6 n' b) z7 |9 ^. q
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9, L8 s, N1 e0 `; B
      cluster name              ceph7 ^7 \6 a$ m' q9 U2 I( Y4 z
      crush device class        
: b9 h3 `9 F; ^  V/ T2 F/ K4 N      encrypted                 0- a6 M% I' Y. m6 V. I2 K
      osd fsid                  1fd96d27-1fb1-4061-b700-5fc0c72e5f47# _! a  p3 o" j0 h* P
      osd id                    4
$ x" ]" j! d, _5 j      osdspec affinity          None
, N4 q+ o& H; q: y$ r      type                      block
8 M6 l1 O: [7 Y0 v8 a# U# \- H& X      vdo                       0/ H8 n  P4 s$ F$ p3 a  U- a1 p
      devices                   /dev/sde
5 m& W) h3 |) ^7 ]) [# proot@gm268-5 10:14:58 ~
% U- W4 r% @1 H1 p
+ w( o# C' w, D8 s% j$ V& U) V, F& d7 }
) i1 G7 p6 ?6 D; u% ]) h

6 Y8 U1 i7 p: @+ S- o6 b* D目的是找对应关系1 x, I3 r4 j$ g8 ?
6 t0 h- B. b. }+ S6 f% e' J+ ~
. U) A. Q, f9 N2 B/ n$ ?
回复

举报

admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2024-10-15 10:24:17 | 显示全部楼层
$ ceph-volume lvm list
3 }# l) p% z  c8 v+ n
4 P4 ~8 p2 b" p8 p8 T5 F: }& f) A0 K6 Y2 K
====== osd.25 ======
% v, V. a) K' g5 P7 c- r9 B. u- E) k7 z1 [7 q
  [block]       /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e7 w) _; O, @+ S' z' Y8 a4 C% j: D, v7 v

; }% X. [8 l: p) P* l& [$ E! @      block device              /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e+ ?) c. P  b$ W* v2 Z
      block uuid                PZe96y-KzSv-YMAh-pqc5-mXj0-wbUH-oT1aNz
4 x9 N1 q% l' o$ p$ I1 v% g9 g      cephx lockbox secret      
  q* r+ L  m* f( x      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
3 _4 U" K1 W& M& w' \# T! `      cluster name              ceph& }6 ?5 f  @3 S* k1 x+ k
      crush device class        . A" f3 F8 z" `0 B
      encrypted                 01 |7 u% L0 B3 [2 G
      osd fsid                  bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e
4 Q7 e  ^6 h- L2 q* C      osd id                    25" {3 D) U: y2 {, |- z" \* l# L
      osdspec affinity          None
, u; e6 u2 L% \# J7 Z/ g  b      type                      block
8 N. l0 ?) p8 X  \! w9 m      vdo                       0
; g, t) P2 o3 r+ ^, M      devices                   /dev/sdb. {" }# i7 p8 ^4 [( [5 z
+ Y# Q2 [: j& r+ T3 q- P. E. G
====== osd.26 ======+ e& j' r4 [" u! h# Q) ], r* q- T5 s  J
. H' g: E, z0 |8 I- K7 T% S
  [block]       /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce9 u$ I+ u8 j" w) u% B, e
: h0 ^( z) n, ^' e  @; E; R
      block device              /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
7 Q1 E& M1 }8 m/ K( @      block uuid                OPQkXF-WZR1-dTzF-7eZM-OiER-lCg6-gId7jr( M7 N2 D& Z2 y& h
      cephx lockbox secret      
% A- O; m, u% y3 N' n9 F: j3 o      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
$ q6 A6 j5 _7 a9 `: q      cluster name              ceph% w8 O9 v& O8 x& k% E+ C6 ?
      crush device class        
! Q4 @3 v2 u2 L3 g7 T7 m8 u/ F      encrypted                 0
: r9 U+ v2 L6 I3 p+ k/ [      osd fsid                  e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce- `9 J* Y0 y! D! Z5 `5 l
      osd id                    26+ v/ E% u3 g2 P
      osdspec affinity          None
( v# e% b* u2 y: d: a      type                      block
# D7 y; `- |/ J% Z" w      vdo                       0
* n6 _" m, b! B5 x2 O2 B  S      devices                   /dev/sdf
4 j$ s+ L4 a' }5 ?- @$ D
6 z3 P. F+ n; q% P+ G' p====== osd.27 ======
0 @; f, W+ l8 [9 b$ Q4 m( n! ~9 b; n3 f1 A$ y: x0 V! {
  [block]       /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7
  W, Y3 x' L6 ?, X9 J/ f1 l. ?, G3 K8 J3 u7 D
      block device              /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7
$ m. r( j! V% H1 e/ @      block uuid                drIezU-3a23-EiUk-Jijj-kxtY-nAKi-EClJ0J
! l" c: ~" d0 c1 ]      cephx lockbox secret      ) D; E, r1 k% w1 W% v6 }, [
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
9 Z3 z9 ~; n. r, k2 t  u6 P      cluster name              ceph3 U, l% s% @3 \. J4 R
      crush device class        
7 U: b2 @! W) h* H      encrypted                 0
& z6 m- Z! P5 z      osd fsid                  132e71ba-344a-41f7-a162-34bb94bf43d7
5 ?# i! V9 a& l5 a- T2 U  `      osd id                    276 g8 }# j. z: N2 X' V( n
      osdspec affinity          None
* q" M3 \/ F0 J% N, ?      type                      block8 S, O! S6 K3 j7 E
      vdo                       0
3 s& `& I3 r) Q7 x' N      devices                   /dev/sdc( O! |' c- A7 ?( u+ R( x" |& O
6 o  i- f! P! t! K0 _
====== osd.28 ======
1 i- J' h' D0 f: q1 b6 B% h0 ^/ p5 @8 U  E6 b! g, o- S5 H. D+ P2 C8 j
  [block]       /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37
/ h' E- Z! A+ z
5 I+ \! n5 Z- P$ J+ {' n3 T      block device              /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a372 M2 x& t2 t& Z. {$ u9 x" n9 C' O
      block uuid                mkGkjm-p89M-JN30-LDrn-qsgF-FI2c-Jv4IEo
3 `4 C. G  @# V, U6 R$ t  |      cephx lockbox secret      
% S; `! H  D" j; `. M7 ~. [      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
: H7 h9 g0 L8 s8 q" q: \+ g      cluster name              ceph" v3 m: C6 F6 W  X/ u, o5 j/ t
      crush device class        
. P% Z1 v, o6 s6 Q* z/ k      encrypted                 0
9 x, \, t1 Z" o$ I# m7 o' S      osd fsid                  3a460a49-70ca-4f28-a719-0fa7a6b30a379 W- h' r9 o9 Q$ h6 ]' D
      osd id                    28
& c7 w8 k! h+ c9 X      osdspec affinity          None
( P8 @* |% g  T: k      type                      block
% ?1 N% ]" i" ^: Y  N      vdo                       09 E' O" Y, O4 }* D4 Y5 `
      devices                   /dev/sdg
+ R1 a, @! [. T/ N! C! V& E+ Y; w+ ^/ u5 b: S: E. w
====== osd.29 ======
9 j2 D4 G; V1 I' P
# t8 j6 ?6 U& T  ~4 A  [block]       /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f% \7 T5 D' T( J5 w0 o7 z+ A

7 f  V. s: g, C) Z      block device              /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f1 F- P) i5 [$ d$ K# K" c% V# I( v
      block uuid                lOTPQt-Hjix-1NWb-ur7n-yXCL-xxMp-U8a7tf
# P" m' g% \# E" |7 T3 }1 A      cephx lockbox secret      " S: i, h2 F* M3 h* F
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
3 u8 a, p+ J, k' |6 F4 A      cluster name              ceph
% N6 ^" i- X0 [, S, h7 M      crush device class        
5 s" M0 d: }, G" B0 T  c      encrypted                 0
! M3 K) J8 S3 E. Y5 ]      osd fsid                  8f39ebbf-9cba-4c32-a807-c2628ca2bd1f7 K5 M1 \7 p2 ]4 F
      osd id                    29
# d% l7 n( \$ w+ O0 `& i9 ]      osdspec affinity          None5 B0 p. [& n8 W2 @/ |" y
      type                      block
- P. A  `! d: E- P3 Z/ _      vdo                       0
2 j; t7 u4 _1 j      devices                   /dev/sdd
& W# }4 Y3 I# L2 ]! S9 u4 V1 G" i  l9 u$ l
====== osd.4 =======
% b( k8 P6 A- J. \3 y3 K8 l2 W' S5 O, H. a
  [block]       /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f478 L4 h1 Q) Y5 c# A( N
& i+ ~7 U: P7 k
      block device              /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47
* U. R. x+ y! m% S      block uuid                reOm7n-vELk-Cqd2-IXXV-K1qH-luJn-RfXSOE0 {  q6 L6 G) @. [
      cephx lockbox secret      6 v" x, [# R4 Y$ t; E, d
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9( j  K/ e/ @& I3 e. j( W
      cluster name              ceph3 r) N, i" B( G  l5 D' l
      crush device class        * ^! y- y8 W7 @+ g
      encrypted                 0
" }( V+ d; I/ c5 D9 |: F9 H      osd fsid                  1fd96d27-1fb1-4061-b700-5fc0c72e5f472 v, o9 x" @! G, @' S& U
      osd id                    4" J- ]/ e' H$ p" _% z. ]
      osdspec affinity          None2 g1 P4 I( l+ o% R5 r% X
      type                      block$ q& H! I$ Y5 [1 m* n2 \" [
      vdo                       0
  i- k6 E2 f3 t5 N+ P' f      devices                   /dev/sde2 Q+ Z* k4 Z8 O8 V* U
root@gm268-5 10:14:58 ~
回复

举报

admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2024-10-15 10:58:00 | 显示全部楼层
$ ceph osd rm osd.28
' \& G) x4 x  h8 U2 g
  F, k/ ~+ v8 {) _7 F, Cremoved osd.28
1 S( [; O3 d/ p1 J7 |* g- T* d8 T, O, C8 a
root@gm268-5 10:51:48 ~
# ~9 ~  m* i* Z: }, w$ N: b6 M; p' m9 S  f3 L$ e
$ ceph osd tree
% a- B& i, R+ t% h% I
5 j% o/ l- |% R. R% K* E  mID   CLASS  WEIGHT     TYPE NAME         STATUS  REWEIGHT  PRI-AFF$ w# m' |) a* `4 A$ r* q. p

5 l4 l7 j& ^+ u- j$ B: ?0 n3 L# i -1         582.11163  root default                               1 D. {3 G5 T; y, O

9 [6 W+ ~1 k8 |0 S -3         101.87065      host gm268-1                           4 N! E6 C) U2 G2 f+ Y* L
/ A. D: W7 ]& _2 Y3 V, B
  0    hdd   14.55269          osd.0         up   1.00000  1.00000
9 U  |2 ^, s. o' t- ^
0 x( J! B0 C2 b- j" Y0 A# N  5    hdd   14.55299          osd.5         up   1.00000  1.00000. `6 W3 }9 l" c
: O9 u& l, ?6 i. B
  6    hdd   14.55299          osd.6         up   1.00000  1.00000
* v3 f* ]% j1 Z
& E$ b1 Q5 g( ~/ \  7    hdd   14.55299          osd.7         up   1.00000  1.00000
. K* |7 I2 B& P5 S( x0 A& O6 d- a  j
  8    hdd   14.55299          osd.8         up   1.00000  1.00000! Z4 `* T+ n2 V3 i% s7 W& o& e0 K
' A( Y; q# I; M, l( R5 D- D
  9    hdd   14.55299          osd.9         up   1.00000  1.000002 F) N' \. V( Q7 Z. c
' I2 B! j6 [+ F
30    hdd   14.55299          osd.30        up   1.00000  1.00000
' a$ K+ h/ |) X# }$ o) H* U) o  y% S6 u& Z1 X; o
-5         101.86900      host gm268-2                           
; e9 l" [8 i  f$ s% W
) ]. s; P- e: m2 a# [  1    hdd   14.55299          osd.1         up   1.00000  1.00000# p, j" ]: {$ j. H) Z
% `+ {1 w& O6 m( }  `
10    hdd   14.55299          osd.10        up   1.00000  1.000002 X9 \6 b$ J: a1 H% c2 p

) |2 Q: T! t) r2 e& a8 u; ` 11    hdd   14.55299          osd.11        up   1.00000  1.00000
5 {! q. |4 B  N, h
4 f% [7 x+ t! s( i" I/ D 12    hdd   14.55299          osd.12        up   1.00000  1.00000( V/ f& j# R1 B4 ]/ u( T
* [* w( {! }& m1 e
13    hdd   14.55299          osd.13        up   1.00000  1.00000, J* v5 [  {" t9 J7 o

% ~4 X# z# B) l5 A( e9 t9 X 14    hdd   14.55299          osd.14        up   1.00000  1.000007 h, p- K% d  N

* s* \, S% q0 H% _& B 31    hdd   14.55299          osd.31        up   1.00000  1.00000
7 b3 a$ R. n& H: c6 x$ U
9 p1 v" T. Y( k/ y -7         101.86900      host gm268-3                           
) s, X( {9 U' e9 W# {
' D0 v4 b5 r4 P9 O7 t) ?  2    hdd   14.55299          osd.2         up   1.00000  1.00000) \- h; h7 ~# {# e  M7 q

2 e) V1 P8 X5 k$ f 15    hdd   14.55299          osd.15        up   1.00000  1.00000
# s- i# J' g/ u1 Q: C3 [3 m! K1 c2 a! S
16    hdd   14.55299          osd.16        up   1.00000  1.000005 Z' _# q( z: r* Z, x
1 m0 B( R  {% T
17    hdd   14.55299          osd.17        up   1.00000  1.00000
+ z9 y* }$ f2 ?( V5 w* s
# l- C2 {7 [5 j# s3 M/ t' B2 m 18    hdd   14.55299          osd.18        up   1.00000  1.000006 u$ c4 A: D, U# R/ [# \1 s

$ W* t5 p, e/ s8 Z( C4 |0 q 19    hdd   14.55299          osd.19        up   1.00000  1.00000( s$ ?7 ~& l7 T9 X: A) Y; {

; Y, S; @- M( Q& }; `/ ~ 32    hdd   14.55299          osd.32        up   1.00000  1.000006 G0 Q, p9 S: R4 G
7 F% l+ j. ]) q, A! p$ G2 W7 v; j1 R
-9         101.86900      host gm268-4                           
5 V* u  c, H0 `5 b1 N/ V( x4 `' V) \# i
  3    hdd   14.55299          osd.3         up   1.00000  1.00000
; C" w) w5 g8 c# j* h0 ]: F: d' S- u6 I) E' Z8 {
20    hdd   14.55299          osd.20        up   1.00000  1.00000
; X0 |- Y) F0 s
: s5 s8 G, o  l5 @, a; z& h9 f 21    hdd   14.55299          osd.21        up   1.00000  1.00000
& ^- [% p, A- I! t3 S, b/ K9 e; W
22    hdd   14.55299          osd.22        up   1.00000  1.000003 k6 m1 M3 O* F. v) R
1 Q; l2 W& R+ ]5 A. L
23    hdd   14.55299          osd.23        up   1.00000  1.000002 a( A7 l" `  |  k4 I
6 B( f3 `% _( {9 _/ Y; K' n4 J
24    hdd   14.55299          osd.24        up   1.00000  1.000005 \& x/ [# V+ g( M  v

% a" n- c7 O1 N4 ]% O 33    hdd   14.55299          osd.33        up   1.00000  1.00000
/ R7 A$ i/ t. W3 D& v9 f5 T; Z' r5 j! l" F' g+ d
-11          72.76497      host gm268-5                           
. S/ k, z% Z: H3 Y- V  j
* s) x( u7 c' I  4    hdd   14.55299          osd.4         up   1.00000  1.00000
# ?3 |% n) D( X9 |% a1 z$ f6 }$ E! f3 l5 w8 P% J
25    hdd   14.55299          osd.25        up   1.00000  1.00000
) k- R! Q) D9 d0 ~* |7 j2 F8 D. V
4 s7 @4 V, c$ G5 H 26    hdd   14.55299          osd.26        up   1.00000  1.00000
* `2 \0 \" U9 O& b1 `- q/ H& x9 d. ~( z4 j; W5 d$ R; E
27    hdd   14.55299          osd.27        up   1.00000  1.000006 I1 |" S% |% ^9 y" E+ ~9 G, ^4 t9 b

4 ~# Q0 J* f9 K" n5 G 29    hdd   14.55299          osd.29        up   1.00000  1.00000$ F% R/ _$ m/ G$ x+ V5 u+ C

! W1 }9 \: c$ Z, X& I% L2 ~! w-13         101.86900      host tp266-1                           8 O, e8 E& T3 Z
9 M4 o9 B+ o% w$ O# v0 i% x
34    hdd   14.55299          osd.34        up   1.00000  1.00000
+ B. i( a% H. r; [2 F6 T
! Q% W0 i6 G# x; Q% P 35    hdd   14 .55299          osd.35        up   1.00000  1.00000
" N: P5 Q& g8 M) u) v! D1 ^
2 o( d# t9 B" R/ t) ^ 36    hdd   14.55299          osd.36        up   1.00000  1.00000$ Y' U  C  q, L! l8 ^
. Z- y* b  i* H9 n* ~
37    hdd   14.55299          osd.37        up   1.00000  1.00000+ b# L( v# X5 V3 f# C
3 ]+ l, o( t0 ]) u& g8 T
38    hdd   14.55299          osd.38        up   1.00000  1.00000
( d1 r3 C4 B) ~0 n# l; ?
( b9 L# b. m& w 39    hdd   14.55299          osd.39        up   1.00000  1.00000" V3 q  X: R$ t5 H9 H

6 y6 `' z8 e& b+ l' A 40    hdd   14.55299          osd.40        up   1.00000  1.00000
3 R3 O1 e1 s9 c7 ?7 Q! _5 X- z
& s& ^. ~# `  `8 M" T6 O: f# ^root@gm268-5 10:51:55 ~, @4 ?9 U, D* B% O5 V
+ J2 q1 Z4 j2 s
$ ceph -s
1 Z5 ?. C  ]$ h' B6 S1 Q( k' m
/ F! b2 }: d4 z' e# K9 c/ F8 T9 D  cluster:
- j" E! C6 ]+ Y! G9 D# j! ^$ b4 x; g+ j) L- U# A6 L$ y- r
    id:     ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
; h4 S6 K$ M3 i/ P' P% t  s  E! x- q
* ~- Z- }  N( G% Y& R9 a2 H2 q& G2 u- O    health: HEALTH_WARN
# y& P4 ^1 d' f% X. B- W) R# J9 W. p. g: L: Z
            1 hosts fail cephadm check6 y* ~9 i/ @* s7 g  Y* S% N9 R. e
) j( b1 X6 H, R) C( C, X' c0 M
            failed to probe daemons or devices
" k; e5 p0 N7 q/ |& `9 d4 v$ P8 E: P3 h2 F9 Z. S$ c( d' R
            Degraded data redundancy: 117992/84949880 objects degraded (0.139%), 28 pgs degraded- V' k' K) m$ H$ B% t8 z4 ^

) {2 A' J: H' Z* Z, S ; i9 d- P; k2 K8 N* ^

1 L& r8 c$ Z  g" _% J" N+ }  services:
( {' j# n! S" E. T5 ~
% L4 R9 G( N+ K4 f- X, ^    mon: 3 daemons, quorum gm268-1,gm268-2,gm268-3 (age 5d)
! g# [; m( E& V( L7 M+ [9 s3 l/ h' ]& A' G% i
    mgr: gm268-2.zttohs(active, since 5d), standbys: gm268-3.sjagqo, gm268-1.jgdvxs
' G: r/ y2 Z0 p7 y6 E$ C
! Y8 E) G. Y8 @, H9 A    mds: cephfs:1 {0=cephfs.gm268-2.xdsdoz=up:active} 2 up:standby& g2 x  y+ ^* g4 v/ X1 I1 Y% E
1 j- J4 i* Q2 f. r- E' G
    osd: 40 osds: 40 up (since 101s), 40 in (since 101s); 804 remapped pgs
2 t: m3 r1 ?5 p0 g6 |3 t. u, [6 u: W3 n% ?
6 |9 ^) o  ^, a# L; y

# V# u- [% o  o4 B# f. O; [  data:
% o4 B$ S/ E$ Z# s' _  C& s" M' I! d) f
    pools:   4 pools, 10241 pgs
! Z8 s. ?4 C7 |4 A  Y% N# O
% ?6 P4 j. ~& L    objects: 42.47M objects, 115 TiB
+ C# m+ N0 [. N! o$ F; J! J( p- P
! v; J3 n2 u# g    usage:   232 TiB used, 350 TiB / 582 TiB avail
. K; _7 E6 {; U7 G; T; d4 R: |' p: j! u$ X+ N: \0 V
    pgs:     117992/84949880 objects degraded (0.139%)
5 r& @/ b/ e! A# ^" W, D0 T4 o: p) Z  J, C3 w4 N" c
             3274408/84949880 objects misplaced (3.855%)* j$ J3 B. `% q. O% S

* S# H% a7 U% R" Q. g             9437 active+clean& g" o$ A4 T, b5 E, S& [  |8 s
5 m5 m, R1 x3 T
             739  active+remapped+backfill_wait
2 s; R$ p% M( N
" {+ F& @3 J+ w$ ^) t% l( J) B9 K             37   active+remapped+backfilling
( T9 @8 F/ D( K! P
& @1 G- Q  C3 R; M4 s/ g( x3 K             26   active+undersized+degraded+remapped+backfill_wait
- J3 X! M8 V# \9 N* j) e; K3 a* b1 ?- S
             2    active+undersized+degraded+remapped+backfilling
* |( |+ ^1 H) E9 W! J: i, P5 f
$ S( N8 F/ Y& W( N( V: t : u" c( {/ a/ f1 `9 w- J
- {1 j7 h& g! q' w
  io:
3 E( C1 {3 b% p7 |5 v6 R/ V
2 N& X$ ^4 H& v5 q' N9 Y; ]    client:   1.4 GiB/s rd, 1.5 GiB/s wr, 1.02k op/s rd, 870 op/s wr
* }" a! p1 \; _, W  R) x, [4 Z& O: p$ T
    recovery: 754 MiB/s, 371 keys/s, 371 objects/s+ Z* |) ]8 o/ D2 H

! v) _6 d, Q4 H 6 w: J& b6 E, F
: P- }& a% \) }, R
  progress:
8 n9 v) e* ~- d  y% L+ v4 z: Y, c5 T. @/ k. w
    Rebalancing after osd.4 marked in (2m)- y! I; d7 ]* f8 ]3 M; m0 X& s2 |

; ?& Z' l: @$ o3 F# ]; {      [===.........................] (remaining: 14m)9 Q5 s9 B$ d, _- S% e

5 f6 o, T, f2 y3 ?, B, n' K7 ]    Rebalancing after osd.29 marked in (99s)
+ Z5 v7 b8 ~4 T/ D
5 B0 g* o" n) d      [............................]
6 ~' \4 y8 X! T3 i7 L5 ?
& A2 @4 A' n' q7 v% D! T6 s    Rebalancing after osd.25 marked in (2m)
0 Q9 C* s- b% Q5 N
6 P8 m* V+ R, \5 |      [=======.....................] (remaining: 6m)
8 ]+ K5 ]. z  z- p! q
7 q" o8 Z) u% x' c- }    Rebalancing after osd.26 marked in (2m)
6 c+ F' \. [6 Q# T
; d- G- O/ R7 p; o+ U7 U4 t$ M/ C      [=========...................] (remaining: 4m)
6 m# o! b3 \$ x( V+ o+ Y
' V/ \% f  g/ O: {% j    Rebalancing after osd.27 marked in (2m)
) p' p5 {& w2 d) ^+ I9 F& w# c2 `, W3 Z" j: s  f
      [==========..................] (remaining: 3m)5 Z! i7 A) G  h  \. ^  |

$ W2 I7 \# J( K2 b& E$ M
2 p4 M/ h# v* o. g) f& W" [
, m0 L9 A0 x& g  qroot@gm268-5 10:52:03 ~8 I  |7 D- x( s0 K( b5 _
" w3 }% Y7 u2 ?0 W3 O
$ lvremove /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37
' r6 P1 z+ }! g- w$ x/ T0 e+ D9 P' g$ r% {4 E* k; I
Do you really want to remove active logical volume ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37? [y/n]: y
( ]5 f- S0 W, _7 d' G
; l  U0 }( s! l8 W. V9 C' I! y  Logical volume "osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37" successfully removed
5 S& k0 l5 E  F% Y6 B/ W0 {8 ^
. H: C2 s" M2 F* E, o; xroot@gm268-5 10:52:35 ~
9 _6 G7 `% H' |
2 R1 s+ ^1 j4 k' E8 u$ lsblk : S/ |9 d$ C1 b: T4 w
; b2 ~+ D; ^8 A4 e
NAME                                                                                                  MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT( B$ F* v! V8 l; s( ]
0 W8 t% M% q2 M6 u" y. Y
sda                                                                                                     8:0    0   7.3T  0 disk . Y! x2 a( \& w4 u1 S: l9 W& \

9 H5 _' N* O( ?. f1 t* v% U1 \├─sda1                                                                                                  8:1    0     1M  0 part # q2 v7 C. |) C

; l. ^7 f- [4 o2 l, j9 S0 m( \$ \├─sda2                                                                                                  8:2    0     3G  0 part /boot
( f; Y/ h8 l( S; n) X) w2 u& U; d3 E# _% k# U: U4 o
├─sda3                                                                                                  8:3    0 488.3G  0 part /home0 @7 r5 l4 x2 p: Q) J
9 G5 t& w8 A; e4 M& Q% e
├─sda4                                                                                                  8:4    0 195.3G  0 part /* ?$ ?& }# b' k
, E0 ]4 G% E4 r9 T
├─sda5                                                                                                  8:5    0  97.7G  0 part [SWAP]; k0 z2 c$ N) K* E
  i8 T8 N9 f  ?$ T2 _
├─sda6                                                                                                  8:6    0  97.7G  0 part
. r# P6 f0 ?# b' A
1 m+ F9 |2 p" l! I, o│ └─vg_thinker-lv_thinker                                                                             253:0    0  97.7G  0 lvm  /thinker/rem$ O/ m" s9 d* N" _8 B: O

; H* z! J; w0 [7 d├─sda7                                                                                                  8:7    0   1.3T  0 part
" `) `; V  `5 D3 V. q
8 \: y( r/ ^0 [" ], j  |│ └─vg_thinker-remswap                                                                                253:7    0    32G  0 lvm  % w+ C( ~3 [  }( Y9 F
8 k- a9 F, K. J# Q. Q3 f5 A- o
└─sda8                                                                                                  8:8    0   4.2T  0 part
7 h; H. J# }# A3 |" k
% q3 w$ h1 {' s; u/ H) [sdb                                                                                                     8:16   0  14.6T  0 disk
6 w# f/ u  u$ f8 P8 [) @+ W, s6 D/ v* `0 |3 S" S
└─ceph--a0e4549d--3cfb--4741--932d--81a4c07233f5-osd--block--bfe4f8b7--90a4--47bf--8cd9--9d9765f0c24e 253:3    0  14.6T  0 lvm  
; G$ {% ^4 O2 Z3 {0 E& |2 M- h: a$ t" D
sdc                                                                                                     8:32   0  14.6T  0 disk
! x1 J9 B% F9 G, r5 Z* @/ y# c9 @( s8 F  }( A  J4 K9 S: v5 }1 d$ ]
└─ceph--c6cbb4c7--9fd7--46bf--b990--493df45680ca-osd--block--132e71ba--344a--41f7--a162--34bb94bf43d7 253:2    0  14.6T  0 lvm  
9 ^4 `3 t: c( L& ^8 A( T2 t. g" p
" b  D/ P- ]4 _+ t8 c: Osdd                                                                                                     8:48   0  14.6T  0 disk , V) h/ ]+ ?/ e& K& \8 L

+ j5 h: F+ f. Z- {7 z└─ceph--64c8725f--bdfd--4968--9f9c--8d212f0fc336-osd--block--8f39ebbf--9cba--4c32--a807--c2628ca2bd1f 253:5    0  14.6T  0 lvm  
5 N" P2 m5 _7 N6 M% M: x& G0 N/ Y# i6 y) l5 `
sde                                                                                                     8:64   0  14.6T  0 disk   g/ c* x. d5 ]- c# ^
* D, d1 t. I4 ?. ]6 o% U, \" |
└─ceph--302f6a8d--d98d--4d4a--b049--d0d2374de24f-osd--block--1fd96d27--1fb1--4061--b700--5fc0c72e5f47 253:4    0  14.6T  0 lvm  
5 W) ]7 Q1 n% ~0 v! A( ]1 b1 V4 K3 w' I" K* e! b( T# q
sdf                                                                                                     8:80   0  14.6T  0 disk ' {+ B7 K  Q8 e# d" u2 s/ o
$ s! U- j. U' O
└─ceph--05b950c4--4b29--412e--840e--eebf630c49c6-osd--block--e4ef12f6--7ebd--4e3c--bcd9--c9909dcb10ce 253:1    0  14.6T  0 lvm  
% h- Q9 |# e& k$ L% Z2 ~; g3 Y2 k$ A0 W- B% C
sdg                                                                                                     8:96   0  14.6T  0 disk
3 X7 ], h8 i8 S* x9 c6 ^, z0 s
" @5 @; N& ]$ k( L. u! ysdh                                                                                                     8:112  0  14.6T  0 disk 6 S2 `$ T" |1 N0 O, ?8 g$ ~

5 S6 |, Z: i# _, V└─sdh1                                                                                                  8:113  0  14.6T  0 part ) i7 _3 K% ~: N' o% h6 x

; i$ d7 Q. h% A3 e2 d- Drbd0                                                                                                  252:0    0    20T  0 disk 5 ^0 E; l- @3 ^/ X8 j  t
5 F4 l) p+ f, |) l; H4 j! P' [: O
└─rbd0p1                                                                                              252:1    0    20T  0 part " M4 U6 N( E# @: a

5 Y8 X% X& I- Q* M* N9 |: gnvme0n1                                                                                               259:0    0 931.5G  0 disk 5 W6 c6 Q3 a, s( R- x+ a

% {; q- [& b+ V" Q$ w└─nvme0n1p1                                                                                           259:1    0 931.5G  0 part + b. p+ J9 w1 @& d7 h

% E' q9 k) F/ `4 g5 Uroot@gm268-5 10:52:46 ~
/ M1 \  a5 c9 P% V# C7 c& ^
  o+ u5 X; p4 K9 t% _' \; \% u$ vgremove /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff1 [8 a1 {# o. o4 n( b( K! f5 n8 D
) F! @# g7 K4 j/ g. P
  Volume group "ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff" successfully removed! W9 G8 ?9 ^! T; h& s) G& h
2 W+ S  L# @- q8 d4 v
root@gm268-5 10:53:16 ~  [0 n% U8 P  O

) ^/ t  r, J/ D& ]9 P$ ceph-volume lvm list
! y$ s( [8 q, d
$ |3 K. k! n. O* O" N
! j' u. F- ^+ T# O
. z( a6 p3 J5 F5 C! ]# {
' y" t& n" _# {& F1 B1 k0 ]% }- U$ p( I' b6 I, a
====== osd.25 ======
- K$ _1 y. F. U7 w
) ]" e. C$ m% k9 o' \6 C' D& ?# R3 L. Y6 i
* v* U1 _: ~8 T  G" u
  [block]       /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e
( m# ~2 k1 Q1 U
) {* [. H8 P  }/ H; a, _3 w+ v; i: r* _; M2 f6 g' K4 z

" l8 k/ E/ m: y+ I/ y6 o; L      block device              /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e0 e1 a, d. e) t8 D, R/ Z) x

/ N2 U- i8 O- F- K* w6 M  J2 T      block uuid                PZe96y-KzSv-YMAh-pqc5-mXj0-wbUH-oT1aNz
( {& V' a7 v! R' K( E8 l$ U) R0 {% }  W5 c0 \
      cephx lockbox secret      $ H% B- Z" S7 C; u6 e' b. O" T3 G! T
6 w) n: n( F( w2 _3 N
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9( _- n+ P! \9 W) D
0 ~6 Q3 A6 c: S: u
      cluster name              ceph5 {7 s9 _8 D) k! L1 J6 ]5 \
% a5 B# [, F8 t- t7 I8 z
      crush device class        
& v% u8 O( N: a. x' z9 \" w0 ~( v6 S) W5 r, j. v
      encrypted                 0  C9 o1 I% J) ?7 ~" ]

; f8 B. z& Z( V# Y$ \) o) K6 u' d      osd fsid                  bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e
. }- H3 t$ c3 p
7 d# S+ x* u( D5 U; J/ A      osd id                    25
# n  f; |+ H! H
% Y4 C. r, m) f  c: e5 A6 t      osdspec affinity          None# G2 A6 h" I/ l( X! G" u

4 E: m0 `" H; m, p$ I# o4 o% U      type                      block
& O% s' Z! @( t: @7 ^" Z) |5 ?/ f
: @: \+ Y& h- x- {" `7 e/ w      vdo                       0& ?4 Y3 I8 B& v3 X  C. a1 X& t. E6 H7 ?
- o# [7 S4 {% s6 f
      devices                   /dev/sdb+ ~; @% s0 e/ i
) c4 \. Y5 G( E/ T" f% |5 Z. I/ O

$ C8 [0 Q) S0 I+ l
+ D" k% D( r' q- k/ K7 y; B" B0 E====== osd.26 ======
- d2 S( t6 {8 v1 r) t3 K5 }- A* N3 `) T9 S; b9 E, F
4 D/ R) ~0 A* A5 C' P. |

* U6 u" m4 O* ~9 D$ G% i  [block]       /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
6 A; C' Q! W2 ^9 n. n/ H; x7 y0 ?% G( J3 b

0 }4 S! p& y# j5 U
/ p) I* y0 E; b) D3 D* x1 u+ y) N      block device              /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
5 d* E9 Z: _& i5 \! q
% P, v) I# a, h7 j# Y( A      block uuid                OPQkXF-WZR1-dTzF-7eZM-OiER-lCg6-gId7jr
# n. f' R) y3 K5 t! ~
- t2 w2 k" f7 `- s      cephx lockbox secret      3 P" e. ~: r2 m
, D; Y6 P. S# Z' a
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
4 Y3 o6 O4 }" h2 ?5 c7 d' o. m+ h" D4 F
      cluster name              ceph
+ ]- o9 q" h& n9 U4 ]% g) c8 f' |( {; z
      crush device class        0 N/ U/ f8 p/ C9 t  e9 T$ t

6 c. [% E3 C6 z  p      encrypted                 0! l8 I$ e2 b* n% s$ ?7 U
7 C( ?1 `. |4 Z( P0 O
      osd fsid                  e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
4 H+ i8 P$ n+ F" n" D0 p% I+ |$ b* b8 m1 o: d
      osd id                    26
# z8 o$ g) F2 f5 Q2 |9 v6 B$ u7 D3 ], j6 |# w6 d8 ]
      osdspec affinity          None  @3 Z* _) j, `3 }5 b5 p  ?
' m( V  E) D" ?8 f& t
      type                      block. d# a+ ^' m3 @7 t3 [9 B
% r' s6 B. i( D: k7 ]9 f
      vdo                       0
7 [0 x. e" l% D  @4 @5 y2 ]- z  p2 ^% R! t& E7 x% O+ Y+ n4 K. z& F
      devices                   /dev/sdf& E  e  W0 C; ~) g3 D- x  e7 i  O5 d* X" B

- C0 I0 K) i# L; _/ ?  N( ?7 c5 a; q9 }: S0 l7 A
9 [& z% q" e7 s% V- s
====== osd.27 ======
. i" G; _/ i2 Q9 `9 f
; e. d5 S! X8 ], R$ u$ o: N
6 }4 {5 v( c  C3 E+ z# ^- Q+ p" V
  [block]       /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7
% s9 ~& G2 y3 {. P- N4 v: C- O+ J( w
) X; i/ O" ?9 O8 b/ r5 F
# q- @- U. L* c5 i: `: J
      block device              /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7
$ P+ t% ~6 Q+ A  w+ j; e( ~5 t& ~6 W4 a. P' l1 [- E$ r( @3 e
      block uuid                drIezU-3a23-EiUk-Jijj-kxtY-nAKi-EClJ0J
: g7 o+ t1 I5 u+ N2 p' g
2 s$ O0 ?# `4 l# d      cephx lockbox secret      
) @7 t; l. i+ m9 }2 J2 F8 ~; C/ v* t) ]9 a! j( U# C) H
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9* }4 I% Q" Y' G6 x% K
/ L: Q7 Q3 B7 t
      cluster name              ceph- @* S* T) I1 O$ ]* \
; n/ W3 I7 u: {" b; R
      crush device class        
3 ?! w* ^8 D( Q! x1 o( S
& T3 m0 a3 w  _) ]" l1 ^' J- m3 B, w+ h      encrypted                 0' A/ ^; Y  e0 d; H5 S1 m
' A5 ?0 g% y5 K7 k9 f
      osd fsid                  132e71ba-344a-41f7-a162-34bb94bf43d7
& O# B1 l8 K- S8 z2 f$ Q; `3 |8 d% r. I8 F
      osd id                    27
0 l2 \4 k) {& t) t5 j; i
" ]  T- H9 c( W4 i& N- d      osdspec affinity          None
( b) H% E0 a& y, N2 _  B
; [9 K" h) j4 j" o. f3 l      type                      block6 L4 z, ~9 l  U8 S& M3 Z5 Z

$ o% P0 Y& I1 a( L% L/ i" l      vdo                       0+ K2 l$ e% O8 W' {3 _
$ f$ J+ Z$ r1 b& ?8 G9 O+ m
      devices                   /dev/sdc* n$ [, I: v  j; H" J

% w$ O$ r/ P( @
' y+ ^  j6 E/ y! a! H2 J
# S9 g0 j9 Z/ B) W. n$ P====== osd.29 ======
" P2 X. [4 w5 D$ J. o( }3 F6 `- L+ e2 u: d! f3 ]+ W; ?

& ]: c' \1 j' e: q4 E4 [- y
) G. O8 J& l) S4 N4 U  [block]       /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f
' U" T* X5 _+ P
  H6 y" P  s* R' N3 f, i' K( o2 B5 E

6 S& C( i4 _& V; T      block device              /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f! }" j9 j7 s! ^' g0 D
9 K( Q. ?9 W+ g% h
      block uuid                lOTPQt-Hjix-1NWb-ur7n-yXCL-xxMp-U8a7tf
$ K9 a' Q/ O. t! \; U  R$ ~$ f" k; c6 h/ N9 W1 l
      cephx lockbox secret      
9 ?; l# C* X/ F/ S+ H  G, q; _. L  [* V! ^2 L$ v) o) K2 i, `( N* L
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
* I9 m4 H7 d" [5 n0 h+ }3 J
% p; G2 m) O/ P# a2 m! G& P      cluster name              ceph
9 b! k$ E( F% [) d) o
; ^3 A$ E: p8 _5 l0 `$ q, o      crush device class        
) X' h: D( n( A, d1 \  Q/ M, ~0 ^5 I1 Q8 z, i
      encrypted                 0
0 F& @4 M  D1 ~0 c6 U1 \% T$ ^! `4 u( F  D
      osd fsid                  8f39ebbf-9cba-4c32-a807-c2628ca2bd1f
, Y. n9 j5 L3 D; I" \0 S4 ~" N  T' a4 g4 Z+ N$ X: b' |
      osd id                    29
9 V0 {. n8 b6 p4 w% n! }
1 h2 F* n5 v/ v3 {) v5 F$ C      osdspec affinity          None3 W: K8 h# n$ o! d' O
( ]# f1 y  q! g* j
      type                      block
1 Z, u) k% f1 \
- ^' X( A! ^# ]8 D      vdo                       0
2 D2 v& w2 c* }4 t% X/ I; z" s6 R3 }
      devices                   /dev/sdd4 m8 q) l, f/ {  L, N# I6 b

! h8 w3 b/ b3 `. [: ^! _1 W1 M7 {) s- v2 F0 b

9 E/ b0 f: g8 ?4 B3 B====== osd.4 =======
. H' D( R. F" G* Q
! j% w) C3 i. }0 ^4 O: g) j/ m
$ H" H9 _9 z. V; J" F" V
' @$ U# {1 ]5 t6 t- Y  [block]       /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47' y( Z! k$ H( f* _" s$ d8 V- F& _

* D, b% U0 U  D/ v' H+ ~: R6 k% A6 h( ?. t
. V- k$ m9 U' e, {7 q8 m* A6 `
      block device              /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47- X) h5 e: t: S# p  X% J
4 f& w- Y4 D1 L4 D$ Y  \4 K, L
      block uuid                reOm7n-vELk-Cqd2-IXXV-K1qH-luJn-RfXSOE/ C, T# ~3 x# U$ E1 n

6 I) `. |( ]/ R- `* l  U      cephx lockbox secret      ( d# B  J# B& v+ f9 T7 Q

; T* m- v; b( ~2 e$ r. {7 ^7 @      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
, o  b2 C+ K( y: e  E7 m' I
  H/ f5 J$ ~* @* S6 H0 \4 g      cluster name              ceph
# `6 A3 U5 U+ ?7 }" z
4 F" L2 R( ?7 w3 D/ P( C# }      crush device class        % [0 f  ]$ a  I5 f7 B) z! b) d

& r# e; x- z2 L( W      encrypted                 01 z& D8 e$ Y# W* Z! T

: @, l2 ~4 \. t+ B9 A; o      osd fsid                  1fd96d27-1fb1-4061-b700-5fc0c72e5f47
% d9 B' E% @6 ]
  z2 p# \, I8 r      osd id                    4
. v# w" }/ W0 k* o( Q5 E' Q4 K6 e# S9 l3 N) M. L. V
      osdspec affinity          None9 u: S. O- l! \  ^8 H2 F0 u( L" D

* l% B. x! Y( w- O      type                      block
- w' z1 q0 c. o2 M" a4 C& ~# g; G% g# i( r, S8 L" _
      vdo                       0
+ ]; W/ y2 h8 m) S. s+ V+ s. v0 }$ S# ^1 I- A8 U
      devices                   /dev/sde
) g- C( |# q% e4 M! ~% H/ c& H& F: C* N& V' ]% J
root@gm268-5 10:53:27 ~
, {1 t/ L: M& ~: ~- b9 h: L# p" t* J3 f. G6 t  n6 L

# [/ P/ j8 j4 v6 z# x0 a9 g. W& ?$ l$ F+ ?, m
$ ceph orch daemon add osd gm268-5:/dev/sdg
$ v4 V4 f) A% g& G
! {9 b% p' P# }! t1 u8 c
9 B. @4 Y9 ]2 q: O  q' g1 M$ M1 G* kCreated osd(s) 28 on host 'gm268-5'
1 @! a' [8 Z- t, ]4 H6 L: I* `root@gm268-1 10:57:24 ~3 X5 ]4 N% ]  B, q% t3 r, H
$ ceph osd tree
6 |1 J  J: e/ W6 t# XID   CLASS  WEIGHT     TYPE NAME         STATUS  REWEIGHT  PRI-AFF2 o* [3 a! n5 L
-1         596.66431  root default                              
+ `* e# F7 W0 L" I' H; r! { -3         101.87065      host gm268-1                           
( [; H$ e: ?# D  H& A  0    hdd   14.55269          osd.0         up   1.00000  1.00000
- o0 `7 x6 B1 x, b  5    hdd   14.55299          osd.5         up   1.00000  1.00000
/ b0 j' ]) E0 S; t, b6 R  6    hdd   14.55299          osd.6         up   1.00000  1.00000
: ?3 ^" [: V* @" K: n  7    hdd   14.55299          osd.7         up   1.00000  1.00000, u: b3 c9 k) ]* O+ }: t0 A9 n) H& X
  8    hdd   14.55299          osd.8         up   1.00000  1.000005 ~" C8 Y, o0 Z5 @
  9    hdd   14.55299          osd.9         up   1.00000  1.00000
/ x+ r1 \! Y2 O8 ~ 30    hdd   14.55299          osd.30        up   1.00000  1.00000
  j6 S! K- U& O, D! Y -5         101.86900      host gm268-2                           , i- k2 \5 e/ ^8 E
  1    hdd   14.55299          osd.1         up   1.00000  1.00000# H7 e, g/ t, ?) H3 ?6 H2 k- X4 ^
10    hdd   14.55299          osd.10        up   1.00000  1.00000
+ c. n) M" v3 w& T+ D4 [ 11    hdd   14.55299          osd.11        up   1.00000  1.00000
: p3 {- v* k, ?7 x1 U 12    hdd   14.55299          osd.12        up   1.00000  1.00000
3 Y$ @' O. }2 D5 Z 13    hdd   14.55299          osd.13        up   1.00000  1.00000
. s2 B7 K& |$ M# V2 A$ {+ S 14    hdd   14.55299          osd.14        up   1.00000  1.000002 G& v& L5 x+ O# H9 H2 S) Y/ D
31    hdd   14.55299          osd.31        up   1.00000  1.00000
0 b3 ~; T$ S2 D& J! s9 K -7         101.86900      host gm268-3                           + W3 I9 m8 P& {2 J. Q
  2    hdd   14.55299          osd.2         up   1.00000  1.00000
" o' w! q* R+ u3 ]" U, _7 E 15    hdd   14.55299          osd.15        up   1.00000  1.00000
" }1 W3 Z7 `3 _ 16    hdd   14.55299          osd.16        up   1.00000  1.00000' k8 _  M( s1 j0 X5 r0 G& W
17    hdd   14.55299          osd.17        up   1.00000  1.00000
2 w: Q# e' Q# ^. p 18    hdd   14.55299          osd.18        up   1.00000  1.000007 B4 a" T+ \$ [/ P) C( G
19    hdd   14.55299          osd.19        up   1.00000  1.00000! S' f- e! c: Z) r
32    hdd   14.55299          osd.32        up   1.00000  1.00000
* d! o  e) N# c -9         101.86900      host gm268-4                           " C6 n# T7 K$ y) z- {- H; r2 z7 z
  3    hdd   14.55299          osd.3         up   1.00000  1.00000  D7 h; N( X8 [) G" k$ X; K* a2 X
20    hdd   14.55299          osd.20        up   1.00000  1.000008 o# q2 X1 R5 `2 g6 w5 `8 _) H
21    hdd   14.55299          osd.21        up   1.00000  1.00000& p# K+ d/ R, v
22    hdd   14.55299          osd.22        up   1.00000  1.00000. w2 v, e* X- z# o
23    hdd   14.55299          osd.23        up   1.00000  1.00000+ z' y! G& }6 l
24    hdd   14.55299          osd.24        up   1.00000  1.00000/ q+ a# T/ e# G3 [/ W" T  I4 e
33    hdd   14.55299          osd.33        up   1.00000  1.00000  Q" r4 i2 E6 C  h1 Q: O
-11          87.31766      host gm268-5                           + U9 X2 e- _1 q
  4    hdd   14.55299          osd.4         up   1.00000  1.00000" `# n8 u2 F1 {0 w7 {
25    hdd   14.55299          osd.25        up   1.00000  1.00000
) y" Q: C- Z2 b3 R5 W; e1 ]7 T 26    hdd   14.55299          osd.26        up   1.00000  1.00000
7 L8 z: N+ s' Q 27    hdd   14.55299          osd.27        up   1.00000  1.00000: Z6 L$ V* @8 D8 q
28    hdd   14.55269          osd.28        up   1.00000  1.00000$ `& v/ S" S, l8 V- y" o
29    hdd   14.55299          osd.29        up   1.00000  1.00000
* W, R8 c  q5 o' A; F& b# u5 t" |-13         101.86900      host tp266-1                           
: c/ M' S: G0 v 34    hdd   14.55299          osd.34        up   1.00000  1.00000* n( d* g; l) ~
35    hdd   14.55299          osd.35        up   1.00000  1.00000  b/ ~3 c7 q/ {( b2 d* g
36    hdd   14.55299          osd.36        up   1.00000  1.00000# E+ D$ Z% |7 S. o* B+ ~3 H( G
37    hdd   14.55299          osd.37        up   1.00000  1.000001 v6 @0 t* I; s' @3 P8 P$ @
38    hdd   14.55299          osd.38        up   1.00000  1.000008 X2 Y( U/ W3 ]4 g4 T( @: C
39    hdd   14.55299          osd.39        up   1.00000  1.00000
6 ~; l- D) D9 Q 40    hdd   14.55299          osd.40        up   1.00000  1.00000
# _$ a. w! W1 q9 Z! N9 i
- S# Y( U3 d6 O. c7 Z, L; c' o( @; @1 N+ a  t
回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-12 01:15 , Processed in 0.058009 second(s), 22 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表