浏览此站
联系我们相册切换到窄版 Language

 找回密码
 注册
易陆发现论坛»论坛 › 云计算开源区 › ceph分布式存储 › ceph osd存储osd出现down解决
返回列表 发新帖
查看: 37|回复: 2

ceph osd存储osd出现down解决

[复制链接]
admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
发表于 2024-10-15 10:11:35 | 显示全部楼层 |阅读模式
ceph osd存储osd出现down解决过程
& o5 t$ U- k2 y4 j
. e5 Q5 w8 o* @+ }4 C! w查看：
1 Z' ?8 k; K2 ~- Y! p$ g" S) q5 T- b- |
$ lvscan
( w! i, q# v( W( h! m  X: zFile descriptor 5 (pipe:[21407308]) leaked on lvscan invocation. Parent PID 2382294: -bash1 C9 A' i4 }$ P$ f( [5 x% _4 y/ ~
  ACTIVE            '/dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37' [14.55 TiB] inherit
$ ^& G( E$ N; E, R  ACTIVE            '/dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce' [14.55 TiB] inherit: K6 {) r8 s0 i: T6 W, z
  ACTIVE            '/dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47' [14.55 TiB] inherit
* n7 G, I* O' ^. R7 i  ACTIVE            '/dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f' [14.55 TiB] inherit9 `# E0 ?# {; _2 M) `( v
  ACTIVE            '/dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7' [14.55 TiB] inherit
1 J. i  b- o1 s9 X2 ]! A  ACTIVE            '/dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e' [14.55 TiB] inherit
5 e! l, `7 P+ Q% \7 o$ D  ACTIVE            '/dev/vg_thinker/lv_thinker' [97.65 GiB] inherit
7 c6 }" ], L4 d0 D/ t3 {  ACTIVE            '/dev/vg_thinker/remswap' [32.00 GiB] inherit
" x% N9 @- I1 I, e: S) d
# U* N0 \$ S# Y
! F) [( I7 u& v; I$ lsblk . F& Q: Q* I6 t$ G( B3 F
NAME                                                                                                  MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
7 b- L6 Y% q3 I7 wsda                                                                                                     8:0    0   7.3T  0 disk
& C4 k# m% \! R/ k6 G├─sda1                                                                                                  8:1    0     1M  0 part 5 u$ u; G$ ?1 ^- w0 p( {  W
├─sda2                                                                                                  8:2    0     3G  0 part /boot
5 v- ]" _. u1 D% c, C( g├─sda3                                                                                                  8:3    0 488.3G  0 part /home4 \* h* {3 |- o) p
├─sda4                                                                                                  8:4    0 195.3G  0 part /2 i: p3 H, r  Y# _
├─sda5                                                                                                  8:5    0  97.7G  0 part [SWAP]4 J' }) g2 c( ~9 M) m/ Y7 z
├─sda6                                                                                                  8:6    0  97.7G  0 part 4 O6 R  C; r& e- ^% ?- O! K5 d- n
│ └─vg_thinker-lv_thinker                                                                             253:3    0  97.7G  0 lvm  /thinker/rem
  c& o( F6 M6 ^6 }├─sda7                                                                                                  8:7    0   1.3T  0 part ; o( W1 x1 u+ Y* a
│ └─vg_thinker-remswap                                                                                253:7    0    32G  0 lvm  
: E" \6 b! I3 h5 K9 p/ V└─sda8                                                                                                  8:8    0   4.2T  0 part $ D0 I8 A/ a2 J! ~* H- ?( Y
sdb                                                                                                     8:16   0  14.6T  0 disk ; F( g1 R# K1 @% b+ c
└─ceph--a0e4549d--3cfb--4741--932d--81a4c07233f5-osd--block--bfe4f8b7--90a4--47bf--8cd9--9d9765f0c24e 253:6    0  14.6T  0 lvm  ; w6 e5 L& a4 j% q
sdc                                                                                                     8:32   0  14.6T  0 disk ) l/ m% C: [2 H" a5 |
└─ceph--c6cbb4c7--9fd7--46bf--b990--493df45680ca-osd--block--132e71ba--344a--41f7--a162--34bb94bf43d7 253:5    0  14.6T  0 lvm  
7 Y* N0 u9 t, c9 E& Z  [$ Isdd                                                                                                     8:48   0  14.6T  0 disk
) u$ l$ l- R- x. L└─ceph--64c8725f--bdfd--4968--9f9c--8d212f0fc336-osd--block--8f39ebbf--9cba--4c32--a807--c2628ca2bd1f 253:2    0  14.6T  0 lvm  
% O0 S/ ?3 |9 ~  [5 o# k7 Dsde                                                                                                     8:64   0  14.6T  0 disk 5 a4 K# e" D% X! o
└─ceph--302f6a8d--d98d--4d4a--b049--d0d2374de24f-osd--block--1fd96d27--1fb1--4061--b700--5fc0c72e5f47 253:1    0  14.6T  0 lvm  
5 f8 L" [* O" g4 U5 E/ _# Q6 ~sdf                                                                                                     8:80   0  14.6T  0 disk
9 @! A4 Y6 v; G+ b2 e  Q8 {└─ceph--05b950c4--4b29--412e--840e--eebf630c49c6-osd--block--e4ef12f6--7ebd--4e3c--bcd9--c9909dcb10ce 253:4    0  14.6T  0 lvm  
5 S; d0 c6 E+ j% v$ z& x1 d% W6 Ksdg                                                                                                     8:96   0  14.6T  0 disk % v/ ]3 H& q0 M+ d7 k+ @! @7 H: }
└─ceph--dd0e9bb1--bd80--4de4--8c66--7a5fc21454ff-osd--block--3a460a49--70ca--4f28--a719--0fa7a6b30a37 253:0    0  14.6T  0 lvm  ; |* P; ?0 m. k8 T$ G5 R3 P" d
sdh                                                                                                     8:112  0  14.6T  0 disk % ?6 f" ?3 o7 Z) J* N3 n) V; g
└─sdh1                                                                                                  8:113  0  14.6T  0 part
/ P, A6 \/ _; x9 Wrbd0                                                                                                  252:0    0    20T  0 disk * E+ V0 x; j7 U& c4 G3 V
└─rbd0p1                                                                                              252:1    0    20T  0 part
6 V- d5 V+ ^6 \' ynvme0n1                                                                                               259:0    0 931.5G  0 disk " Z8 Z* ~1 {7 x' Q" `& O
└─nvme0n1p1                                                                                           259:1    0 931.5G  0 part
2 f5 G6 h& c, n) T1 T% c; N! r+ Y3 V$ ~) q

1 k3 R6 H& F2 S( Y. }% s! j$ ceph-volume lvm list
! N2 N+ q# N+ C. x" w. V) c9 i/ M  C2 R: J: h1 w

' R* b0 t7 @: i! w) I3 K% k& f====== osd.25 ======8 `& e9 w4 U& w8 `
4 A+ O( Y+ o8 |* w6 Z" o
  [block]       /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e
% S5 U. A) i5 i3 L. `1 O
% c, ]  O' h+ n      block device              /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e# `8 s( x' E5 D  H& K0 d
      block uuid                PZe96y-KzSv-YMAh-pqc5-mXj0-wbUH-oT1aNz
3 ~/ F; J2 x7 y      cephx lockbox secret      
5 q* q) e0 d1 Q6 E      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
! X' s4 P' Q. ]3 f3 Q$ n" F* [      cluster name              ceph
4 c4 [# s/ k- E5 b% T+ @      crush device class        
4 p, I8 o5 t: P* {      encrypted                 0
8 E7 \% s) Q$ Y" U9 ]# O, T& N5 S      osd fsid                  bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e0 ]5 e, B. d1 C
      osd id                    251 [& L8 b" d! l1 F8 W
      osdspec affinity          None
5 {' n2 p7 E; ]& P" u& y8 @      type                      block
' \' E3 y, u/ j8 W; j4 P      vdo                       0
. _2 y$ _5 _3 l# m4 t+ @      devices                   /dev/sdb+ j5 Q& o) v) n% N6 x

4 L/ b0 G# a( K, `! b====== osd.26 ======% c$ ^. r. e5 w+ h! @. O7 y
8 b% }" [# U4 F- z( }" ]" c
  [block]       /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce9 U. G+ O3 i0 @; A8 M; i6 ?# |$ `

; Z" c  Q0 M/ I, M9 S      block device              /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce5 p/ A  ^4 d  B6 u, Y2 ?3 x" e
      block uuid                OPQkXF-WZR1-dTzF-7eZM-OiER-lCg6-gId7jr/ H1 u% K" l  v" d. s( W% N
      cephx lockbox secret      * {& s% v' w2 j7 F
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9. U1 u5 s  P; l* e: F; R; g
      cluster name              ceph- u7 B6 {( M. g4 C, b' q
      crush device class        3 ]: M4 F5 j% |9 j4 ^" d
      encrypted                 02 g9 I" `, H2 W- A/ W- s. `
      osd fsid                  e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
- f& e! K! K% |* G$ o/ z      osd id                    26) X& Y% U/ d9 X( v" Z  V
      osdspec affinity          None
% Q" X/ p4 ^+ s* `      type                      block2 h' z2 F7 ?9 g
      vdo                       0$ U, R" n' E5 [, \
      devices                   /dev/sdf
6 h$ w9 h3 |' W2 m/ Q5 a
4 @5 g; a+ B$ [$ ^/ W====== osd.27 ======, `3 ^7 y+ V) [. G
4 R1 z+ V* t2 G0 t8 @
  [block]       /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7
$ G* f1 N2 ^$ x% W
% n. u5 H* O$ o- D+ _9 i      block device              /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7- h% B7 ?- Y7 K. Z
      block uuid                drIezU-3a23-EiUk-Jijj-kxtY-nAKi-EClJ0J
7 V3 C' j0 [# c      cephx lockbox secret      8 n" h& x# X- j4 q- l3 p2 |) o" N% Z
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
# l6 P6 z8 V- `% z; A      cluster name              ceph
; W5 {( \9 X" s- ~! a( o% x# |5 r      crush device class        " ?' G0 y$ L7 n( D9 U
      encrypted                 0  _: a! |1 Z8 d" p% a4 O) z7 K7 s
      osd fsid                  132e71ba-344a-41f7-a162-34bb94bf43d7/ m: c3 d# t4 X7 a. U# Y" a
      osd id                    27
* n1 l1 ]4 Q7 n: H      osdspec affinity          None& _8 A' b( V/ B6 {/ ^% I1 a
      type                      block
$ f- c$ E$ e3 i4 a0 e3 q9 l      vdo                       0
' S+ J" y# H# o& y9 V. f& @- J      devices                   /dev/sdc8 T& I& G% z* L- {$ }) d7 @
( ?2 _  }8 Q; }! s5 q4 u6 F- ]7 y
====== osd.28 ======
/ }+ o; p2 W) @2 A* b" v9 M- `9 Q
7 {! t) y8 A. ~9 V0 A  [block]       /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a378 M( _2 d+ H; d( `

$ _( D5 W# G3 {  B      block device              /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a372 Q8 j9 H% n3 s: e  B# @
      block uuid                mkGkjm-p89M-JN30-LDrn-qsgF-FI2c-Jv4IEo
, Z4 `9 K- K( U) T' q      cephx lockbox secret      - y6 J6 [* O% G9 G. R1 Z3 o( Q
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9! l2 ]: J( k$ U( C, f4 T4 d
      cluster name              ceph
; x' K" x+ A+ }# e& d      crush device class        
. G9 T$ k" G- E3 s# S      encrypted                 0
7 Y' y" R' J, t8 ~' \5 G      osd fsid                  3a460a49-70ca-4f28-a719-0fa7a6b30a37+ D* t$ r) o; C% T: J. @4 }
      osd id                    28( U5 f" B2 [  X2 p* a: c8 s+ f7 E
      osdspec affinity          None
' c6 [" y: e: k1 y1 o      type                      block
& r4 N/ S# o' a; l4 B      vdo                       0, {6 ]: Z1 V7 Q4 a0 z
      devices                   /dev/sdg
( d5 r( s% J3 E9 J
) m# E5 H; Q$ b====== osd.29 ======5 d2 B+ A; E" w" a
8 Q6 a9 e9 s, @( x: F& A0 D! ]
  [block]       /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f
0 l1 o, L# Q8 G6 h: q
- U' ]9 L( a4 [. g/ O5 o8 \      block device              /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f
) E. i( w. E. p      block uuid                lOTPQt-Hjix-1NWb-ur7n-yXCL-xxMp-U8a7tf
  s& ]. t9 y5 ]7 [. j$ o# l      cephx lockbox secret      
  D& I+ x4 `+ @! H( c8 J      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9/ e# k2 [2 P' E0 h+ S" `+ ]7 K" X/ N) G5 v0 t
      cluster name              ceph
% ^# W! O% S% }" m- S4 D2 O      crush device class        & I8 x& g- j) Q$ W( L8 H: H
      encrypted                 0
5 M: h# d, P1 {4 D" y      osd fsid                  8f39ebbf-9cba-4c32-a807-c2628ca2bd1f
/ m- D5 ]9 e/ Z' x1 M      osd id                    29
" X4 Z% J8 H% p! u      osdspec affinity          None
; ~, S3 e/ ^' F3 T, t! s, M      type                      block
4 y+ w4 Z, _5 A- {8 b: ^. O; k0 W      vdo                       0
& w5 C0 m! k- j8 _      devices                   /dev/sdd* P# i! ]. f9 k  y+ _

8 a3 F& U" {( q* Z2 A$ Y  c====== osd.4 =======  q  x4 w% N5 C3 w% P* z
  S; @5 s0 v1 `( [
  [block]       /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47. b0 E$ w: E& ^; \

" a. |- W/ M7 K9 V5 \      block device              /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47
5 z& s: z, e% }2 ~      block uuid                reOm7n-vELk-Cqd2-IXXV-K1qH-luJn-RfXSOE, Z: R- f& E6 e1 H1 j' E; l) O: Q
      cephx lockbox secret      
$ q0 M( F1 d$ F. ^9 g; G2 y      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
, b, V& |2 v5 l7 k1 t      cluster name              ceph
& N9 Y& |9 Z, B! h4 v, Y8 T      crush device class        # P3 k/ @5 V' d2 q3 O' n
      encrypted                 0
8 N- I! d. A$ k1 K) x# n      osd fsid                  1fd96d27-1fb1-4061-b700-5fc0c72e5f475 ]4 D# q, X7 \
      osd id                    4' S9 G. B! x2 ^, ~6 n8 Y* e
      osdspec affinity          None" Q# A: V. X$ Q! z
      type                      block4 T8 a8 Q& J/ E( a4 C
      vdo                       0; O0 g) ~! K6 z8 W
      devices                   /dev/sde3 x3 _# V: H" T  I- j" r9 x" v
root@gm268-5 10:14:58 ~
9 k5 d9 p3 N+ U0 p! D( W$ D  Z/ m3 }9 B+ e6 O

! c1 p0 A  [' k0 z" @2 D% n5 O4 v. k8 ?9 B" b
/ V7 M. y8 b5 F5 T# G5 J
目的是找对应关系
6 O  A9 h2 }5 B  V9 k4 [
! h! o5 n9 d. l7 m4 @
( E) S5 B/ W( [4 e" [
回复

举报

admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2024-10-15 10:24:17 | 显示全部楼层
$ ceph-volume lvm list : g/ d' o" J" B( [: A9 V. y
, B0 O; F8 t! p9 d( o! _5 G

- i2 {0 n& P% W  Q+ l6 \====== osd.25 ======
5 P, U$ `: w1 ?5 C/ O
$ b6 q4 F# W" n1 k8 t- Q3 R2 [  [block]       /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e
% O" S. Z7 s* ~" o( D
) A  S7 X: B& B% ~! r7 T7 C: ]1 y      block device              /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e
3 C9 R$ j, K5 g6 L) s      block uuid                PZe96y-KzSv-YMAh-pqc5-mXj0-wbUH-oT1aNz* t# f: m/ K7 u
      cephx lockbox secret      1 B; K& F& f! _) C
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
9 }' N8 l5 P9 N! z$ Y. Y2 v! A& }      cluster name              ceph4 ~" V& k! j+ M  y
      crush device class        
7 t2 k. q  `: i0 E6 Q, h      encrypted                 0
$ x' A- P9 O% I5 W5 q  [      osd fsid                  bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e- t9 [- O7 R" ]2 V' A3 t& L
      osd id                    25
  o3 s% Y; M6 b! A0 {      osdspec affinity          None
& k* `9 L" w0 v# |      type                      block! K  h5 s  N  S9 ~; @% m
      vdo                       0# Y, ~# C) P2 p5 F/ p8 y; v
      devices                   /dev/sdb
' w1 t7 A9 S  N- u3 d5 d/ |' E
5 r! L# N3 a% B3 `5 x% k5 Z7 r, T====== osd.26 ======
6 s) u! X) }( V7 d" v% f% `/ d1 K; C3 R6 ^' ^& F+ K! b* Z
  [block]       /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce+ L$ J) v, Z. K, P) Z: R) y

$ `$ t* e# h' l3 s8 {" @$ N- x2 h      block device              /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
8 p  I! `7 D8 k" W# T  l5 a      block uuid                OPQkXF-WZR1-dTzF-7eZM-OiER-lCg6-gId7jr
9 K: \. ~, n2 Y      cephx lockbox secret      
* c* k0 L: m$ J( U1 S      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9" u! Q& [2 d& L/ O) X6 A" z
      cluster name              ceph
4 h# f, `5 u' F  e* g      crush device class        
( P' ?9 D+ P/ k. |      encrypted                 0% w' d: N. {' P$ v8 m; S! e+ o
      osd fsid                  e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
. N# d* Y4 S! R8 A0 t" N      osd id                    26) Q6 ?9 _) D5 R% Y5 p
      osdspec affinity          None
- q* T* q' M  q; u" Y- r      type                      block
2 Z9 [* G  H( j: @7 G/ c# M0 Q5 X7 K" Q      vdo                       05 S1 `, U* a3 r! ?0 Q" G$ |
      devices                   /dev/sdf1 f! K5 {. d- R4 `
6 W% p0 i3 p8 m4 ^9 n
====== osd.27 ======+ W$ o3 h; \; t- e9 A% E' S
- {. G' U5 t% r
  [block]       /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7
* D7 d7 f( \2 R! k; W' T& @8 M2 W4 A+ u0 a  R+ S) o
      block device              /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d79 p% z! L9 B3 R' g. i- o. G
      block uuid                drIezU-3a23-EiUk-Jijj-kxtY-nAKi-EClJ0J
) V0 w2 ^1 U+ P& X) {+ ^      cephx lockbox secret      
' D% c" J; _2 g      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
( ]" V8 L8 v* S      cluster name              ceph
. R" I, J; W, D. ]- V      crush device class        7 t/ L/ H. y4 |, s
      encrypted                 0
  S+ I8 r  W& o4 ^5 L( a      osd fsid                  132e71ba-344a-41f7-a162-34bb94bf43d7
+ {6 l& H9 j% w6 w& e      osd id                    27
3 i# q$ a# |3 s; G9 I      osdspec affinity          None# W0 b! S$ b# n. M* h! f' _# Q7 z
      type                      block' b2 t2 v! T: j! n* i
      vdo                       0( P- P& W3 x; W$ g- P' g- e: r* t
      devices                   /dev/sdc
, K: I. F5 g4 n# q+ b1 y/ F/ O# P5 v: X# p6 F1 k
====== osd.28 ======
1 ?# F) q. k+ g8 B/ h
  Z3 I9 E5 Y5 [/ F! |6 q2 R7 \  [block]       /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37  {2 W9 v# c) x% Q3 ^
7 \" R7 Q. {& m5 ^7 q+ m8 L
      block device              /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a379 {0 K' i- V9 D4 e% L; `
      block uuid                mkGkjm-p89M-JN30-LDrn-qsgF-FI2c-Jv4IEo$ Y$ e" b$ }  R2 D1 [! t# t; ?
      cephx lockbox secret      ' ~- |- d: @3 k2 ^. `0 [& c
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9  o) F! S, r$ k; O9 e) ?) e4 ^1 u
      cluster name              ceph7 c, J( a; i1 m, l  N) g
      crush device class        , u7 b* p8 M6 I* h* j3 T) u
      encrypted                 0
% v; Z4 E- \: Q! P9 e* w      osd fsid                  3a460a49-70ca-4f28-a719-0fa7a6b30a37# M) W7 _9 a2 U6 @0 Q
      osd id                    28
. N" ^; W9 U* h8 i' f( E& i' t      osdspec affinity          None0 @+ l9 h) E4 J/ h- S9 W9 c0 c* L
      type                      block
0 F3 I* w; u) z4 L      vdo                       04 J$ D5 X& X: z9 a4 A, H" s
      devices                   /dev/sdg* @/ w/ E, o( N9 B2 x7 A" B- a# ^' l
* h" X: w2 M; d# B/ ^8 a1 ^
====== osd.29 ======8 t% o* I/ C, i$ `2 e
6 J% P, |5 w7 I- W
  [block]       /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f
) J: g% b' D" q4 z' u% T: x4 i; Z+ p& m. `
      block device              /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f9 `1 d9 P- P5 M: k6 D( w
      block uuid                lOTPQt-Hjix-1NWb-ur7n-yXCL-xxMp-U8a7tf
) ~5 S5 A. F1 G) x9 l6 Z/ F6 ]      cephx lockbox secret      
5 E* z. k: |2 [" D  o      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9  a1 T% P" z4 p0 N
      cluster name              ceph" D0 D# k/ N' h, ]
      crush device class        
, ]2 g4 d# c" T      encrypted                 0$ B1 Z! l7 e7 {( b
      osd fsid                  8f39ebbf-9cba-4c32-a807-c2628ca2bd1f
& p5 O, W& r, o8 R. \7 l      osd id                    294 Q, d, o6 e7 ~
      osdspec affinity          None0 Y( V) E9 |. G  W$ b
      type                      block: K( U8 R# _2 E& x
      vdo                       0- H2 k- T. c% \5 x+ Y
      devices                   /dev/sdd
$ {* w4 D0 D+ U  {2 Q
  z8 w. ]* Z, g4 R9 F) f====== osd.4 =======
5 E1 n% b7 J; n( ~
. c3 M. u, @: a4 {) A& A  [block]       /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f479 Q8 z' ~1 P8 d5 ^" |( S
. u6 g8 Y7 s& a, i4 F2 J$ o4 C
      block device              /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47
% a3 a& J7 U0 `; J: T      block uuid                reOm7n-vELk-Cqd2-IXXV-K1qH-luJn-RfXSOE' k# V# h: R4 i
      cephx lockbox secret      
; {* c% j0 i* A; m      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
/ n2 }( z( r8 {      cluster name              ceph
! P  b3 y" B  M! i% q* r      crush device class        + v" R4 a) q6 f. c  s, ~
      encrypted                 0
3 h/ I6 x7 _# v1 k- I      osd fsid                  1fd96d27-1fb1-4061-b700-5fc0c72e5f47
) k( a% }  t8 w& Y, i      osd id                    4) k' S% p5 }0 q% B; n8 [3 P: E
      osdspec affinity          None; l! K2 R# p9 g! I6 J0 E; O$ L$ s
      type                      block
0 n2 d9 u' m( {2 Y      vdo                       0
) }7 h. M% _* d$ j8 h2 }/ z      devices                   /dev/sde
! x$ D* K3 C( E. Z4 p5 @$ \root@gm268-5 10:14:58 ~
回复

举报

admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2024-10-15 10:58:00 | 显示全部楼层
$ ceph osd rm osd.28 , i" k  @5 m9 M9 }  U$ G

9 }- u' p: Z) g. cremoved osd.28
' c( P' P/ D$ U7 m8 }1 f, E
; Y2 j, _' h5 E4 p8 b) b9 Troot@gm268-5 10:51:48 ~
/ M) |% v9 A% @+ Z- p* C" W6 D
" R3 v+ [) ?: T$ ceph osd tree
3 a' n; X# D: u  G; }9 _! T- i0 ?, n% J
ID   CLASS  WEIGHT     TYPE NAME         STATUS  REWEIGHT  PRI-AFF
5 a! F9 T4 H" R2 D, s3 p! c+ k
-1         582.11163  root default                              
5 p+ B, |7 b; e: X* G$ D
1 z5 C) g+ s  t# G# i" h' X3 [  W -3         101.87065      host gm268-1                           
+ Q2 z/ e1 ~) C$ H7 W) ^1 @- S+ J+ Y1 \. B1 l9 U& D
  0    hdd   14.55269          osd.0         up   1.00000  1.00000
$ I  m. B; Y# y# A& m! c; e' g, k, o/ _( B, {( K
  5    hdd   14.55299          osd.5         up   1.00000  1.00000
. u& K1 B7 I9 u
( ^/ G6 i8 v( O; u$ k  6    hdd   14.55299          osd.6         up   1.00000  1.00000. b, v( x4 z9 R) A: y; h
' n: `7 @/ a% t! w. Y) Y
  7    hdd   14.55299          osd.7         up   1.00000  1.000006 o' |9 C1 j# ]# Q( n* K8 J0 V. o
% T6 `8 f, ~1 T' M# z
  8    hdd   14.55299          osd.8         up   1.00000  1.00000+ F! n% r* J4 P% \$ e' V

4 k, ~5 Q: I( U4 x* L$ R, O0 S; n  9    hdd   14.55299          osd.9         up   1.00000  1.00000- b5 z5 `( H) }% h, p

, _8 Y1 `+ z3 i6 m- Y( I7 G 30    hdd   14.55299          osd.30        up   1.00000  1.000004 g& u, ]/ L9 E2 s2 h7 d" \
2 V, h% S3 D0 X0 C" `9 P3 c
-5         101.86900      host gm268-2                           " z- n* E3 H5 L) E3 L7 g
! v) m6 P8 m8 Z" a/ c( S3 F1 \) |
  1    hdd   14.55299          osd.1         up   1.00000  1.00000
9 `6 f. |* p% C! d% U5 r9 a  q0 ?) d5 x( e9 s2 W
10    hdd   14.55299          osd.10        up   1.00000  1.00000' l; a. Q8 a' a# {+ ?. p

& h: w) d5 G. p& u3 W 11    hdd   14.55299          osd.11        up   1.00000  1.000003 N/ W; Y; a6 g, N% s

. K, A) w" i# M3 c 12    hdd   14.55299          osd.12        up   1.00000  1.000001 e, s' H, S4 e7 ^# H! q/ ^
/ W4 O' b& U: r5 \8 B
13    hdd   14.55299          osd.13        up   1.00000  1.00000
4 t9 E7 H1 t) A, o1 y( W, d! c& R
( _) d0 i6 y. C" D 14    hdd   14.55299          osd.14        up   1.00000  1.00000
* X3 {3 c. {: x3 f* O) e5 y: n
# X8 o% U  `: \2 t; S3 u% d* V 31    hdd   14.55299          osd.31        up   1.00000  1.00000
$ Y( \# `8 l6 k4 U7 D
9 U  d- E, ~8 o$ B -7         101.86900      host gm268-3                           & ^' Q3 [8 J# B; g/ |) W9 g
- f* y8 W' i8 ]1 B0 e& n6 x, t
  2    hdd   14.55299          osd.2         up   1.00000  1.00000. E2 q9 d1 U5 _6 S0 y5 d. H

7 J0 S  w7 |# V 15    hdd   14.55299          osd.15        up   1.00000  1.00000* {( \* Z1 v, c. I" C) F  b
: @- a+ J1 R1 A3 k3 c+ L
16    hdd   14.55299          osd.16        up   1.00000  1.00000
& H& h- u- L1 x( e' h3 e: ^1 n- B
, F% t, {# ?- u# i9 |2 K* i: O' ` 17    hdd   14.55299          osd.17        up   1.00000  1.00000
, B; s; n" l# `( u
; s' k3 U' q3 R& a4 N6 } 18    hdd   14.55299          osd.18        up   1.00000  1.00000* ?  z  |9 o) g3 y% s7 y
! _1 |8 V& ?+ @8 R, K0 r
19    hdd   14.55299          osd.19        up   1.00000  1.00000
! l3 M- b, Q' f+ f$ N  d. @3 b) x( E) {# u
32    hdd   14.55299          osd.32        up   1.00000  1.00000+ i9 R3 p0 U; l. E7 a

9 s1 }! S3 @8 ]( ?+ V5 m+ `* H -9         101.86900      host gm268-4                           
1 |6 e, w2 Z) b" Q$ G' \
- X6 v+ N/ @( H5 x! Z+ u- T  3    hdd   14.55299          osd.3         up   1.00000  1.000008 O9 Y8 ]8 Q2 Y& H
: W7 w# V# e+ I" M* a4 F
20    hdd   14.55299          osd.20        up   1.00000  1.000003 r1 ]. s; x: l( e) r* }7 g

3 ?7 ?) A' g  F8 q1 |- O) Y 21    hdd   14.55299          osd.21        up   1.00000  1.00000$ q+ k; i3 s$ q4 {; x7 M7 d

* k! E7 N3 b, Y) E8 [4 C& v 22    hdd   14.55299          osd.22        up   1.00000  1.000008 {5 b5 j. m& y. F4 ^, Z2 L( }  g

3 o1 N/ E8 D& y( r8 }3 K 23    hdd   14.55299          osd.23        up   1.00000  1.00000) k: K; H' P8 {( G

6 h1 t/ p5 T) y) r9 k; M 24    hdd   14.55299          osd.24        up   1.00000  1.000009 o% h& G6 C5 @. v: v# e+ J& L) V

, s% n# W2 f7 L9 j: z 33    hdd   14.55299          osd.33        up   1.00000  1.00000
2 N- e8 }$ r9 [+ m4 r  K" P0 Q* k( `; o5 s8 z! |4 _, M& _
-11          72.76497      host gm268-5                           
5 ?+ ?+ f( b7 t( u7 {  Q( w3 _
' F4 v/ b% W/ `8 U' Z- S  4    hdd   14.55299          osd.4         up   1.00000  1.00000
: h  x; k: f* X- ]' d' Q: O: y1 y: C# Y- q/ T1 I) F/ R" L5 a
25    hdd   14.55299          osd.25        up   1.00000  1.00000: \" V. ]" R: ?3 u- x. ^- f, A2 Z: G3 X
' Y, U/ ?' z+ x7 ]8 D7 F
26    hdd   14.55299          osd.26        up   1.00000  1.00000
! D4 G9 o- r) q
6 A: ~! M' `' |5 K/ p 27    hdd   14.55299          osd.27        up   1.00000  1.00000
3 \8 C8 X5 Q3 U9 @) t
  R7 {; ^/ k! x0 p! E. r% v 29    hdd   14.55299          osd.29        up   1.00000  1.00000: f2 _& T8 d4 e* S% V9 Z
% E  z% z! _" D4 i# G7 ]
-13         101.86900      host tp266-1                           : _0 ~3 V/ P- d+ d/ E
8 e: _; ?; G, P+ V' b
34    hdd   14.55299          osd.34        up   1.00000  1.00000& l) V- L# X5 W- W7 C4 U" u

* D7 N. b$ q$ h; \1 s6 j 35    hdd   14 .55299          osd.35        up   1.00000  1.00000+ l0 ?2 i5 U, H! _; L2 D  a1 Z
! V' _( w- x3 [7 b; s
36    hdd   14.55299          osd.36        up   1.00000  1.00000
. J8 V1 ]; t. K5 C7 b/ G# }
* c$ F8 ?2 s! C3 C, g$ o 37    hdd   14.55299          osd.37        up   1.00000  1.00000- z1 A/ f: _0 O6 ], F! P

# Q8 }) ?) ~* q" R, J, C 38    hdd   14.55299          osd.38        up   1.00000  1.00000
2 s  B# J( c( U& e9 u% k4 G9 x6 p; e/ u. x
39    hdd   14.55299          osd.39        up   1.00000  1.00000
4 b% Y7 B. [% O( c7 t, _) L; b3 y) ~% k# r5 j# H7 Q' M) ?
40    hdd   14.55299          osd.40        up   1.00000  1.00000
) Y% q( _# z8 G5 ]- u( v% C7 M3 x! Q- s9 D) O9 [5 r. u: v5 Y( [
root@gm268-5 10:51:55 ~
: w- c; `0 k: |9 R- [6 s( I
1 Z8 R* f. ?) H5 J- \1 r1 I+ w$ ceph -s# \0 b, {: Z+ y  V" v% ~

  X$ k6 G3 Y! Z3 |! v# Z# g  cluster:! l- q- A" L$ l. |% [" J" }) `
9 Y# L0 M- Z; `+ b$ ^, S
    id:     ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9( [/ \" V$ u: R5 v# Z

( U( s- n. {" `, r, e& W  c% N  g" t    health: HEALTH_WARN
( N, f, D4 ^2 w! C3 r
* }9 N$ \+ \( f$ Z- q1 u+ v; u            1 hosts fail cephadm check, D2 L5 Q6 q6 M% u' G" N/ @
6 Z2 z% R8 F& v" n0 S
            failed to probe daemons or devices
4 U% h2 {: S; D. X8 }
4 K& J6 l0 x% \& v' K- V            Degraded data redundancy: 117992/84949880 objects degraded (0.139%), 28 pgs degraded
" j/ e: z9 _6 B& h5 Y5 ]+ f' z1 l9 x/ x" Y

6 c4 e3 ^7 N+ y7 G( Z, q
- D. P1 n- v) G0 G  services:
1 i( M( B/ ]7 S5 ~. S
( p; l% m+ p4 e# B$ r9 M    mon: 3 daemons, quorum gm268-1,gm268-2,gm268-3 (age 5d)* |. Y6 Y$ c2 \  k6 b! o5 S
. a) J3 j0 \9 z
    mgr: gm268-2.zttohs(active, since 5d), standbys: gm268-3.sjagqo, gm268-1.jgdvxs% u- A2 i2 v7 c3 \
0 N' `7 @7 C* F3 E' P9 K0 l: C9 M
    mds: cephfs:1 {0=cephfs.gm268-2.xdsdoz=up:active} 2 up:standby2 m$ z4 A# y, m: y0 L! v
9 q4 m' A1 v, p1 p# Z
    osd: 40 osds: 40 up (since 101s), 40 in (since 101s); 804 remapped pgs
: _8 @! x, T: t2 g8 H9 s+ q- {( i% R3 s
8 Z6 W: P" c+ S8 @" C
) g* R# ?. n2 ?$ k( A
  data:/ k# ~, J7 ~' c3 b% B5 c% C5 t! K

. B/ N- q7 G( X5 `; i2 Z    pools:   4 pools, 10241 pgs
( x. N  z' I7 d) M) x' q' \) R# o- X* Z9 K: Y" i* Z
    objects: 42.47M objects, 115 TiB
: E' S' j6 V3 L6 S, N8 r2 b! }  _  [% Z0 e4 L2 a* m1 g" y; e
    usage:   232 TiB used, 350 TiB / 582 TiB avail
) Z* A: N9 }; I2 n
; E( n: a& q' s2 @    pgs:     117992/84949880 objects degraded (0.139%)2 S8 B  L. r4 Z5 E
6 P9 K! k( f0 [$ S) S+ n0 \8 }
             3274408/84949880 objects misplaced (3.855%)
; z0 q. H; p+ l: ]! t$ B2 @- S/ K4 C
2 ^6 d: q; b* B             9437 active+clean
2 d8 N5 T9 C3 L4 l
# f9 W% Q* ?3 H! ~5 t' w0 K             739  active+remapped+backfill_wait
6 _! l' }& d" ^0 f( \% Z  `+ \* @% W: k8 m" F/ r  y; ^( A
             37   active+remapped+backfilling
6 a3 w& W4 H" f9 x  X+ C7 o
/ c3 L: f# `2 _             26   active+undersized+degraded+remapped+backfill_wait% X' n4 ~1 @$ X& X* J

2 Q1 ]( {$ ^: D/ g, Q             2    active+undersized+degraded+remapped+backfilling3 G+ H: x: ^1 B) n
% G% P4 r; ]: _* m* D
" t' a/ Q+ H5 y, V, K7 s

0 o4 R3 M' U$ X6 k$ i; p  io:2 ~4 i2 \4 q9 Y- u9 E  A1 e% r

% m- B, f+ h) x2 E    client:   1.4 GiB/s rd, 1.5 GiB/s wr, 1.02k op/s rd, 870 op/s wr; v) l' I! c0 z/ {% b' b  v. F4 u

8 h0 ]6 T, c8 e" I8 u/ b! h% y    recovery: 754 MiB/s, 371 keys/s, 371 objects/s
: m8 b# j+ F6 m! C# A- Y  s% {& y& e& p+ Y! E; ?

; X7 w& k4 S' J, v
9 v7 k0 @6 U5 Y6 y2 P6 g2 [  progress:+ o1 ?5 ^. d; `: S& ^6 M8 \% V
9 V% j0 @. c# ^2 M
    Rebalancing after osd.4 marked in (2m)0 U/ U" n2 b- C: k+ J

' P9 R7 n: T! ]* c      [===.........................] (remaining: 14m)
) V3 a7 g: Q1 z6 P0 j% Y3 D' a
4 i% u' M6 O1 x3 S# w* `  p    Rebalancing after osd.29 marked in (99s)) w3 |; E+ r# @" L4 ^

/ ~7 Q  _6 p1 t- I- q% e      [............................] & @) p, w$ b* \. O+ N
, N: H; B/ g$ v/ h, Q& `9 G, d
    Rebalancing after osd.25 marked in (2m)
4 d6 \. [2 v* ^7 y, R! d8 Q! [8 T, ~* k0 _5 f/ @! ?$ S- o# Z
      [=======.....................] (remaining: 6m)0 a9 S( t8 e$ e( V( y
6 a0 a1 \+ u: P- r  Q3 x
    Rebalancing after osd.26 marked in (2m)1 q. j" r7 }7 i( C

5 M/ `$ S) N9 ]" |8 ]3 M- B      [=========...................] (remaining: 4m)2 i! x2 S9 |$ R3 e( ^% R( s

+ c+ _" m* r$ O) {" P/ R    Rebalancing after osd.27 marked in (2m)9 P, `1 e* c. T/ E
2 z( E( p+ e7 l* i% H
      [==========..................] (remaining: 3m)4 }/ O) v( Q6 C! |& w" a

1 t2 e6 g3 I- K9 E
) u' C. ]8 \! T5 K" M8 @
* C- T" T8 W# jroot@gm268-5 10:52:03 ~1 s" h7 `/ ?9 Q
$ H# a' O0 ~7 R. w# e+ o/ y' p
$ lvremove /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37- F: B7 }7 N( @  t5 \) `* \
' l9 ~) a% i7 C$ b5 V
Do you really want to remove active logical volume ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff/osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37? [y/n]: y
4 w3 E( s; C$ A3 l1 ]: B: f+ }7 m/ X( X$ M  ~. q
  Logical volume "osd-block-3a460a49-70ca-4f28-a719-0fa7a6b30a37" successfully removed
7 g" W( I& X$ B; k$ w) S: G2 n
root@gm268-5 10:52:35 ~
" r+ A: `7 G- k
) x% F. }6 p' m$ lsblk ; X( P" }& i1 S* m0 v. b' ?
( P: @, w( @; c8 E9 X' t, P7 ^& N+ ~& U
NAME                                                                                                  MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT: [8 t$ I0 ^/ E
# l& R% }+ ?# C. X
sda                                                                                                     8:0    0   7.3T  0 disk
5 B8 W* H' ~& R$ f
) J6 a8 c" q" W9 S2 |( |├─sda1                                                                                                  8:1    0     1M  0 part % y' _( B! `0 h8 q& Y7 f/ r: H

5 ~$ D8 h% f2 M8 `: J9 P├─sda2                                                                                                  8:2    0     3G  0 part /boot, B9 H5 ?7 f+ t  ^

) r5 \& ?8 A, `. Z5 D' k├─sda3                                                                                                  8:3    0 488.3G  0 part /home* K$ b$ r% s8 n& ^( \  n8 y

: }- H: O6 L+ K6 m7 B4 o├─sda4                                                                                                  8:4    0 195.3G  0 part /
( U( j) L' T& D9 q4 \  a, S( E: {5 p9 b- M- d# C
├─sda5                                                                                                  8:5    0  97.7G  0 part [SWAP]
( Z  u+ W& L& j
0 P6 {8 {, Y. x3 Z& k* X& l├─sda6                                                                                                  8:6    0  97.7G  0 part ! w3 b! f' ^9 s' U* [+ X
8 z, k, z! Z: \4 p) O
│ └─vg_thinker-lv_thinker                                                                             253:0    0  97.7G  0 lvm  /thinker/rem
2 G; |. ~6 H  n( s) j' [% G9 S8 V3 a4 k3 d9 j6 E  g4 E1 J4 }
├─sda7                                                                                                  8:7    0   1.3T  0 part
& S" L, p$ f2 n4 T4 `+ {  T& @7 S+ O1 {+ c+ D$ R
│ └─vg_thinker-remswap                                                                                253:7    0    32G  0 lvm  8 o, {; D2 S% n9 \1 o/ d

1 l' B6 [, Q7 _3 M" Z9 r8 C; N. ?└─sda8                                                                                                  8:8    0   4.2T  0 part
% X7 p6 ?: M7 _& W3 M
' E$ G2 C  W7 s: _8 lsdb                                                                                                     8:16   0  14.6T  0 disk
4 C# n. s$ D4 n: l. T- s3 e  j. L; E1 u/ b* X
└─ceph--a0e4549d--3cfb--4741--932d--81a4c07233f5-osd--block--bfe4f8b7--90a4--47bf--8cd9--9d9765f0c24e 253:3    0  14.6T  0 lvm  & C: w# @# s4 T- Q. |' O* F4 E

& l* ]5 i% P. n$ Vsdc                                                                                                     8:32   0  14.6T  0 disk
! m' K, P; J- K7 p  @- j* [2 p- g# f4 s- P% D# u3 H, M2 H! B* a1 ^
└─ceph--c6cbb4c7--9fd7--46bf--b990--493df45680ca-osd--block--132e71ba--344a--41f7--a162--34bb94bf43d7 253:2    0  14.6T  0 lvm  1 h  f, F$ k; o5 ~5 l0 o, P
+ T: d( ]# w7 e+ R: N
sdd                                                                                                     8:48   0  14.6T  0 disk ; F, C0 w4 e" J$ p

8 O# q/ W% c, ?9 I5 Y0 A- B4 s+ U└─ceph--64c8725f--bdfd--4968--9f9c--8d212f0fc336-osd--block--8f39ebbf--9cba--4c32--a807--c2628ca2bd1f 253:5    0  14.6T  0 lvm  
/ n& e; E- [( }6 K/ m  ?( s7 o$ m. |% T) @# y& F4 |( F
sde                                                                                                     8:64   0  14.6T  0 disk 8 ?* S8 g# _0 q. P1 ^
& M% f- b) C# I& V4 t
└─ceph--302f6a8d--d98d--4d4a--b049--d0d2374de24f-osd--block--1fd96d27--1fb1--4061--b700--5fc0c72e5f47 253:4    0  14.6T  0 lvm  
: N, ]" d1 c7 ~$ a3 M8 u
  @2 Z. V  e8 v# z1 d2 n/ n7 wsdf                                                                                                     8:80   0  14.6T  0 disk $ p# o) {% N: U
4 v+ X. c) b2 H* v# w
└─ceph--05b950c4--4b29--412e--840e--eebf630c49c6-osd--block--e4ef12f6--7ebd--4e3c--bcd9--c9909dcb10ce 253:1    0  14.6T  0 lvm  
& B/ Q  V* D. [! V0 ^8 ^$ H2 q0 E6 F/ Z
sdg                                                                                                     8:96   0  14.6T  0 disk : `7 x+ b( \2 t% F$ W% ?/ ~
2 M/ I0 ~' m! q  ?) P5 S
sdh                                                                                                     8:112  0  14.6T  0 disk
' t% k% I; g- E9 F* X: E  @
: l0 o# l2 |9 v6 m└─sdh1                                                                                                  8:113  0  14.6T  0 part
3 i+ C  M" [% U" B- f
3 G9 s: q/ \' _- }+ j  P2 Z  Yrbd0                                                                                                  252:0    0    20T  0 disk % q6 U6 _; a" S& F# h' i) Q: G0 q
" K+ X5 B' j  J
└─rbd0p1                                                                                              252:1    0    20T  0 part 2 k' w8 s% @5 l3 F% b) e9 m7 z
6 x6 Q7 |9 R1 F" P5 f
nvme0n1                                                                                               259:0    0 931.5G  0 disk
  ~# D% b. i8 W* e- O
9 I8 {2 g; N, n. d4 Q└─nvme0n1p1                                                                                           259:1    0 931.5G  0 part
/ ^( F1 L; J: p; ]
  ^4 `+ b0 ~0 O, croot@gm268-5 10:52:46 ~
! i. L. @& b! l. c; J
+ b4 v5 M% D4 a8 N- r2 u$ vgremove /dev/ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff
4 F# j/ D% L8 z0 ~3 D% W9 S$ x
& J4 ]1 F8 c  b& N  Volume group "ceph-dd0e9bb1-bd80-4de4-8c66-7a5fc21454ff" successfully removed
1 G2 ]$ F- z, g! k
2 `" X( P4 X8 p1 g8 \root@gm268-5 10:53:16 ~
7 ^, @- O8 C, e: t2 M; R& q9 o, K" v0 o7 x# }" `- D
$ ceph-volume lvm list 3 z/ b3 O$ ]  B  _+ U
. c# n( w" ^) C# ~9 ]
7 }0 n( k' |' k. H' y

0 x, V! f; Z1 R" ~; m& x" U6 `
0 ^8 m2 s7 d9 G6 Q
. e- k9 B3 p) b" P6 B# L: R8 u3 ]2 |====== osd.25 ======- `6 D# y- o7 I3 `; V) Q) A+ R
( {; g+ p0 v3 n' e7 A

! b, ]0 |" H8 w
3 d! k1 u1 I, F; }6 ]) P. x  [block]       /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e
, p- n' Z9 F) m9 H7 \
* x8 R4 {" Q) m# o
6 \& R; n% Y. F$ O/ h$ ]6 H/ L# K: H% v6 Z# j
      block device              /dev/ceph-a0e4549d-3cfb-4741-932d-81a4c07233f5/osd-block-bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e/ e  {. _; k% p7 n

2 Z2 W- k4 t+ e- a' C% h& w      block uuid                PZe96y-KzSv-YMAh-pqc5-mXj0-wbUH-oT1aNz, A( T6 |7 z$ m$ e& c

8 ^  U" M0 ^5 x% ]7 ?3 T3 o      cephx lockbox secret      
, T: n; a; C9 x, L) ~3 x, }, c8 z- g( V$ ~. V
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
, _) B- N, q" C" G5 n1 @; }* G
      cluster name              ceph+ b! L5 \% `. Q6 b& q: u7 }
& o) p' ?! ]$ @, U
      crush device class        1 ?) ]; ~; q; j$ R3 x, x% V

7 u, K. ]! @: U* s# m9 D      encrypted                 0
% h! ]- q( S" E8 M! U
+ C' Q: ]2 v9 U2 `5 Q8 a! t  g      osd fsid                  bfe4f8b7-90a4-47bf-8cd9-9d9765f0c24e
3 ^9 H  P. K% |- `5 G1 H4 h, e( s1 r
7 {, o3 r( E6 ^$ Y' p- ~4 Y9 S      osd id                    25! k4 |# J9 R  L/ o) H4 Z
+ u& |. K! D& \
      osdspec affinity          None
# G1 [; a* P$ B% N( j
4 R) ?: ]- ?5 K. f, l$ n- p( J      type                      block! }8 \0 V  t: S: X' X

5 O1 q7 L$ L- ?6 [" m  X* J+ C$ g9 L# _      vdo                       0
% P3 w7 ?$ ^* Q0 Q# U
5 ?. W- F! ]( }1 L) T      devices                   /dev/sdb6 b4 w, z5 H' h, h/ h& L2 z
* \/ k( @: J$ q- m6 A
  k) y7 Z/ P- i# S
8 G5 ^' X7 W: d
====== osd.26 ======6 c3 i6 A5 [: B& [0 b
3 ~: D$ o6 y& p. s
! S5 i! Z) S) m6 h# j4 @
; D5 c+ w0 Z4 y) M/ S. L. e7 e
  [block]       /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce
' x3 A$ \( n! Y$ o0 R
9 k' H; c- B) o5 E  _; N' ?! [0 W0 e+ t' ^; ]! j9 z

' h$ T, f" o3 b  J      block device              /dev/ceph-05b950c4-4b29-412e-840e-eebf630c49c6/osd-block-e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce" f- H; s$ l9 D/ }

5 [5 P* [  g# d& ~$ L      block uuid                OPQkXF-WZR1-dTzF-7eZM-OiER-lCg6-gId7jr/ o# I' Z$ Y. ?% k! ]  k- M

- c4 _- A4 u- s+ B$ n# i  e      cephx lockbox secret      5 C8 K3 X4 |( w4 T

0 W3 @7 X9 ?0 u, W1 `      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
. m$ t3 W; [3 E8 F+ C% ^  A; g3 E0 ~6 ~  M6 z5 L% d8 J8 ~3 ^
      cluster name              ceph' H4 l+ b/ [8 S( R* w4 u
0 z+ w  T9 n6 q$ N
      crush device class        ! _, D, s8 ]" O) C1 w; b+ K  `8 t

& u! g7 l; j0 o      encrypted                 0# T" ?# _& P9 h2 ]4 U
4 H, F6 A2 m  f( |/ D3 [
      osd fsid                  e4ef12f6-7ebd-4e3c-bcd9-c9909dcb10ce; v+ u6 u) v8 b2 f- K

8 y/ j) o, B  @5 A      osd id                    26
! ]; Z' V% _6 t2 ^& a* }3 H) S& d9 b6 ~" T
9 l8 A6 a: c8 m0 |9 O( ]" D5 k6 o      osdspec affinity          None
! H3 A- R& Y  K* t, s7 V) Z4 t3 a: D( p
      type                      block
; ]  O  }# g& h! B0 j# p  F* F" _- a; B( u
      vdo                       0
0 j  e* R5 u* |) f' @- N+ y# u/ G8 @4 e4 `4 a/ C2 O+ U6 ~& m
      devices                   /dev/sdf4 c+ G4 V+ Z% _4 M6 O0 t$ _

6 v8 p5 \# x, u! o3 g
$ i' A9 W  F+ ~# x+ M7 C
9 }! R$ t( @3 n# ^====== osd.27 ======1 B: Q( m9 a. ~7 D% A( P

  M- Q4 h$ n2 y! A) T& ^3 n. Q  ^$ V) M  O: M2 i. `$ |

; v* W8 I) |# O  [block]       /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7, Y9 l1 J3 u" Y2 @( [+ U. l( s2 k

- F& N2 a" m: I' P; v
  r( E$ G; q: h4 U' y
: _+ w/ w8 k" Y      block device              /dev/ceph-c6cbb4c7-9fd7-46bf-b990-493df45680ca/osd-block-132e71ba-344a-41f7-a162-34bb94bf43d7& t4 V! P- ~( d: v, O; [
2 G; G7 y+ h7 O' x; o
      block uuid                drIezU-3a23-EiUk-Jijj-kxtY-nAKi-EClJ0J
+ @$ R1 M/ u% B# w3 r
$ T* y% r! I) r3 L! I/ c      cephx lockbox secret      
* |6 h+ }8 i0 r, ?- G% ]/ _4 O) C$ A2 @" s' N& X; `: o: {5 M4 e- Y
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
/ A- r  n% @4 h5 `( U8 f
. f+ I7 r( d6 z      cluster name              ceph8 V# h( a# z$ d' l9 G4 v& S. b
6 j* X: L" I% B% F# r
      crush device class        
! {3 ]6 P* t3 T0 N# r' d4 [7 j. J4 A4 I9 r7 H- N* h! [+ W
      encrypted                 0
! U% |# e+ _+ V2 H( X% V
! F8 H% U) f2 Z8 I1 T" U      osd fsid                  132e71ba-344a-41f7-a162-34bb94bf43d7
! Z% o/ M6 P6 C  S4 y8 M
) J* @2 ~% z) c: X      osd id                    27
% k% o* e% a6 A: S$ z. a4 h: a; j: A; [" V1 W1 s8 `
      osdspec affinity          None
% }* ?+ W% v& P6 B1 Y0 z  h& `& ]
      type                      block
& r# l$ w- Y7 d/ S) N$ h- O/ n# ^  {
      vdo                       0: Y8 ~1 K. B2 X# P% W

+ E" j% |  t, n9 J* O      devices                   /dev/sdc  r  k+ O, s% f# i7 k
7 ], q  K! T1 h1 D" b& @
3 ?7 G( W  [) q& f- t8 ~
! L; |9 \8 Q4 T2 x2 j0 j/ x
====== osd.29 ======: i( E) |4 v- `- e% q& v1 P
0 }* x- o  n8 b/ Z/ g) d0 M5 y6 \

1 z/ d9 E1 m1 N% Z9 h  w" z1 `$ t) I6 n! Q8 A3 R
  [block]       /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f
/ ^- F8 Q1 ]- d
- a9 [0 Z+ H( @' r4 }$ u
: ]' A8 r# ]# T) F# {& X$ l/ F: X/ M+ h/ j
      block device              /dev/ceph-64c8725f-bdfd-4968-9f9c-8d212f0fc336/osd-block-8f39ebbf-9cba-4c32-a807-c2628ca2bd1f
: I  K( E* `  O: F  W, a7 R! c
      block uuid                lOTPQt-Hjix-1NWb-ur7n-yXCL-xxMp-U8a7tf0 V; L+ ?1 |: C) g  S' n
% v' b9 i3 }' Q$ ]9 w2 m
      cephx lockbox secret      
9 \1 }9 o8 A' x& s# I0 |0 g7 W  R: B: X- S# q
      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9# l8 t( ]& ^. [+ Y8 J! Z1 \
, Q: g$ f0 [# j5 w( Y8 @
      cluster name              ceph
/ N5 T! H1 {6 k3 A
6 }* H* S$ l9 ~# ]1 E  Z      crush device class        5 c: g; M( c2 s' y

# [7 W+ `2 ]1 z+ C0 m      encrypted                 0. G# ?8 n) b% B2 v& X; T
4 Y5 p! Q+ f! F2 P! ?1 }+ D. H
      osd fsid                  8f39ebbf-9cba-4c32-a807-c2628ca2bd1f
* V! R$ w3 n) ?: X& H5 k2 ?0 n5 r6 Y! F0 {: m/ ?
      osd id                    299 N* ]% t' e/ d% l  @$ i
* v5 U: I; n1 n6 W& d, f: t+ t
      osdspec affinity          None# b) i; T" P9 x: m9 I# v! L+ H( g

! o( }( t; G) F# B1 G      type                      block
9 V; U( p! v! p7 a
" ?4 f/ Z; s; v( ?& [      vdo                       0: u+ I) H6 e8 c6 {* l
" X7 R% Z& T1 J! Y# f
      devices                   /dev/sdd" ~1 A1 L) t8 _5 p: X  X: ?

" o  I5 U( {% h: \4 m, u" o. m
, g- o/ r6 }& r0 X" P
8 h7 J' F& y8 ?# k: j# R====== osd.4 =======
- M: Z1 P) Q& U8 o
7 L, ^0 D5 r9 S/ `* _/ g7 q5 i9 c" B; [0 R

2 p) w$ ~: T5 w- Y8 _' k  l# H  [block]       /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f474 z6 Y4 {8 ~0 v

5 R6 s, B) T% l% q: |- I0 [0 M5 A$ q9 f, t6 ~4 y$ D" v

' H, E* t# d9 Z6 |$ w      block device              /dev/ceph-302f6a8d-d98d-4d4a-b049-d0d2374de24f/osd-block-1fd96d27-1fb1-4061-b700-5fc0c72e5f47
" \0 F/ ]& P3 R6 o$ ^# L' }6 G& j$ l8 k3 D! A2 }. f+ T9 p1 S
      block uuid                reOm7n-vELk-Cqd2-IXXV-K1qH-luJn-RfXSOE% H4 d0 v) U( L2 N
8 |- o3 i7 l2 z' V/ t% [1 a# C
      cephx lockbox secret      
2 j0 O3 G/ R( q9 e0 X1 J
9 |1 h% z4 x* t4 ]      cluster fsid              ce68aab8-8f46-11ed-88c0-ac1f6b3a30b9
/ J$ y' {6 Y3 S/ i8 K+ h" Z  x+ l" U
      cluster name              ceph  X" z0 r% m. Y* C; i  x) r6 l8 `9 p- o

. x3 l$ n( i( M: @      crush device class        
2 g& U9 p9 }) h- o" }5 R* ]. F( d$ l7 W2 ?6 K* z$ F- `* P5 g! S
      encrypted                 0
( i" \. z7 g/ W- ]9 e8 P9 @, w  Y: f
      osd fsid                  1fd96d27-1fb1-4061-b700-5fc0c72e5f476 r( ?9 r4 R: |5 T" w/ D

# I3 t8 \5 k- G* Q  M5 d3 K      osd id                    4/ H' I5 h& F$ Y1 _. W+ E

8 V# I& P2 A0 x      osdspec affinity          None
% k5 y# {* G" Y. U& Y0 Y8 W8 J* p; ?" T6 z( l8 m, B* V
      type                      block
, s. y1 Q3 W! N# N- Z2 {4 z  F* L, |" m4 v
      vdo                       0- {8 O/ f% ^' }9 e* O* P3 x

' e! v5 L- l0 _  ^. e: I: o. D6 b6 I      devices                   /dev/sde) w; R! s( I4 i, y! |* j
, z* i* @, p/ }" w/ n7 D( }
root@gm268-5 10:53:27 ~
, H/ f2 I& E7 W6 S# G  O2 l4 K8 T: b) G% b* O7 [

# v+ b; \* [% E2 a& T* H/ W0 M4 b2 a0 i5 {4 r8 Y; ]/ C" u% G
$ ceph orch daemon add osd gm268-5:/dev/sdg' n  q8 M0 U! ~$ I

- y5 r1 x8 l9 L( [  W7 `  C! x& ^( B1 N# G3 }* g! r" t# E
Created osd(s) 28 on host 'gm268-5'
4 D5 R2 D0 c1 y$ b2 ?: R! C# sroot@gm268-1 10:57:24 ~4 [6 I* V9 V" v- _" A
$ ceph osd tree / b- {. f! p. R, |' [
ID   CLASS  WEIGHT     TYPE NAME         STATUS  REWEIGHT  PRI-AFF. v9 ^% T! T( c  e5 G( Q+ K& G- D. l
-1         596.66431  root default                               7 V  O7 e! C" U. J( v, C* t+ X
-3         101.87065      host gm268-1                           
% E+ @' c$ x9 S8 n# @- h  0    hdd   14.55269          osd.0         up   1.00000  1.00000
. K$ d, e) h- S+ z  5    hdd   14.55299          osd.5         up   1.00000  1.00000
$ S$ N  W. b; J  6    hdd   14.55299          osd.6         up   1.00000  1.00000
, o1 @" S9 j5 M  7    hdd   14.55299          osd.7         up   1.00000  1.00000; q& T! ~% u- N: a# Q. V6 }
  8    hdd   14.55299          osd.8         up   1.00000  1.00000
/ Q3 t3 ^1 r. D( f# X, s  9    hdd   14.55299          osd.9         up   1.00000  1.00000
% e/ R) s! N9 } 30    hdd   14.55299          osd.30        up   1.00000  1.00000
# B0 G  `- p! I6 d5 r2 l/ T% H -5         101.86900      host gm268-2                           
- F; [& N1 V# }# ], l' h  1    hdd   14.55299          osd.1         up   1.00000  1.00000/ D2 H0 y$ C0 i2 i: l/ ]
10    hdd   14.55299          osd.10        up   1.00000  1.00000, i8 [6 l0 C+ I
11    hdd   14.55299          osd.11        up   1.00000  1.00000
; I, A& H: ]( @) i8 j' J$ X0 M 12    hdd   14.55299          osd.12        up   1.00000  1.000009 H* T* i9 @, Y5 t; s
13    hdd   14.55299          osd.13        up   1.00000  1.00000/ p- H7 p/ @7 H! ?2 h( y$ T6 F
14    hdd   14.55299          osd.14        up   1.00000  1.00000* V3 g$ X5 I: I+ O4 g
31    hdd   14.55299          osd.31        up   1.00000  1.00000
' t0 _: Z& {5 Y0 ], k$ m  l$ o -7         101.86900      host gm268-3                           
- ]4 {% B) f5 L$ `' Y) [7 ^& p  2    hdd   14.55299          osd.2         up   1.00000  1.00000
0 J4 H, g. h/ ^4 j& i3 Y 15    hdd   14.55299          osd.15        up   1.00000  1.00000) P) {6 V, A3 j3 \9 f5 Y6 f/ C
16    hdd   14.55299          osd.16        up   1.00000  1.00000
! ?$ ]  H8 ~, h! [2 v  D 17    hdd   14.55299          osd.17        up   1.00000  1.00000  z2 s' ]" f) |% v
18    hdd   14.55299          osd.18        up   1.00000  1.00000
+ O7 ~/ |$ p* Z9 D0 `4 p2 `4 B 19    hdd   14.55299          osd.19        up   1.00000  1.00000' P) C: _; k, Z  r8 R1 I0 ^: X
32    hdd   14.55299          osd.32        up   1.00000  1.000000 l$ n: K8 \- v
-9         101.86900      host gm268-4                           ' X) g- m7 G% m% _. j+ |; ]. [
  3    hdd   14.55299          osd.3         up   1.00000  1.00000
! ~. @2 g7 ~. D3 @- N 20    hdd   14.55299          osd.20        up   1.00000  1.000001 n' O! o5 u' ~; l
21    hdd   14.55299          osd.21        up   1.00000  1.000000 v1 G0 X; F. a$ H( f( `7 C6 X; y8 R
22    hdd   14.55299          osd.22        up   1.00000  1.00000% d5 m4 ~- o9 P% i1 v* v
23    hdd   14.55299          osd.23        up   1.00000  1.000003 G# F' z7 W: A& O) l
24    hdd   14.55299          osd.24        up   1.00000  1.00000" K( ?$ m* e+ s1 c- H; C2 F
33    hdd   14.55299          osd.33        up   1.00000  1.00000
) L- b% J" ^5 i8 j6 a# M-11          87.31766      host gm268-5                           8 S# \( g2 x* a$ l
  4    hdd   14.55299          osd.4         up   1.00000  1.00000
0 g* R! d& A* o$ B' q: K 25    hdd   14.55299          osd.25        up   1.00000  1.00000" O6 \( u* r+ F/ Y/ E
26    hdd   14.55299          osd.26        up   1.00000  1.00000  A0 E6 V9 q0 Q$ j( t
27    hdd   14.55299          osd.27        up   1.00000  1.00000% _% p+ x6 B6 P6 M
28    hdd   14.55269          osd.28        up   1.00000  1.00000
) z; n% g" X+ T# p$ @& {2 ^: ^0 _ 29    hdd   14.55299          osd.29        up   1.00000  1.00000# _7 n# P8 B4 V0 C: P* \# R& w+ v
-13         101.86900      host tp266-1                           2 F0 ?; F* M1 Q3 X. z/ O% @
34    hdd   14.55299          osd.34        up   1.00000  1.000000 S0 S/ e5 ~/ L8 o
35    hdd   14.55299          osd.35        up   1.00000  1.00000; d& \* H& R& ?! ~1 T1 P
36    hdd   14.55299          osd.36        up   1.00000  1.00000: [8 ~  r5 {+ c# x; x4 U/ s/ ^
37    hdd   14.55299          osd.37        up   1.00000  1.00000( `4 L9 F7 Q) W# {
38    hdd   14.55299          osd.38        up   1.00000  1.00000
, D5 Q% Z0 t" K1 _% t" b5 E 39    hdd   14.55299          osd.39        up   1.00000  1.00000
1 v7 i/ H  v0 C5 R/ ]' _ 40    hdd   14.55299          osd.40        up   1.00000  1.00000, G, ]5 N9 R+ P* _

, e0 w. i5 ?& j! s6 h
2 R) e" {' t' v9 ]% }
回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-11 23:05 , Processed in 0.015754 second(s), 22 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表