找回密码
 注册
查看: 3919|回复: 1

ceph 下osd删除过程记录清除集群

[复制链接]

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
发表于 2021-4-21 14:00:05 | 显示全部楼层 |阅读模式
systemctl stop ceph-osd@4.service
- X4 o2 X$ `& B7 V systemctl |grep osd
6 L0 ~0 V  E$ {) Z% W4 usystemctl status ceph-osd*
. W2 }; I) m/ a' B# A2 b& ]* m: _( |* @4 t* B
[root@controller deploy]# ceph osd tree8 c# E& c5 D  d# t' P1 v
ID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF ' E, }. u# s, X6 ^' b& h
-1       0.05875 root default                                ( @5 J" U" D- L' q" ]) `
-3       0.05875     host controller                        
% X1 Q# J1 Y' k1 g 0   hdd 0.00200         osd.0           up  1.00000 1.00000
1 r. ~9 |- {/ C4 p( ~( t8 P4 F/ J 1   hdd 0.00099         osd.1           up  1.00000 1.00000
9 g% R: J; C! j 2   hdd 0.01859         osd.2           up  1.00000 1.00000 7 Y/ Y6 c. f: G: b
3   hdd 0.01859         osd.3           up  1.00000 1.00000
9 B2 Y1 `7 y1 Q  V6 C. L# Z 4   hdd 0.01859         osd.4         down  1.00000 1.00000
& Y: t$ Y4 G) }9 X  M[root@controller deploy]# systemctl stop ceph-osd@3.service3 G- n; R. K8 R5 h/ ^" g. S7 E
[root@controller deploy]# ceph osd tree
) q) p0 u8 X1 T9 |8 zID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF ) c/ t! R0 l& {' e
-1       0.05875 root default                                8 E7 I$ E; `5 n4 ~
-3       0.05875     host controller                         + c1 X+ r& l7 }3 {! m5 L" o+ Y
0   hdd 0.00200         osd.0           up  1.00000 1.00000
2 A$ b: V2 x& s. y* G$ V 1   hdd 0.00099         osd.1           up  1.00000 1.00000 % `4 @0 }8 G% A! w1 }
2   hdd 0.01859         osd.2           up  1.00000 1.00000
  K: [8 H% `( T6 {1 [: d) Q 3   hdd 0.01859         osd.3         down  1.00000 1.00000
( L# a1 F: @3 k 4   hdd 0.01859         osd.4         down  1.00000 1.00000 " g# x: F; _1 X$ x0 |" P* C. h& `

0 K2 O( q4 C* F[root@controller deploy]# ceph osd out osd.4
. Q6 ^5 n, C4 ~; _) Omarked out osd.4.
/ e; ^: @$ \* f! C' E1 Y: p! ?6 P[root@controller deploy]# ceph osd tree
2 r0 N  o" c. _/ `4 DID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF % [' O; {) @1 ~+ V7 \3 O9 M: o/ Y
-1       0.05875 root default                                  l$ C# F6 i* o, U% a& K4 U" O
-3       0.05875     host controller                         9 J6 h" t! ~% M1 l% @3 r
0   hdd 0.00200         osd.0           up  1.00000 1.00000   N# c( k8 ?* w# t) l
1   hdd 0.00099         osd.1           up  1.00000 1.00000 1 Q4 N) K5 C' `' Y2 f+ K
2   hdd 0.01859         osd.2           up  1.00000 1.00000
6 R$ |+ A! [9 A7 a9 d* w8 v 3   hdd 0.01859         osd.3         down  1.00000 1.00000
& Z2 Y! z, I% \5 X7 x; Y* O 4   hdd 0.01859         osd.4         down        0 1.00000
" l+ Z/ s; ?& {; F- S. ~' s[root@controller deploy]# ceph osd out osd.3& ]3 j& v+ Q$ t
marked out osd.3.
& M3 A: |- S9 H[root@controller deploy]# ceph osd tree7 u0 B: V! U* V9 q
ID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF 5 u. {6 o" x1 a' j8 T
-1       0.05875 root default                                
  i( h0 a1 ^4 V4 Y! q+ \8 A. k1 _-3       0.05875     host controller                         4 f; C2 f  c: {' w' B' j3 I; m
0   hdd 0.00200         osd.0           up  1.00000 1.00000 + j5 t9 k1 E7 t# |9 K
1   hdd 0.00099         osd.1           up  1.00000 1.00000
. F" a2 y/ ?) }8 b 2   hdd 0.01859         osd.2           up  1.00000 1.00000
9 ]$ [7 C) J9 h5 `2 ^$ L 3   hdd 0.01859         osd.3         down        0 1.00000 & I, Z. w% o9 \: Q
4   hdd 0.01859         osd.4         down        0 1.00000 , x" j  t3 U" v- |- \8 `

" Q/ t; B- C0 h/ K! Y: _. k" L  P7 W' t[root@controller deploy]# ceph osd crush remove osd.4$ m( V& J" |# E
removed item id 4 name 'osd.4' from crush map
  h, V8 n2 I5 J- ^- W( U2 M
; T6 K7 q' B  Q[root@controller deploy]# ceph auth del osd.4
( @; {" R% c) ?4 lupdated
) B8 b: ^+ _& a/ r6 S. k- b$ z. p6 P, Q" s
[root@controller deploy]# ceph osd tree! p0 y0 v; p. l
ID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF - ?8 `8 N3 c3 C( e2 ]# G
-1       0.04016 root default                                
9 v9 \' l0 X" {-3       0.04016     host controller                           r. ]- w4 T6 z/ \; n1 t
0   hdd 0.00200         osd.0           up  1.00000 1.00000
) u4 Q. L2 o: T* Y 1   hdd 0.00099         osd.1           up  1.00000 1.00000
" h; a! m' @0 l5 Z* | 2   hdd 0.01859         osd.2           up  1.00000 1.00000
; a. G( Q5 ~+ W' O 3   hdd 0.01859         osd.3         down        0 1.00000
5 E& q' w  k7 ?5 s% w# x 4             0 osd.4                 down        0 1.00000
! ?6 b- R2 w3 A) d* j6 }
# o# W% R( U; |, q1 _- Q) X% |8 t  B1 T( N0 H' V/ T* l
[root@controller deploy]# ceph osd rm osd.4
7 }- [2 F- W: c8 n, ^9 Uremoved osd.4/ y7 p/ P* u. m

3 u# b8 Z+ x2 ~- @2 s% H4 g) k, Y+ l
[root@controller deploy]# ceph osd tree
' j/ m1 t; v( EID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF " {) p/ h/ I' H/ p
-1       0.04016 root default                                
% f1 T9 Y( ?3 E$ T" V-3       0.04016     host controller                         ) u8 `; v/ J4 }5 y. Q1 W
0   hdd 0.00200         osd.0           up  1.00000 1.00000
; d: `; w3 M6 K0 U! y* u- F 1   hdd 0.00099         osd.1           up  1.00000 1.00000 $ h  Y3 y5 d, I! ~7 o' U
2   hdd 0.01859         osd.2           up  1.00000 1.00000 6 ^, t3 ^" P9 w$ k! E: F8 d
3   hdd 0.01859         osd.3         down        0 1.00000
5 l5 P$ a. H. C0 U[root@controller deploy]# ceph osd crush remove osd.35 d0 K* _& {! F1 F/ j. Z
removed item id 3 name 'osd.3' from crush map. z) Z. H2 B5 l# n
; W+ n, E) j& a8 J! y  s
[root@controller deploy]# ceph -s
4 ?5 o( \; M: L: C$ ?4 x) }- s7 A8 Z- N  cluster:
% n$ g" x+ x$ A7 [4 f% x! U    id:     b0657efa-ec62-452d-8354-9c8f3dde37038 [  W% e/ ?  @- c
    health: HEALTH_OK
- m7 x( Q7 C% b% f5 ?
: M( d% I" F% N8 Y: ]; a+ e! y  services:3 F( e, C4 q& m/ o
    mon: 1 daemons, quorum controller (age 16m): y* X# M6 {" \, k" B: F2 t3 [
    mgr: controller(active, since 17h): j! T  f& [# e/ W6 E5 E
    osd: 4 osds: 3 up (since 4m), 3 in (since 3m)/ @  Y' J, Z5 z4 E$ Y: X( k4 [

% K  a" [! K9 x4 d  data:2 O" D9 D' E4 ?: e1 d
    pools:   0 pools, 0 pgs& }$ S" v* x+ L# M
    objects: 0 objects, 0 B/ n1 L' z$ }. w4 z6 F
    usage:   2.4 GiB used, 20 GiB / 22 GiB avail+ q5 `5 i( P6 a+ ^6 e
    pgs:     
( ?7 w: ?  w9 f5 K
2 r# R  p7 p4 L' k0 k  I3 J" j[root@controller deploy]# ceph osd tree
# R1 }, s* r% T5 s4 m+ ~3 [0 LID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF 6 J6 n* @  u, T# O; O
-1       0.02158 root default                                
7 z) h; m3 m; p3 Z1 S9 G-3       0.02158     host controller                         6 H* \9 u6 f  S; @9 d, x
0   hdd 0.00200         osd.0           up  1.00000 1.00000
9 q9 h3 q8 c4 f2 `* v3 g4 _ 1   hdd 0.00099         osd.1           up  1.00000 1.00000 5 C$ X9 _; A$ w7 n# x4 |/ Z5 E9 j
2   hdd 0.01859         osd.2           up  1.00000 1.00000
, q+ L( S" l4 S* c 3             0 osd.3                 down        0 1.00000
9 k  B2 B4 w' b4 d
; X) y1 m, y2 n% X  h  D9 J- t: ?[root@controller deploy]# ceph auth del osd.3/ Z, T- i' I7 j6 V) j$ B  R/ ~# l
updated* z, ~  N8 T( h  l- E( \
: K) i6 ?  o6 x' b, G8 _
8 Z' }% Q% J2 c& r
[root@controller deploy]# ceph osd tree
3 b9 k" p1 c& i6 l8 x* `) ?ID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF $ o/ j) @# J$ g+ m5 Q  ?
-1       0.02158 root default                                
8 H1 h" ^6 m) Q2 T4 H, N/ q-3       0.02158     host controller                         + t" Z" C# C# r8 u
0   hdd 0.00200         osd.0           up  1.00000 1.00000 ! S8 z& f  B# t" R, i* T7 B, Z- C
1   hdd 0.00099         osd.1           up  1.00000 1.00000 4 R4 u9 R6 s1 p8 k
2   hdd 0.01859         osd.2           up  1.00000 1.00000 . I! b/ ]# ]+ D; H5 ]. L
3             0 osd.3                 down        0 1.00000 $ I2 @( S- o7 d: p0 P, E, N

* I3 M) b5 ?/ e& I: {* G; |3 x4 H$ D# ?4 }, Z& _  O! m/ _: x
[root@controller deploy]# ceph osd rm osd.3  g: D% t1 U. I+ Y
removed osd.3
; {2 o; z& o: d# _$ f
7 }8 \* _3 G# W- ?
9 {, R) [: K# o. U. U. y5 L[root@controller deploy]# ceph osd tree
/ u. k& ?7 e. j0 q9 A& uID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF
) s- J, G9 t1 {7 k# U5 A-1       0.02158 root default                                  i4 |' X5 T" w7 l% y& b
-3       0.02158     host controller                         8 m, @1 A! i1 H# E7 F/ d) ?
0   hdd 0.00200         osd.0           up  1.00000 1.00000
0 J3 p; C( e1 r  X1 \: H& F' U 1   hdd 0.00099         osd.1           up  1.00000 1.00000
$ t7 \2 P' |0 \9 o! @8 Y 2   hdd 0.01859         osd.2           up  1.00000 1.00000
$ ?- T$ X' |+ a( t- \& K
4 u/ l4 @. ~: S% P. l5 ^清楚集群6 C1 C* m! v% u* ?9 [, }
删除系统的pv和vg和lv
4 ?' F4 B  i8 R0 I' ^. v7 C- ]6 @% L1 O. w( y
( }+ `9 y+ i. O8 M

' y# ?) F; r: k$ O3 f- l) t% ]2 H

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2021-4-21 14:15:55 | 显示全部楼层
for i in `vgscan |grep ceph |awk -F "\"" '{print $2}'` ;do vgremove $i;done& Q, V5 K! B4 O" l, L

7 F: h& @6 g9 p) j) |
5 ]( K0 g" [5 |( Q5 Q4 K7 a( n# L9 L; Gfor i in {b..k};do pvremove /dev/sd$i;done
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-12 00:06 , Processed in 0.018756 second(s), 23 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表