ceph 下osd删除过程记录清除集群

admin

systemctl stop ceph-osd@4.service
systemctl |grep osd
* R5 {9 N2 Q1 e4 K: e! Esystemctl status ceph-osd*
" J5 t& i: M3 M( _  e3 L
9 n) y  L8 n1 |7 b) \/ i[root@controller deploy]# ceph osd tree
# C2 S' y6 t  i) b" E4 A& c  EID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF
# I% t5 ~+ v# v9 p-1       0.05875 root default                                
-3       0.05875     host controller                        
0   hdd 0.00200         osd.0           up  1.00000 1.00000
$ k, j8 j8 y# }! P5 Q 1   hdd 0.00099         osd.1           up  1.00000 1.00000
7 B" c. X5 z! T6 q 2   hdd 0.01859         osd.2           up  1.00000 1.00000
3   hdd 0.01859         osd.3           up  1.00000 1.00000
4   hdd 0.01859         osd.4         down  1.00000 1.00000
" z' B) X9 ^+ h3 ]  j[root@controller deploy]# systemctl stop ceph-osd@3.service
[root@controller deploy]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF
-1       0.05875 root default                                
  J; S* Y. y: @: q( R5 q; T-3       0.05875     host controller                        
. x0 \7 D% z/ x# c2 e+ ~- z 0   hdd 0.00200         osd.0           up  1.00000 1.00000
1   hdd 0.00099         osd.1           up  1.00000 1.00000
1 z8 k# r1 j; L4 J$ E! e 2   hdd 0.01859         osd.2           up  1.00000 1.00000
) D) c9 L7 T3 o/ x3 m2 Y; z  a- L9 i 3   hdd 0.01859         osd.3         down  1.00000 1.00000
4   hdd 0.01859         osd.4         down  1.00000 1.00000

[root@controller deploy]# ceph osd out osd.4
4 H- D3 V. M$ a7 I2 Z" \- C, _marked out osd.4.
[root@controller deploy]# ceph osd tree
+ f5 D3 Q2 b4 ~: B) F% rID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF
-1       0.05875 root default                                
-3       0.05875     host controller                        
) q7 y. ^; z3 k/ s 0   hdd 0.00200         osd.0           up  1.00000 1.00000
. e0 Q; o6 f' Y" b; d2 v- j 1   hdd 0.00099         osd.1           up  1.00000 1.00000
. p' {# G' t+ S! M* L 2   hdd 0.01859         osd.2           up  1.00000 1.00000
# C9 R4 X. E) C! ^$ T( v: Q 3   hdd 0.01859         osd.3         down  1.00000 1.00000
* q6 V& e: ]8 p! R1 z* y- B# { 4   hdd 0.01859         osd.4         down        0 1.00000
4 L% Y8 I2 D( h[root@controller deploy]# ceph osd out osd.3
marked out osd.3.
' F3 g/ I+ c5 u) k4 J[root@controller deploy]# ceph osd tree
. o/ i# h* z( Z1 @$ MID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF
7 s4 p; E9 p0 u, \-1       0.05875 root default                                
. L' |# D9 p6 O9 h) z3 Z-3       0.05875     host controller                        
0   hdd 0.00200         osd.0           up  1.00000 1.00000
2 j9 l% B& G3 F, v4 g 1   hdd 0.00099         osd.1           up  1.00000 1.00000
2   hdd 0.01859         osd.2           up  1.00000 1.00000
* y6 c0 k/ P" i 3   hdd 0.01859         osd.3         down        0 1.00000
7 Y" ~4 k6 d  B0 ]( t8 ~ 4   hdd 0.01859         osd.4         down        0 1.00000

[root@controller deploy]# ceph osd crush remove osd.4
* \9 R+ T" x4 a8 m- L% ~" M$ Tremoved item id 4 name 'osd.4' from crush map
4 T3 D# H( B) J& W3 A$ d5 }
[root@controller deploy]# ceph auth del osd.4
: p5 q5 A1 I9 `$ ?" g6 Kupdated

9 j' u1 M( K: Q! s% d! ~5 u! h[root@controller deploy]# ceph osd tree
) u2 H, ]) M- Y7 x  ^ID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF
-1       0.04016 root default                                
-3       0.04016     host controller                        
0   hdd 0.00200         osd.0           up  1.00000 1.00000
* s+ I9 }* x2 b, v8 S4 H; q4 b 1   hdd 0.00099         osd.1           up  1.00000 1.00000
2   hdd 0.01859         osd.2           up  1.00000 1.00000
3   hdd 0.01859         osd.3         down        0 1.00000
% ^+ l  J) @* }! O- k: @$ _ 4             0 osd.4                 down        0 1.00000
4 k- k& S0 {9 G# n+ i

[root@controller deploy]# ceph osd rm osd.4
removed osd.4


[root@controller deploy]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF
$ e$ s0 o/ g) H" M$ b: y-1       0.04016 root default                                
-3       0.04016     host controller                        
0   hdd 0.00200         osd.0           up  1.00000 1.00000
6 C- Z# H3 J3 ` 1   hdd 0.00099         osd.1           up  1.00000 1.00000
* k: Z+ j6 {2 h- _2 M; F. ~. L 2   hdd 0.01859         osd.2           up  1.00000 1.00000
* p. c7 H+ {  Y9 r$ u3 ~  A3 ^ 3   hdd 0.01859         osd.3         down        0 1.00000
[root@controller deploy]# ceph osd crush remove osd.3
0 _) i. f9 X6 K  A# vremoved item id 3 name 'osd.3' from crush map
4 S* R3 m, L8 Z/ [& O% m& G
) d* x" e3 u0 W: h[root@controller deploy]# ceph -s
  cluster:
9 Y3 `3 s  t+ G4 L4 b) o" I    id:     b0657efa-ec62-452d-8354-9c8f3dde3703
    health: HEALTH_OK
4 v/ f4 j4 F5 o. l2 D
% }# v8 u, n6 B  services:
    mon: 1 daemons, quorum controller (age 16m)
    mgr: controller(active, since 17h)
    osd: 4 osds: 3 up (since 4m), 3 in (since 3m)

  V# Y* u6 l* H! B7 M  data:
, o3 I5 _* y+ c% y    pools:   0 pools, 0 pgs
2 f$ D8 A$ F+ J# b: [/ A5 `( W    objects: 0 objects, 0 B
    usage:   2.4 GiB used, 20 GiB / 22 GiB avail
    pgs:     

8 I' ?" [8 p4 [[root@controller deploy]# ceph osd tree
. s! z8 t) ^5 t' T5 P  mID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF
-1       0.02158 root default                                
-3       0.02158     host controller                        
$ h' ]6 [4 O  A# K2 G 0   hdd 0.00200         osd.0           up  1.00000 1.00000
1   hdd 0.00099         osd.1           up  1.00000 1.00000
% F/ P( N# s: B 2   hdd 0.01859         osd.2           up  1.00000 1.00000
" [' g; w- S" f! i) n! X 3             0 osd.3                 down        0 1.00000
4 x. r9 J. |. s$ T5 Q# W$ t9 |
[root@controller deploy]# ceph auth del osd.3
1 p0 ]3 h" ^. w3 k* aupdated

. C/ ^  l3 \( F  E% L( b0 t
! \( I3 W4 [1 e[root@controller deploy]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF
& D$ d* p" \3 T-1       0.02158 root default                                
-3       0.02158     host controller                        
0   hdd 0.00200         osd.0           up  1.00000 1.00000
& U) B1 Q) C( D/ h 1   hdd 0.00099         osd.1           up  1.00000 1.00000
2   hdd 0.01859         osd.2           up  1.00000 1.00000
3             0 osd.3                 down        0 1.00000
, S& [. A# X+ L, X
+ R* k- S2 H& j% a: j
[root@controller deploy]# ceph osd rm osd.3
removed osd.3

8 j+ w5 I" r6 X9 A. }; J. W
: @( ]. R9 v& M+ U/ m) _$ x' D[root@controller deploy]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF
0 Q+ {0 ?* m$ x) s-1       0.02158 root default                                
, n0 W/ d' z; Q( |-3       0.02158     host controller                        
0   hdd 0.00200         osd.0           up  1.00000 1.00000
1   hdd 0.00099         osd.1           up  1.00000 1.00000
9 P& B; Z$ O& y# ?2 D, T 2   hdd 0.01859         osd.2           up  1.00000 1.00000
( d# t% f+ {1 q/ i# \1 \
清楚集群
删除系统的pv和vg和lv
/ I: n- M. g1 n
2 ]6 Y+ U! p  \% s$ I
! G5 t0 c9 f" E+ S3 @. L
, ^0 }- I1 s7 f7 ~* n+ r5 ?) n

admin

for i in `vgscan |grep ceph |awk -F "\"" '{print $2}'` ;do vgremove $i;done
+ G3 @; D" A( t/ U$ K; o
5 j: f/ M. E. g( Q  k& j" Q4 ]
for i in {b..k};do pvremove /dev/sd$i;done