浏览此站
联系我们相册切换到窄版 Language

 找回密码
 注册
易陆发现论坛»论坛 › 云计算开源区 › ceph分布式存储 › ceph 下osd删除过程记录清除集群
返回列表 发新帖
查看: 3920|回复: 1

ceph 下osd删除过程记录清除集群

[复制链接]
admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
发表于 2021-4-21 14:00:05 | 显示全部楼层 |阅读模式
systemctl stop ceph-osd@4.service
& L# V0 c6 n: A systemctl |grep osd
, P0 Z, ]9 U, t* r: H- l! D( O4 Isystemctl status ceph-osd** O5 q$ C! H& N7 h; z0 n* K) ^. B
6 i% r8 V4 ~5 L7 l+ O/ O
[root@controller deploy]# ceph osd tree6 s3 Z9 w) w/ p/ ~
ID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF
% ^7 U% C+ t# K" z- y-1       0.05875 root default                                
/ h$ K: U) c1 R-3       0.05875     host controller                         * c( c3 [- h) u0 |" S% B
0   hdd 0.00200         osd.0           up  1.00000 1.00000
& \  J( J2 |" z5 O# { 1   hdd 0.00099         osd.1           up  1.00000 1.00000 6 k0 M8 D4 P$ q! `. o0 }* s2 D
2   hdd 0.01859         osd.2           up  1.00000 1.00000 ( Z: Z) d* j, R+ A
3   hdd 0.01859         osd.3           up  1.00000 1.00000
+ `" {6 O  c% U5 R, [ 4   hdd 0.01859         osd.4         down  1.00000 1.00000
, q/ {. {* S9 m  ~( v; s[root@controller deploy]# systemctl stop ceph-osd@3.service
, `, Z- Q! c5 V7 r% Y[root@controller deploy]# ceph osd tree
5 J+ X3 r: w! v, N" t- V2 P* dID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF : {9 S& L# i4 w! u
-1       0.05875 root default                                9 W! x+ ^  W! V& f: l5 ?
-3       0.05875     host controller                         . C  \* j* M9 W1 o
0   hdd 0.00200         osd.0           up  1.00000 1.00000
6 @( o* G* }: L1 H, q) ? 1   hdd 0.00099         osd.1           up  1.00000 1.00000 & u1 j) ^% e- r+ `
2   hdd 0.01859         osd.2           up  1.00000 1.00000
6 F/ p; s( _6 D! s8 L8 w% |% Z 3   hdd 0.01859         osd.3         down  1.00000 1.00000
2 ?3 G  i) {9 m8 [/ p5 T 4   hdd 0.01859         osd.4         down  1.00000 1.00000 : d4 o* S- H" l/ g! Z- \

# E4 S$ @9 o9 y: p7 U# K[root@controller deploy]# ceph osd out osd.4
+ }- h, T# o) k6 V- Y9 ]6 Lmarked out osd.4.
" }( d) t- `! P[root@controller deploy]# ceph osd tree
1 |* v0 K# |- H9 H, K6 ~' c/ z$ CID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF 8 U  @  _4 x/ l' O+ U4 S. r; U0 _
-1       0.05875 root default                                
0 o1 a" j  A% Z( N& y-3       0.05875     host controller                        
' X& [8 ^# R; {9 w' d+ | 0   hdd 0.00200         osd.0           up  1.00000 1.00000
6 o0 t: }0 g' t2 f8 c' U$ s% y5 Z 1   hdd 0.00099         osd.1           up  1.00000 1.00000
& c; E; a: C) h+ q! ] 2   hdd 0.01859         osd.2           up  1.00000 1.00000 / p  \6 {7 |: Q
3   hdd 0.01859         osd.3         down  1.00000 1.00000 2 c- l' M7 T" W7 V. U  i
4   hdd 0.01859         osd.4         down        0 1.00000 & ^- ~9 X/ j/ [8 v$ I5 Z
[root@controller deploy]# ceph osd out osd.3
5 U% [7 e: \+ Z! b  \1 xmarked out osd.3. $ @, X, U& r9 h( ~8 q1 T
[root@controller deploy]# ceph osd tree5 \, @) r5 F- ^1 G/ t, b
ID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF
: }. t0 G  g# |/ V* R& W-1       0.05875 root default                                
+ o5 O, q- G, t" s6 D-3       0.05875     host controller                        
# w% w9 c% }8 s' t5 }- _ 0   hdd 0.00200         osd.0           up  1.00000 1.00000
! m; D6 x6 j- S7 o) d7 d# i 1   hdd 0.00099         osd.1           up  1.00000 1.00000 ' A5 C# P4 T. Q! o: B: v
2   hdd 0.01859         osd.2           up  1.00000 1.00000
* c- D* X/ T; {9 A; C( A4 H; {) o 3   hdd 0.01859         osd.3         down        0 1.00000 / y. s# N" T, B- @
4   hdd 0.01859         osd.4         down        0 1.00000 5 A/ c2 J( j  w% ]4 \
6 r2 b  W* u# D4 P$ B
[root@controller deploy]# ceph osd crush remove osd.4% t; d: ^4 V7 U8 y
removed item id 4 name 'osd.4' from crush map, K. N' L+ R' G7 @9 X+ w
6 }1 n' ~; ?% J
[root@controller deploy]# ceph auth del osd.40 V0 a- j% v$ G
updated9 X2 |) O' T; U' r2 Z
1 N3 o1 P. I7 i& ^
[root@controller deploy]# ceph osd tree5 ^& C% e6 J- I& x: d- _$ r, _
ID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF
6 i$ J3 {) _4 T6 A9 B8 t-1       0.04016 root default                                
1 ~3 I: p( e1 X5 S. q6 G& m/ i-3       0.04016     host controller                        
+ h" v5 W& I9 f 0   hdd 0.00200         osd.0           up  1.00000 1.00000
* H2 w0 Q4 ?% w: `0 ~ 1   hdd 0.00099         osd.1           up  1.00000 1.00000
% @1 p# I5 F- y% @; [2 n 2   hdd 0.01859         osd.2           up  1.00000 1.00000 $ E. x# X! h) A
3   hdd 0.01859         osd.3         down        0 1.00000 8 Y! m2 q; x3 b6 x$ q& W) G
4             0 osd.4                 down        0 1.00000 7 ?# y, N- J0 B5 i9 {
& C6 Y9 d$ i4 U6 D2 j
% v  g* l6 G1 T/ Z  G  b1 w, p) ?
[root@controller deploy]# ceph osd rm osd.4
" c! b6 b# v/ v) [removed osd.4
# v0 R' a% d9 ?8 I- O6 V) K* g0 o2 c5 c" T! X6 [0 ~+ ~

9 j7 Z- q+ e! r/ J5 q9 ][root@controller deploy]# ceph osd tree
& `, R% l( j- m8 w" ~. |ID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF
& \8 v( _$ @8 d% x5 H9 O' X-1       0.04016 root default                                
, p2 ]3 ?+ ?+ T( j  Q-3       0.04016     host controller                        
. A, ?! C( C% G  ? 0   hdd 0.00200         osd.0           up  1.00000 1.00000
# c+ r1 v" r- `% S 1   hdd 0.00099         osd.1           up  1.00000 1.00000 / o" a) T& s7 c4 R
2   hdd 0.01859         osd.2           up  1.00000 1.00000 * k$ D: O7 x3 u' v
3   hdd 0.01859         osd.3         down        0 1.00000 6 V2 k1 T# Z- L6 p+ p( r
[root@controller deploy]# ceph osd crush remove osd.31 }0 v9 k/ z( u( N) ^# @/ o1 f
removed item id 3 name 'osd.3' from crush map  @! L, w; ^1 W
% P$ e) D, s! T9 M9 ~/ x
[root@controller deploy]# ceph -s
1 m, J# `9 j4 a0 `  cluster:7 B& h: p1 {8 M4 Y0 w7 k/ i* Z0 ~
    id:     b0657efa-ec62-452d-8354-9c8f3dde3703
6 n$ ?" Y$ v/ H. V9 D    health: HEALTH_OK
6 R/ y! T2 [+ N% U8 M; ~& }
! r3 g6 n! B( M. d+ e  services:1 o- C; t* U  C' S5 M
    mon: 1 daemons, quorum controller (age 16m)/ T; m/ r. T2 E+ G
    mgr: controller(active, since 17h)
/ }' c3 N- U( V0 P# _/ F    osd: 4 osds: 3 up (since 4m), 3 in (since 3m)! _- U: k( O5 Q. L) {1 e

2 s' s  j2 ?6 _/ ~, c  data:
! ^5 h/ u* C0 O0 ~# W/ T    pools:   0 pools, 0 pgs
8 ]8 B$ e. D0 R) i1 u9 y6 P: W  v9 l    objects: 0 objects, 0 B
: _$ \) E4 M9 A    usage:   2.4 GiB used, 20 GiB / 22 GiB avail$ M0 K% f( S/ Y) R7 M0 n
    pgs:     % O( \# `1 v% \

6 ], S! G4 s- d  ]8 q" h! J[root@controller deploy]# ceph osd tree! y; K5 J& g5 J6 U. C' o$ O
ID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF ' G% K0 B$ f& d
-1       0.02158 root default                                
! C9 {4 `  `0 R! t6 P- K1 E# R-3       0.02158     host controller                        
( o# Y3 e6 S2 _* p6 L& b- q 0   hdd 0.00200         osd.0           up  1.00000 1.00000
: n+ K- Y8 U' U/ [/ [1 A 1   hdd 0.00099         osd.1           up  1.00000 1.00000 . ?+ N; d+ J0 O4 S0 I
2   hdd 0.01859         osd.2           up  1.00000 1.00000 3 ]- A) e, f$ N3 k
3             0 osd.3                 down        0 1.00000
/ @) |( i5 Q: M) v) Z
$ b5 V( d0 L9 g3 K[root@controller deploy]# ceph auth del osd.3
  h5 e4 ^& b% f3 q' jupdated
( x9 d! M7 g: {. X/ B1 q% g! [4 ~; l2 N6 e8 v

9 C0 W( U2 o% F' k9 d& Q' H* V8 ?[root@controller deploy]# ceph osd tree8 u; [$ y& i& w( |$ B
ID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF
/ D2 B# _, z: g, E8 P& s-1       0.02158 root default                                - F1 E5 t# s5 l7 j2 u; @8 c
-3       0.02158     host controller                         & N: }  g% l  x8 l
0   hdd 0.00200         osd.0           up  1.00000 1.00000 # d. a4 a8 O+ @3 w
1   hdd 0.00099         osd.1           up  1.00000 1.00000
2 H8 J1 m' n" s# o  X: ? 2   hdd 0.01859         osd.2           up  1.00000 1.00000
; m9 L# R- Q* r3 B4 a- {0 q2 Q9 z 3             0 osd.3                 down        0 1.00000 # s, L" A# [% v
' {, q6 z/ o0 B
8 `' S+ p  z4 F* R4 s5 ]3 ]' c
[root@controller deploy]# ceph osd rm osd.3
0 K0 W4 ]/ g  [( |6 hremoved osd.3" d1 t3 _$ J/ r5 B# w$ N8 J
! ~3 Q. T+ w% J6 f1 ]

0 X2 x1 e+ z4 z' m& j* V. G[root@controller deploy]# ceph osd tree
, ^& n& G7 E. k6 c9 A, FID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF
2 P7 e' f- F1 Q-1       0.02158 root default                                4 ?: y# v) `. P7 P, _! j
-3       0.02158     host controller                        
% S4 O* n. V% l% h 0   hdd 0.00200         osd.0           up  1.00000 1.00000 9 v( ?; R! [* z5 R4 F( W
1   hdd 0.00099         osd.1           up  1.00000 1.00000 % e  I( T. N3 e0 f3 }
2   hdd 0.01859         osd.2           up  1.00000 1.00000
' i1 V" N4 ]) E9 E5 s- v- p8 f) A- [
清楚集群
; o: L, `4 N1 G: \+ ~$ ?) K) ?删除系统的pv和vg和lv, G7 k4 r$ Y$ }5 l) s
# Y8 I, }7 {4 n0 }
+ {. h( _; [5 V1 N7 S. a* ?

: B9 z, P0 O3 ?6 q, b! B  g) \  T/ W
回复

举报

admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2021-4-21 14:15:55 | 显示全部楼层
for i in `vgscan |grep ceph |awk -F "\"" '{print $2}'` ;do vgremove $i;done
- p) D( q) E4 S4 c1 G
5 B, L$ \) i4 ?( p1 |; m
/ V4 V1 A: L0 F, l! Qfor i in {b..k};do pvremove /dev/sd$i;done
回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-12 00:08 , Processed in 0.013591 second(s), 23 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表