|
|
5.配置ceph状态标志位* c) L" |: `5 o& d0 V/ ` a0 B
目标主机：存储控制节点/ Y# @/ ~7 t( x8 A. F
执行以下操作命令：. A* L; \( @& Y- X1 m, x
ceph osd set norebalance0 Z3 e, P( e: d& Q' L) M
ceph osd set nobackfill
, o' H* Z7 Z2 ?, j$ @ceph osd set noout
/ y9 _' p6 F2 |4 D" aceph osd set noscrub" [4 L3 L7 t& ?8 D, {! J: y
ceph osd set nodeep-scrub
- {$ J8 Y. [: H8 y& w3 C+ A( s7 D B6.移除损坏的osd
' m+ g' X. x4 P0 y; B4 G: M6 o, V# F0 k) d目标主机：存储控制节点
: O3 `# g# \4 G% d0 `! y. r替换 [id] 为需要移除的故障 osd id，此处应为osd.207% z+ e+ q3 Q. P" w5 f1 s$ j8 P; w
ceph osd crush reweight osd.[id] 06 \$ m5 k7 z& H( w0 B
ceph osd crush rm osd.[id]6 q+ G1 `6 J. @3 O
ceph osd rm osd.[id]
; f; }. X2 M1 f Gceph auth del osd.[id]
3 c8 e. x1 U. K% f2 D8 c; Kceph osd crush reweight osd.207 07 L( y$ }* p8 R* T- T
ceph osd crush rm osd.207# E) [, t( A2 Y8 Y5 A
ceph osd rm osd.207: s1 O: Q1 `& `5 q
ceph auth del osd.207# k1 F5 d+ z9 a6 w, F/ m3 c
7.卸载该OSD对应的磁盘9 m7 j7 B- G( t5 D
目标主机：需要处理的存储节点; A# L9 P6 h& R/ P* E3 }: X6 c
umount /dev/sdj12 k U$ t% I# Y6 m3 q
如果该磁盘已无法识别，则检查目录有没有异常挂载（目录信息为“？？？”）,存在则执行卸载目录操作。0 s: U3 f: ]5 W) Z
ll /var/lib/ceph/osd/
. ^3 ^. U& ~" ~: g$ f6 z" j; d; Mumount -l /var/lib/ceph/osd/ceph-2074 C2 M! x. B: Q M7 K
如步骤3图所示，该盘已经无挂载信息，则不需要操作。
5 u1 G# B V2 E8 w3 b/ h) \8.更换损坏硬盘8 @* L+ i1 _' z, F
此步骤可以直接更换硬盘，不需要对存储节点（服务器）进行关机；如果需要进入raid卡配置，则需要关机重启，不会影响现有集群，更换完成后启动服务器。3 \8 [# b7 Y- I7 @0 ^) i2 _, e
9.检查日志盘分区权限1 x, K" v j& s5 ]8 r( n; ~
ls -l /dev/sdb34 v; Y. ~- y( G M9 t
此处日志盘分区为步骤3查到的对应分区，权限应为ceph:ceph，若不是，则需要手动修改权限，否则osd服务启动不成功。
! h8 C" O/ C, ]: D7 I# j9 S8 u& ichown ceph:ceph /dev/sdb3
) W1 n& A, f! j$ ]% g5 o; E/ F0 X7chown.png" Z- [/ o2 }) O( {9 w# n: q' d
10.重新添加osd节点新硬盘至集群
/ v) k e- o2 G' ] Y# _, B方法一：在mon节点使用工具添加。
) M4 u1 ^9 C/ |目标主机：mon节点% p2 A( J5 b% `( u
ceph-deploy --overwrite-conf osd prepare [hostname]:[数据盘]:[日志盘分区] --zap-disk
) ~( a4 f: f/ qceph-deploy osd activate [hostname]:[数据盘分区]8 y) L' _& P% Y
本文应执行如下命令
+ v1 N& A Z1 N6 s3 \cd /root/ceph-cluster
7 Q* l1 w1 k- r) N5 M, [8 qceph-deploy --overwrite-conf osd prepare hdzwy1-osd-172-16-0-63:/dev/sdj:/dev/sdb3 --zap-disk$ d. M; |+ p" x
ceph-deploy osd activate hdzwy1-osd-172-16-0-63:/dev/sdj1' q# m" Q# l8 u4 j( U2 ^
方法二：在需要处理的存储节点直接添加
[( Q+ n B% q- W5 M8 Vceph‐disk prepare [数据盘] [日志分区] ‐‐zap‐disk ‐‐filestore
_ Z3 t8 U" `: Aceph‐disk activate [数据盘分区]. E( Y, k7 g# _, Z
本文应执行如下命令：
2 U' Z" \7 O' D; X$ } d; ~ceph‐disk prepare /dev/sdj /dev/sdb3 ‐‐zap‐disk ‐‐filestore) @, F/ W' w Y4 Q$ F+ _
ceph‐disk activate /dev/sdj1
, Z1 h# g P5 K$ W/ P' h11.检查ceph集群状态, v2 p3 a, ^8 M8 {
目标主机：存储控制节点
# n! R* a/ J0 O# w v" | r0 wceph -s
4 G) B$ y4 u6 F1 I( k( h' g加入OSD的2分钟内，会进行PG的remap操作，remap到新OSD上的PG会处于 peering状态，无法对外IO，故会对部分虚拟机造成慢请求。
( c1 y2 m1 Q, O/ t G如果处于peering状态的pg数量未减少，且慢请求一直持续，请执行回滚操作
% }, o& x5 A: l% N' u: A12.移除 ceph 状态标志位, _2 m' r) x" J0 L: N8 \$ g/ X
目标主机：存储控制节点" K y+ w. b ~9 `. @) p$ P
确认需要添加的 osd 添加完成且 pg peering 全部完成之后，执行以下操作
5 W* F$ d' |. r$ a3 mceph osd unset norebalance5 Q) H, s# r. V% B$ a i
ceph osd unset nobackfill
" ~8 H$ h- q K- r13.移除剩余ceph状态标志位5 k4 y0 `* [9 t2 r% R
待集群所有 pg 状态恢复为 active + clean 之后，执行以下操作6 l7 d# H" [9 |% t3 F; ^
ceph osd unset noout0 a3 f) l5 l4 k: \& R
ceph osd unset noscrub9 d2 F& g6 |. S$ h X; y/ F
ceph osd unset nodeep-scrub1 N8 f8 r1 x; S. q
至此，ceph集群更换osd结束。" f: r7 P# ~9 w: Y7 ?/ r+ y
|
|
发表于 2022-7-19 11:08:05