ceph osd处理流程，ceph-disk prepare等命令使用

admin

5.配置ceph状态标志位
目标主机：存储控制节点
+ k/ |  h( C  q! v3 {8 D执行以下操作命令：
- b2 E) z5 z/ ?/ J7 j/ Cceph osd set norebalance
ceph osd set nobackfill
1 u- ?9 Y' ~+ D$ S+ m. C# `ceph osd set noout
& }1 n6 W+ d+ \# N, b/ j: f8 H( Lceph osd set noscrub
ceph osd set nodeep-scrub
/ }9 i6 e" \1 p* @; u6.移除损坏的osd
' w9 L# T/ |4 S0 s5 n1 s, \( {* T目标主机：存储控制节点
0 R1 U& s3 L2 M0 M. g, r8 v替换 [id] 为需要移除的故障 osd id，此处应为osd.207
# l4 @  R* b8 D' \  Pceph osd crush reweight osd.[id] 0
ceph osd crush rm osd.[id]
, f7 v' i$ o! F' @7 U2 w8 L$ Nceph osd rm osd.[id]
. u( F3 {. p: c2 Qceph auth del osd.[id]
ceph osd crush reweight osd.207 0
6 M% ]% n7 |/ Cceph osd crush rm osd.207
ceph osd rm osd.207
# K5 _- e3 s9 `9 t9 dceph auth del osd.207
9 I, N+ W3 |  w6 `& p( z7.卸载该OSD对应的磁盘
目标主机：需要处理的存储节点
umount /dev/sdj1
$ c) x# R& W# W如果该磁盘已无法识别，则检查目录有没有异常挂载（目录信息为“？？？”）,存在则执行卸载目录操作。
# L# ~* {" r2 M6 |- n( Bll /var/lib/ceph/osd/
1 I! V: w7 U* Bumount -l /var/lib/ceph/osd/ceph-207
如步骤3图所示，该盘已经无挂载信息，则不需要操作。
8.更换损坏硬盘
此步骤可以直接更换硬盘，不需要对存储节点（服务器）进行关机；如果需要进入raid卡配置，则需要关机重启，不会影响现有集群，更换完成后启动服务器。
1 \, B. X1 a9 m! U# ^  V2 w' j. n9.检查日志盘分区权限
8 z4 Q) }9 f- R0 gls -l /dev/sdb3
此处日志盘分区为步骤3查到的对应分区，权限应为ceph:ceph，若不是，则需要手动修改权限，否则osd服务启动不成功。
- E+ g+ b' D/ A0 S0 C) uchown ceph:ceph /dev/sdb3
7chown.png
10.重新添加osd节点新硬盘至集群
/ M" M1 }, m' {5 n方法一：在mon节点使用工具添加。
目标主机：mon节点
5 |: s+ o6 D9 \' J- F& V+ ^' cceph-deploy --overwrite-conf osd prepare [hostname]:[数据盘]:[日志盘分区] --zap-disk
ceph-deploy osd activate [hostname]:[数据盘分区]
本文应执行如下命令
cd /root/ceph-cluster
5 |- w$ ?) n- G1 L. u1 w3 Q/ U7 Kceph-deploy --overwrite-conf osd prepare hdzwy1-osd-172-16-0-63:/dev/sdj:/dev/sdb3 --zap-disk
ceph-deploy osd activate  hdzwy1-osd-172-16-0-63:/dev/sdj1
" W9 i- ^7 l  R8 ~1 d方法二：在需要处理的存储节点直接添加
ceph‐disk prepare [数据盘] [日志分区] ‐‐zap‐disk ‐‐filestore
/ z# A# s) v/ J/ }! j* Aceph‐disk activate [数据盘分区]
本文应执行如下命令：
) `% B" j8 i2 o/ aceph‐disk prepare /dev/sdj /dev/sdb3 ‐‐zap‐disk ‐‐filestore
1 ?+ g; X, l) U2 Tceph‐disk activate /dev/sdj1
11.检查ceph集群状态
目标主机：存储控制节点
* w! ~4 L6 p. x' Jceph -s
加入OSD的2分钟内，会进行PG的remap操作，remap到新OSD上的PG会处于 peering状态，无法对外IO，故会对部分虚拟机造成慢请求。
" \2 w. l  ]2 |" }如果处于peering状态的pg数量未减少，且慢请求一直持续，请执行回滚操作
& I. a! W+ k" X& w0 O12.移除 ceph 状态标志位
! c/ j! X6 _  F, A. [% }& |# F目标主机：存储控制节点
& i5 p/ S8 A; o. b* W! \7 x* _确认需要添加的 osd 添加完成且 pg peering 全部完成之后，执行以下操作
ceph osd unset norebalance
4 Z; Y% z; l4 |  X1 P- S9 Nceph osd unset nobackfill
( E0 O/ r# x$ x+ _; a! a1 m  ^13.移除剩余ceph状态标志位
% z7 j. J+ {. e- q  \待集群所有 pg 状态恢复为 active + clean 之后，执行以下操作
ceph osd unset noout
; \$ ~& d8 N4 d* i2 p. U6 Vceph osd unset noscrub
* d/ B) _% c2 L( ?& }4 gceph osd unset nodeep-scrub
至此，ceph集群更换osd结束。