ceph分布式存储 recovering速度控制

admin

集群中剔除了一个osd,没有新加入，进行了一次pg的均衡，做完均衡后集群出现· Degraded data redundancy: 256 pgs undersized
; a% ?" i1 V5 \8 M2 y,为了保证集群的pg副本数为3，需要新添加一个osd来做pg的均衡


2 I2 g. X3 C. Q
+ W, A/ i0 c9 D) E
  N- @5 e8 x8 ^; Z0 f7 Cceph集群中osd的recovery的相关参数
- C8 `2 }7 n* R  F9 Q: k[root@ceph-1 ~]#  ceph daemon osd.0 config show  |grep recovery|grep osd
    "osd_allow_recovery_below_min_size": "true",
2 Q- z: w7 `7 l! A    "osd_async_recovery_min_cost": "100",
" M' M; k$ J1 l7 N; z1 `    "osd_debug_pretend_recovery_active": "false",
    "osd_debug_skip_full_check_in_recovery": "false",
    "osd_force_recovery_pg_log_entries_factor": "1.300000",
; V* z4 t# h( M3 r, d    "osd_min_recovery_priority": "0",
    "osd_recovery_cost": "20971520",
    "osd_recovery_delay_start": "0.000000",
5 F# F. E! Z6 I    "osd_recovery_max_active": "3",
' K5 S( e1 [/ F+ ~. P* M1 c' y    "osd_recovery_max_chunk": "8388608",
: b8 f" E; S6 F: K8 Q, \    "osd_recovery_max_omap_entries_per_chunk": "8096",
    "osd_recovery_max_single_start": "1",
- u4 X3 a3 I4 b    "osd_recovery_op_priority": "3",
    "osd_recovery_op_warn_multiple": "16",
    "osd_recovery_priority": "5",
    "osd_recovery_retry_interval": "30.000000",
    "osd_recovery_sleep": "0.000000",
    "osd_recovery_sleep_hdd": "0.100000",
2 l3 ?9 {$ W7 I. W: `    "osd_recovery_sleep_hybrid": "0.025000",
    "osd_recovery_sleep_ssd": "0.000000",
4 K: S8 R6 h0 Z& Z, S9 _    "osd_repair_during_recovery": "false",
    "osd_scrub_during_recovery": "false",

[root@ceph-1 ~]#  ceph daemon osd.0 config show  |grep recovery|grep osd
; X7 l! Z5 @0 s    "osd_allow_recovery_below_min_size": "true",
    "osd_debug_skip_full_check_in_recovery": "false",
+ I3 E+ h4 ]# N1 B! R% v' o' B7 _    "osd_force_recovery_pg_log_entries_factor": "1.300000",
    "osd_min_recovery_priority": "0",
    "osd_recovery_cost": "20971520",
    "osd_recovery_delay_start": "0.000000",
& D. ^: a, o- \( K* I& D4 H    "osd_recovery_forget_lost_objects": "false",
+ H  X1 ~" t, \' \    "osd_recovery_max_active": "15",
  [( p+ w& I1 u! p8 ^* d( k* j    "osd_recovery_max_chunk": "8388608",
    "osd_recovery_max_omap_entries_per_chunk": "8096",
0 i6 L0 }( w9 X8 ~: s    "osd_recovery_max_single_start": "1",
$ M" B# x' S) z5 k    "osd_recovery_op_priority": "3",
    "osd_recovery_op_warn_multiple": "16",
    "osd_recovery_priority": "5",
    "osd_recovery_retry_interval": "30.000000",
    "osd_recovery_sleep": "0.000000",
    "osd_recovery_sleep_hdd": "0.000000",
/ K* k" E& m4 y% W7 e% X    "osd_recovery_sleep_hybrid": "0.025000",
    "osd_recovery_sleep_ssd": "0.000000",
' |+ p/ K! z9 H    "osd_recovery_thread_suicide_timeout": "300",
1 v- p! j* B6 j% [5 k    "osd_recovery_thread_timeout": "30",
9 u$ V8 L+ B$ X) K    "osd_recovery_threads": "1",
% }' w7 {  `0 M    "osd_scrub_during_recovery": "false",


, y0 l& j4 V# y( E- e) t加快Recovery的速度
// 集群中添加一个osd, ceph-deploy osd create  --bluestore node1 --data  /dev/sdg    --block-db cache/db1 --block-wal cache/wal1
& R8 k$ I0 Q: y$ U* V
% D, i4 W: }% p4 b6 ]// 查看每个osd节点的参数，或者通过  ceph daemon osd.x config get osd_recovery_op_priority 查看单个osd的参数
- u4 v1 B1 h5 t
& f" f$ d% C) `# X[root@ceph-1 ~]# ceph daemon osd.0 config get osd_recovery_op_priority
{
    "osd_recovery_op_priority": "3"
6 O( ^9 R* x8 {6 B}



  p( ]. X; ^3 ~" z
" I: J5 n( U% z
[root@ceph-1 ~]# ceph daemon osd.0 config show |egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"
    "osd_max_backfills": "10",
    "osd_recovery_max_active": "15",
3 U' R2 C9 x8 G2 f5 ]8 G    "osd_recovery_op_priority": "3",
6 n% w& S9 B' R2 a
' o# U* z- f8 B5 m//每个osd节点执行如下的参数调整或者通过
ceph daemon osd.2 config set osd_recovery_op_priority 1
[root@ceph-1 ~]# ceph daemon osd.0 config set osd_recovery_op_priority 1
. N. Z, ?1 S. v( F: u0 ^/ J3 U3 q{
- k, b& ^8 v' U$ [    "success": "osd_recovery_op_priority = '1' (not observed, change may require restart) "
& A& f7 O: X8 h. W! U# k}
+ A1 M1 W) i1 L# m( O: M; Y" e
. t) t6 r6 r, `; B$ l0 E) k5 l
. b/ q4 P; J  V3 F1 T2 A& i* R全部osd参数设置为0：
[root@ceph-1 ~]# ceph tell osd.* injectargs --osd_recovery_op_priority=0
osd.0: osd_recovery_op_priority = '0' (not observed, change may require restart)
" m2 M/ r+ H0 \, zosd.1: osd_recovery_op_priority = '0' (not observed, change may require restart)
  ?+ N6 O5 G* f8 E9 \osd.2: osd_recovery_op_priority = '0' (not observed, change may require restart)
+ Z. o9 [+ B) h5 P5 J9 V2 Mosd.3: osd_recovery_op_priority = '0' (not observed, change may require restart)
osd.4: osd_recovery_op_priority = '0' (not observed, change may require restart)
* @$ b4 v6 r# K4 x5 O3 x* o% }osd.5: osd_recovery_op_priority = '0' (not observed, change may require restart)

& }+ j6 Y" m% \* Hget osd参数值：
3 o: E$ n. V" V- H[root@ceph-1 ~]#  ceph daemon osd.0 config get osd_recovery_op_priority
9 E) z/ T' a0 d2 O+ ~  K. i{
3 W* L& G9 R( j- z: \5 }    "osd_recovery_op_priority": "0"
}
# S9 X2 V2 J  a
: Q2 H! X. `6 I/ v使用这种方式设置，不需要重启osd服务，直接生效：
* ^4 H9 G$ `% Y( r来设置
% ~: M9 V3 Z2 kceph tell osd.* injectargs --osd_max_backfills=128
ceph tell osd.* injectargs --osd_recovery_op_priority=0
ceph tell osd.* injectargs --osd_recovery_max_active=64
. ^) R9 |. x4 t. gceph tell osd.* injectargs --osd_recovery_max_single_start=64
% a' P0 {# G( I! S: U9 {( Bceph tell osd.* injectargs --osd_recovery_sleep_hdd=0


' d/ H: n% @- D8 @# f1 n
核心影响恢复速度的参数osd_max_backfills这个参数默认值10. 由于一个osd承载了多个pg,所以一个osd中的pg很大可能需要做recovery.这个参数就是设置每个osd最多能让osd_max_backfills个pg进行同时做backfill.recovery做修复，通过pull或者push的backfills的操作数一般是分开的，所以一般会考虑设置这个值大一些，用于primary osd通过push修复replica osd或者primary osd 通过pull方式修复replica osdosd_recovery_op_priority默认值10. osd修复操作的优先级, 可小于该值;这个值越小，recovery优先级越高。高优先级会导致集群的性能降级直到recovery结束osd_recovery_max_active默认值15. 一个osd上可以承载多个pg, 可能好几个pg都需要recovery,这个值限定该osd最多同时有多少pg做recovery。osd_recovery_max_single_start默认值5.
这个值限定了每个pg可以启动recovery操作的最大数。
2 o: X6 ?& g+ e' R第一种情况，配置osd_recovery_max_single_start=1，osd_recovery_max_active=3，这代表每个osd在某个时间会为一个pg最多启动1个恢复操作，并且最多可以由3个恢复操作处于活跃状态。
第二种情况，配置osd_recovery_max_single_start=2，osd_recovery_max_active=3，这代表某个时间点osd会为一个pg启动2个恢复操作，并且最多能有3个恢复操作处于活跃状态。osd_recovery_sleep_hdd每个recovery操作之间的间隔时间，单位是ms

- \5 o  }6 l7 F* _6 q
& I# E1 t' _5 x4 M: s  A; K
; x4 I5 b. J6 n. l; g% q

admin

Ceph在扩容或缩容期间会有数据rebalance。如何控制在rebalance时，尽量降低对client IO的影响？
: v8 G3 }) Y- G' Y* A; E本质上，用户数据写入ceph时，会被切分成大小相等的object，这些object由PG承载，分布到不同的OSD上（每个OSD一般会对应一块硬盘）。数据的迁移会以PG为单位进行，所以当PG发生变化时，就会有数据rebalance。
9 J  I& c- S, G6 F2 \4 t后端的数据均衡IO会对client的IO造成影响从而影响到集群的业务IO，所以我们需要对数据均衡IO进行控制，主要是业务优先和恢复优先。
6 E, n( d5 c* J4 o( f那么在什么时候PG会变化呢？
从用户使用角度讲一般有如下几种场景：
1、osd暂时下线，然后又上线2、osd硬件故障下线,更换硬盘重新上线

$ ]" |2 a- F7 h$ _8 f无论哪种情况，osd上线后通常会发现，自己承载的pg有数据落后了，需要进入恢复模式，从其它osd上获取新的数据达到同步。这个过程就是recovery。
9 R, g. h/ _5 Krecovery分为两种：
log-based recovery: 是说osd故障时间不长，需要恢复的数据可以通过pg log回放找回来。backfill recovery: 是说无法通过pg log回放找全数据，只能通过全量回填(backfill)拷贝。

: ^& o* K# W, J6 L操作前记得查看下默认参数值，操作完后记得恢复到原先参数
/ O+ W! c$ w, I' n2 s! S
2 Q' n  B2 L8 c) Q( d业务优先：
ceph tell osd.* injectargs '--osd-max-backfills 1 --osd-recovery-max-active 1 --osd-recovery-max-single-start 1'ceph tell osd.* injectargs '--osd-recovery-sleep 1'
; k1 Z3 W* p7 v" j$ `2 x) ?( {
恢复优先：
ceph tell osd.* injectargs '--osd-max-backfills 5 --osd-recovery-max-active 5 --osd-recovery-max-single-start 5'ceph tell osd.* injectargs '--osd-recovery-sleep 0'
0 e/ l3 C: N! K$ X- z' j  @% K5 C

* A0 h+ O" Y% g/ }8 W- x, [还原配置：
ceph tell osd.* injectargs '--osd-max-backfills 1 --osd-recovery-max-active 3 --osd-recovery-max-single-start 1'ceph tell osd.* injectargs '--osd-recovery-sleep 0'
- L& _( [. x$ Q$ Q, J- A

场景三：完全保证client带宽
在极端情况下，如果网络带宽及磁盘性能有限，这个时候为了不影响用户体验，不得不在业务繁重时段关闭数据重建及迁移的I/O，来完全保证client的带宽，在业务空闲时段再打开数据重建及迁移，具体操作如下：
0 ?4 P  g5 O4 g, e0 r0 x* e
3 H+ O3 \7 a( C在业务繁忙时，完全关闭数据重建及迁移：
ceph osd set norebalanceceph osd set norecoverceph osd set nobackfill

3 B- r# l0 u8 X& u) q: u% l/ D

在业务空闲时，打开数据重建及迁移：
/ K8 h3 P: A" q; d+ g/ M% ?, `ceph osd unset norebalanceceph osd unset norecoverceph osd unset nobackfill


+ m9 H# V% {: S! |4 U; R( W
以上前两种方案操作配置均为立即生效，且重启服务或者重启节点后失效，如果想长期有效，可以在进行以上操作立即生效后，修改所有ceph集群节点的配置文件。

注：查看现有recovery配置信息，这里的133为具体osd的id号

[url=][/url]
2 `9 L7 U0 m* N' k# l, v, E0 yceph --admin-daemon  /var/run/ceph/ceph-osd.133.asok config show | grep -E "osd_max_backfills|osd_recovery_max_active|osd_recovery_max_single_start|osd_recovery_sleep"    "osd_max_backfills": "1",    "osd_recovery_max_active": "1",    "osd_recovery_max_single_start": "1",    "osd_recovery_sleep": "0.000000",    "osd_recovery_sleep_hdd": "0.100000",    "osd_recovery_sleep_hybrid": "0.025000",    "osd_recovery_sleep_ssd": "0.000000",[url=][/url]


7 ?/ _$ C# K( T9 @" |% R

扩展：参数解析

8 C# V- r; T5 ?& W: o- g! {osd_max_backfills : 一个osd上最多能有多少个pg同时做backfill。其中osd出去的最大backfill数量为osd_max_backfills ，osd进来的最大backfill数量也是osd_max_backfills ，所以每个osd最大的backfill数量为osd_max_backfills * 2；osd_recovery_sleep: 出队列后先Sleep一段时间，拉长两个Recovery的时间间隔；

以下二个参数，网上解释大多有误导，结合代码以及官方材料分析为：

osd_recovery_max_active: 每个OSD上同时进行的所有PG的恢复操作（active recovery）的最大数量；osd_recovery_max_single_start: OSD在某个时刻会为一个PG启动恢复操作数；

这两个参数需要结合在一起分析：

a.假设我们配置osd_recovery_max_single_start为1，osd_recovery_max_active为3，那么，这意味着OSD在某个时刻会为一个PG最多启动1个恢复操作，而且最多可以有3个恢复操作同时处于活动状态。b.假设我们配置osd_recovery_max_single_start为2，osd_recovery_max_active为3，那么，这意味着OSD在某个时刻会为一个PG最多启动2个恢复操作，而且最多可以有3个恢复操作同时处于活动状态。例如第一个pg启动2个恢复操作，第二个pg启动1个恢复操作，第三个pg等待前两个pg 恢复操作完进行新的恢复。
7 L. |8 [+ ^/ {$ `  D
+ s" K7 Q# l8 R' J, P1 Y" ^

recovery相关参数

[url=][/url]
osd_max_backfills:默认值10. 一个osd上承载了多个pg。可能很多pg都需要做第二种recovery,即backfill。 设定这个参数来指明在一个osd上最多能有多少个pg同时做backfill。osd_recovery_max_active：默认值15. 一个osd上可以承载多个pg, 可能好几个pg都需要recovery,这个值限定该osd最多同时有多少pg做recovery。osd_recovery_max_single_start：默认值5. 这个值限定了每个pg可以启动recovery操作的最大数。osd_recovery_max_chunk: 默认值8388608. 设置恢复数据块的大小，以防网络阻塞osd_recovery_op_priority: 默认值10. osd修复操作的优先级, 可小于该值osd_recovery_sleep: 默认值0. revocery的间隔[url=][/url]
' ]" y) `2 f! ]' E5 i: {
$ }+ l+ `1 O" ~1 }& T( K
' X" m  u2 s( N默认配置参数：
"osd_max_backfills": "1","osd_recovery_sleep": "0","osd_recovery_max_active": "3","osd_recovery_max_single_start": "1",
4 }( ]9 h! P1 b. D, Q9 b# B
推荐配置参数：
级别:
5%是业务优先，对业务影响最小；
. G9 c) K" P9 ?- ~5 M# z100%恢复优先，对业务影响最大；
9 g1 H' p4 j' w) I其他介于二者之间；

osd_min_pg_log_entries 正常情况下PGLog的记录的条数，
  O0 s* |4 F/ N* ~1 }# L/ }5 Gosd_max_pg_log_entries 异常情况下pglog记录的条数，达到该限制会进行trim操作
/ R( j4 q4 p( |5 m
* @3 x3 r, X0 t, x

admin

部署一套可供生产环境使用的ceph集群，考虑的问题比较多，特别是配置文件的配置量参数。这里记录调试后的配置参数：

" F: w# e" c+ S* O[global]

fsid = 1235bE62-8ae1-difg-893a-892a675757c6

$ {/ ]4 T. {" ?5 a% S0 }mon_initial_members = ceph-node01,ceph-node02,ceph-node03
, q" \3 p4 z+ P* o4 T' {
& T' D! b% J+ D0 s  C, h' c. T1 ^mon_host = 192.168.170.11,192.168.170.12,192.168.170.13

" b1 [' a  U/ ]auth_cluster_required = cephx
0 a/ s0 ^, u! k$ i9 R
' o3 A1 `# Z# Hauth_service_required = cephx

- ^: C9 S8 `" N$ e( g" d# X1 b7 q5 [auth_client_required = cephx

4 ^8 e  u2 |1 ~3 Jpublic_network = 192.168.170.0/22 #管理网络
: N. [/ C/ x2 ^* H* _" ^
! y# {5 {8 r, _cluster_network = 192.168.180.0/22 #集群网络

$ d9 C2 A& M6 l4 u2 K/ umon_pg_warn_max_per_osd = 1000 #每个osd上pg数量警告值，这个可以根据具体规划来设定

osd_pool_default_size = 3 #默认副本数为3

& W9 E$ S" M* A4 {$ Xosd_pool_default_min_size = 2 #最小副本数为2，也就是只能坏一个

+ v! K, V. h! z+ u* I% y: Zmon_osd_full_ratio = .85 #存储使用率达到85%将不再提供数据存储

mon_osd_nearfull_ratio = .70 #存储使用率达到70%集群将会warn状态
2 p* @  F/ ~2 {# S
1 P% W# v+ {5 {( M0 Hosd_deep_scrub_randomize_ratio = 0.01 #随机深度清洗概率,值越大，随机深度清洗概率越高,太高会影响业务

# F5 a6 E$ ~3 a) [[osd]
& q6 f: g8 B( V8 R
osd_max_write_size = 1024 #默认90M，一次写操作最小值

osd_recovery_op_priority = 1 #默认为10, 1-63 osd修复操作的优先级, 。值越小，优先级越低

osd_recovery_max_active = 1 #限定每个osd上同时有多少个pg可以同时进行recover

5 [# f" T) o% e7 _! {+ q2 josd_recovery_max_single_start = 1 # 和osd_recovery_max_active一起使用，要理解其含义。假设我们配置osd_recovery_max_single_start为1，osd_recovery_max_active为3，那么，这意味着OSD在某个时刻会为一个PG启动一个恢复操作，而且最多可以有三个恢复操作同时处于活动状态。

osd_recovery_max_chunk = 1048576 #默认为8388608, 设置恢复数据块的大小，以防网络阻塞
, R$ s9 ~) i# L" E/ o
" Z0 R+ {" T  J1 }, I# }4 losd_recovery_threads = 1 #恢复数据所需的线程数

6 m; {, s, c2 i0 {- {. ^osd_max_backfills = 1 #集群故障后,最大backfill数为1，太大会影响业务
# x2 P. c9 C) D; l
; l  y0 f7 L0 e, |, E8 ~osd_scrub_begin_hour = 22 #清洗开始时间为晚上22点
/ w8 L5 O$ W7 k- W; G7 L
* `7 G" }7 I* P( e( u* d+ \osd_scrub_end_hour = 7 #清洗结束时间为早上7点
4 @/ }/ n8 \; ]: p% D/ E9 p
osd_recovery_sleep = 0 #默认为0，recovery的时间间隔，会影响recovery时常，如果recovery导致业务不正常，可以调大该值，增加时间间隔

! }# I" ]% j2 d0 Q; yosd_crush_update_on_start = false # 新加的osd会up/in,但并不会更新crushmap，prepare+active期间不会导致数据迁移


- ~% ]1 e- P4 S/ E
# a0 G/ ]2 G3 R  V  q) ^

admin

参数解析

) `/ p# X2 |. |  J) @

osd_max_backfills : 一个osd上最多能有多少个pg同时做backfill。其中osd出去的最大backfill数量为osd_max_backfills ，osd进来的最大backfill数量也是osd_max_backfills ，所以每个osd最大的backfill数量为osd_max_backfills * 2；
8 C2 B# U1 U- ~; J7 dosd_recovery_sleep: 出队列后先Sleep一段时间，拉长两个Recovery的时间间隔；
( C; f5 ^; C) @/ I8 ~
& ]# B7 w( r  D
以下二个参数，网上解释大多有误导，结合代码以及官方材料分析为：
, X6 V/ J) x1 a4 M) L
4 }5 T& _5 H0 O* d. M/ josd_recovery_max_active: 每个OSD上同时进行的所有PG的恢复操作（active recovery）的最大数量；
osd_recovery_max_single_start: OSD在某个时刻会为一个PG启动恢复操作数；

) M/ d, D7 E. W4 V' {1 U. j! G
% N- \, Z5 n  `) B6 `* h( n. U这两个参数需要结合在一起分析：
5 S* Y' T, [/ n% o" S( f; r! W' r
a.假设我们配置osd_recovery_max_single_start为1，osd_recovery_max_active为3，那么，这意味着OSD在某个时刻会为一个PG最多启动1个恢复操作，而且最多可以有3个恢复操作同时处于活动状态。
b.假设我们配置osd_recovery_max_single_start为2，osd_recovery_max_active为3，那么，这意味着OSD在某个时刻会为一个PG最多启动2个恢复操作，而且最多可以有3个恢复操作同时处于活动状态。例如第一个pg启动2个恢复操作，第二个pg启动1个恢复操作，第三个pg等待前两个pg 恢复操作完进行新的恢复。
+ J3 _5 R' C& u& @6 f! H
. K3 \( {$ a& S. R1 t& I; Y. z
recovery相关参数

6 @  L% x6 @- W$ s/ c8 q复制代码
! p3 ^0 Y- P$ h' D, Nosd_max_backfills:默认值10. 一个osd上承载了多个pg。可能很多pg都需要做第二种recovery,即backfill。 设定这个参数来指明在一个osd上最多能有多少个pg同时做backfill。
4 t: U' }! P+ x3 V# Uosd_recovery_max_active：默认值15. 一个osd上可以承载多个pg, 可能好几个pg都需要recovery,这个值限定该osd最多同时有多少pg做recovery。
+ h8 F& G. E0 @( }5 J* U) `& i2 Dosd_recovery_max_single_start：默认值5. 这个值限定了每个pg可以启动recovery操作的最大数。
" B+ S6 n. A4 eosd_recovery_max_chunk: 默认值8388608. 设置恢复数据块的大小，以防网络阻塞
' q: x5 u/ w, l5 W0 c1 Kosd_recovery_op_priority: 默认值10. osd修复操作的优先级, 可小于该值
5 F* m. I: A0 d0 x, Mosd_recovery_sleep: 默认值0. revocery的间隔
2 B/ Q6 [8 \1 V8 J! t" B& |复制代码
6 R7 K2 A, d2 l- V& c% p
- m, Q8 e: _3 ~6 I
, ^3 _8 X7 P) d' D( y/ \默认配置参数：
! \* O7 b: W2 c) W. U) R* t"osd_max_backfills": "1",
! S* P" a7 m0 n% T"osd_recovery_sleep": "0",
"osd_recovery_max_active": "3",
$ m* R4 t; B# x) W" I  \+ s0 \"osd_recovery_max_single_start": "1",
2 Y6 l7 ~6 k: M& p) j6 x

0 y: |- ], A" _: P- ?8 u推荐配置参数：
8 ^, e% ~* p: n8 x& d( Y7 ~级别:
5%是业务优先，对业务影响最小；
4 R: K/ k" \7 B) t100%恢复优先，对业务影响最大；
其他介于二者之间；
4 H8 J' u$ z1 M7 ?3 G! Y3 k3 A1 S% u
osd_min_pg_log_entries 正常情况下PGLog的记录的条数，
' J# K; `6 i1 {osd_max_pg_log_entries 异常情况下pglog记录的条数，达到该限制会进行trim操作

admin

15.1 服务相关
6 T' @5 S: `4 B5 H* Ksystemctl status ceph*.service ceph*.target #查看所有服务
systemctl stop ceph*.service ceph*.target #关闭所有服务
systemctl start ceph.target #启动服务
- h6 g6 q/ r5 p9 m2 \" esystemctl stop ceph-osd*.service # 关闭所有osd服务
% d, X7 G( x$ f. m# ]! hsystemctl stop ceph-mon*.service #关闭所有mon服务
sudo systemctl start ceph-osd@{id} #启动单个osd服务
" D: ]% h, s4 P3 Gsudo systemctl start ceph-mon@{hostname} #启动单个mon服务
sudo systemctl start ceph-mds@{hostname} #启动单个mds服务
15.2 查看
ceph -help #查看命令帮助
1 r( L; V. z* R) k; t. Wceph -s #查看状态
ceph osd pool set rbd pg_num 1024 # 修改pg_num数量
ceph osd pool set rbd pgp_num 1024 # 修改pgp_num数量
ceph osd tree #查看osd树列表
$ v7 e: l- p0 Y  d2 q7 h% g' E& \ceph osd pool ls #查看所有的osd池
ceph --admin-daemon /var/run/ceph/ceph-osd.0.asok config show # 查看指定的osd运行中的所有参数
# C+ l3 q$ O) ?$ J. Qrados df #查看储存池使用情况
* s: r, P1 Y9 ~9 J9 }rados -p rbd ls |sort
+ {6 n$ K8 }; v' V: N0 s- Lceph osd pool get rbd pg_num
( z0 n8 T7 D+ H' Bceph osd pool get rbd pgp_num
( I$ L- a+ y  U$ Q: ^% wceph osd pool set rbd pg_num 1024
ceph osd pool set rbd pgp_num 1024
15.3 rbd相关
rbd create --size {megabytes} {pool-name}/{image-name}
rbd list
rbd info RBD_NAME
rbd feature disable RBD_NAME FEATURE1 FEATURE1 …
rbd map RBD_NAME #映射到系统内核
2 D0 }6 u* F* `. t" c: h/ e% jrbd showmapped #查看rbd映射条目
: k$ L& J' ]0 m* ~rbd unmap /dev/rbd0 # 取消内核映射
1 `) m5 y, ]1 d. L- Nrbd resize --size 2048 RBD_NAME # to increase
rbd resize --size 2048 RBD_NAME --allow-shrink #to decrease
rbd du {RBD_NAME} -p rbd #查看某个或所有Image的容量,-p 指定pool名
+ ~! Q1 ?1 e5 Y7 Orbd diff RBD_NAME | awk ‘{ SUM += $2 } END { print SUM/1024/1024/1024 " GB" }’ #查看rbd image当前占用大小
6 D9 D! \" E$ G3 H  T% P& D15.4 修改
ceph tell # 使用tell命令手动临时修改组件的配置
[例如:集群状态恢复涉及数据回填时,加速回填速度]
) }3 d' @  ~3 n
0 C& Q2 D, \2 {+ n  Y" i- P4 }ceph tell ‘osd.*’ injectargs ‘–osd-max-backfills 20’ #默认为1
& Y0 F8 Y( ?! ]' t& O4 w/ Iceph tell ‘osd.*’ injectargs ‘–osd-recovery-max-active 10’ #默认为3