ceph分布式存储 recovering速度控制

admin

集群中剔除了一个osd,没有新加入，进行了一次pg的均衡，做完均衡后集群出现· Degraded data redundancy: 256 pgs undersized
,为了保证集群的pg副本数为3，需要新添加一个osd来做pg的均衡
& ?8 A1 S# @! K0 _% x! _  Z

8 S2 Z/ C0 l* E5 Y* b  o- L4 q
' n7 O' q1 ?! I8 U( O" H1 T4 x
$ m' r; K$ I4 D- @ceph集群中osd的recovery的相关参数
[root@ceph-1 ~]#  ceph daemon osd.0 config show  |grep recovery|grep osd
    "osd_allow_recovery_below_min_size": "true",
1 m; ]" ^" ?: E. q) b' b! b4 e    "osd_async_recovery_min_cost": "100",
4 R! z: W  }5 [8 F    "osd_debug_pretend_recovery_active": "false",
0 ~2 U3 _/ d5 \2 f    "osd_debug_skip_full_check_in_recovery": "false",
+ ~8 j( X4 f( K; V    "osd_force_recovery_pg_log_entries_factor": "1.300000",
    "osd_min_recovery_priority": "0",
    "osd_recovery_cost": "20971520",
    "osd_recovery_delay_start": "0.000000",
6 O7 l% J, c$ u0 v  s    "osd_recovery_max_active": "3",
9 J" T5 B! A; f) V8 K    "osd_recovery_max_chunk": "8388608",
0 \- d" z+ ^$ N    "osd_recovery_max_omap_entries_per_chunk": "8096",
8 I& q. Y+ @! m! Y# x7 g    "osd_recovery_max_single_start": "1",
, r4 c! J' w7 @5 k    "osd_recovery_op_priority": "3",
    "osd_recovery_op_warn_multiple": "16",
    "osd_recovery_priority": "5",
0 N1 F. E* H1 R1 m8 X    "osd_recovery_retry_interval": "30.000000",
    "osd_recovery_sleep": "0.000000",
    "osd_recovery_sleep_hdd": "0.100000",
    "osd_recovery_sleep_hybrid": "0.025000",
6 i: r4 A% j+ v: n5 l9 L: l    "osd_recovery_sleep_ssd": "0.000000",
    "osd_repair_during_recovery": "false",
) G% ^. L" [, x    "osd_scrub_during_recovery": "false",
: m9 x* d9 R. j7 K% A8 q  ]7 h6 p
[root@ceph-1 ~]#  ceph daemon osd.0 config show  |grep recovery|grep osd
    "osd_allow_recovery_below_min_size": "true",
; h  n; |* e, a2 D5 K3 ^    "osd_debug_skip_full_check_in_recovery": "false",
    "osd_force_recovery_pg_log_entries_factor": "1.300000",
    "osd_min_recovery_priority": "0",
    "osd_recovery_cost": "20971520",
4 ?( k  I/ Q3 E    "osd_recovery_delay_start": "0.000000",
% {' L# B4 n# p* |1 o    "osd_recovery_forget_lost_objects": "false",
    "osd_recovery_max_active": "15",
% E% A8 v' N* x8 K, H5 a    "osd_recovery_max_chunk": "8388608",
    "osd_recovery_max_omap_entries_per_chunk": "8096",
    "osd_recovery_max_single_start": "1",
    "osd_recovery_op_priority": "3",
    "osd_recovery_op_warn_multiple": "16",
    "osd_recovery_priority": "5",
6 U) _" W) k0 [' n    "osd_recovery_retry_interval": "30.000000",
# n5 K% w6 s9 J5 U) t    "osd_recovery_sleep": "0.000000",
* V+ B5 {! I& A    "osd_recovery_sleep_hdd": "0.000000",
    "osd_recovery_sleep_hybrid": "0.025000",
    "osd_recovery_sleep_ssd": "0.000000",
8 N2 U  O  n7 _0 E    "osd_recovery_thread_suicide_timeout": "300",
    "osd_recovery_thread_timeout": "30",
    "osd_recovery_threads": "1",
    "osd_scrub_during_recovery": "false",
  z9 k, u) \% [  j+ z' z
' ~( r1 G- ^% l/ [
& X) _& U" {  b. K加快Recovery的速度
  g6 _  r* q6 c- y% N// 集群中添加一个osd, ceph-deploy osd create  --bluestore node1 --data  /dev/sdg    --block-db cache/db1 --block-wal cache/wal1

// 查看每个osd节点的参数，或者通过  ceph daemon osd.x config get osd_recovery_op_priority 查看单个osd的参数

/ V' q0 r; D( Y& ^! b5 q  X[root@ceph-1 ~]# ceph daemon osd.0 config get osd_recovery_op_priority
{
    "osd_recovery_op_priority": "3"
}


8 J! X( m# x4 X" F) W2 u& e1 |
! Z- {" M& V) {, E

3 |" ?+ h" H" W6 t& u[root@ceph-1 ~]# ceph daemon osd.0 config show |egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"
9 s; N4 p' B* }& d- Y2 @    "osd_max_backfills": "10",
  p8 o1 P- @, ^    "osd_recovery_max_active": "15",
8 l. D9 G/ {! Q% d& L  g  ^5 M0 r    "osd_recovery_op_priority": "3",

2 A, I8 K( ^: r$ `5 J/ v//每个osd节点执行如下的参数调整或者通过
; C& R) G6 r- |$ N( d5 `ceph daemon osd.2 config set osd_recovery_op_priority 1
[root@ceph-1 ~]# ceph daemon osd.0 config set osd_recovery_op_priority 1
{
9 y# [  L1 e* u1 j% k+ |    "success": "osd_recovery_op_priority = '1' (not observed, change may require restart) "
) r: T: R& [% j- Z1 N}


9 m3 q, S& i% _/ S4 x; p全部osd参数设置为0：
[root@ceph-1 ~]# ceph tell osd.* injectargs --osd_recovery_op_priority=0
osd.0: osd_recovery_op_priority = '0' (not observed, change may require restart)
! m, g% g# N# o3 u6 Cosd.1: osd_recovery_op_priority = '0' (not observed, change may require restart)
( V/ t# i/ @% A7 a0 H. y, N) `osd.2: osd_recovery_op_priority = '0' (not observed, change may require restart)
; v+ j8 J9 c% T6 Tosd.3: osd_recovery_op_priority = '0' (not observed, change may require restart)
# k2 A0 h* U& ^& t8 A5 mosd.4: osd_recovery_op_priority = '0' (not observed, change may require restart)
7 @/ w7 o2 r* j8 C; Y: bosd.5: osd_recovery_op_priority = '0' (not observed, change may require restart)
% w7 h4 \2 ^, S
9 p' a' ]3 g1 n8 l9 f" oget osd参数值：
2 [9 w* `( b  \: _+ d! W[root@ceph-1 ~]#  ceph daemon osd.0 config get osd_recovery_op_priority
{
! t6 j4 A) ^& R( |, W    "osd_recovery_op_priority": "0"
8 L* R4 c4 Z/ Z) H/ A}
/ T3 m$ X# ^5 a8 v) f8 c0 q
使用这种方式设置，不需要重启osd服务，直接生效：
来设置
2 @! k* p+ E# n+ b+ O2 Tceph tell osd.* injectargs --osd_max_backfills=128
$ L7 O$ G: _9 F- M4 Y' bceph tell osd.* injectargs --osd_recovery_op_priority=0
# \3 }! ~) H3 M% P* q! \ceph tell osd.* injectargs --osd_recovery_max_active=64
ceph tell osd.* injectargs --osd_recovery_max_single_start=64
ceph tell osd.* injectargs --osd_recovery_sleep_hdd=0
8 N/ q# L" _6 Y/ C


8 R* H0 B8 _# U核心影响恢复速度的参数osd_max_backfills这个参数默认值10. 由于一个osd承载了多个pg,所以一个osd中的pg很大可能需要做recovery.这个参数就是设置每个osd最多能让osd_max_backfills个pg进行同时做backfill.recovery做修复，通过pull或者push的backfills的操作数一般是分开的，所以一般会考虑设置这个值大一些，用于primary osd通过push修复replica osd或者primary osd 通过pull方式修复replica osdosd_recovery_op_priority默认值10. osd修复操作的优先级, 可小于该值;这个值越小，recovery优先级越高。高优先级会导致集群的性能降级直到recovery结束osd_recovery_max_active默认值15. 一个osd上可以承载多个pg, 可能好几个pg都需要recovery,这个值限定该osd最多同时有多少pg做recovery。osd_recovery_max_single_start默认值5.
/ E# W0 }5 g6 P4 c+ Y  }这个值限定了每个pg可以启动recovery操作的最大数。
第一种情况，配置osd_recovery_max_single_start=1，osd_recovery_max_active=3，这代表每个osd在某个时间会为一个pg最多启动1个恢复操作，并且最多可以由3个恢复操作处于活跃状态。
% a: z- k9 m& H第二种情况，配置osd_recovery_max_single_start=2，osd_recovery_max_active=3，这代表某个时间点osd会为一个pg启动2个恢复操作，并且最多能有3个恢复操作处于活跃状态。osd_recovery_sleep_hdd每个recovery操作之间的间隔时间，单位是ms


4 Q& r: b+ }0 a- o2 w
  W- j- W; m5 |

admin

Ceph在扩容或缩容期间会有数据rebalance。如何控制在rebalance时，尽量降低对client IO的影响？
本质上，用户数据写入ceph时，会被切分成大小相等的object，这些object由PG承载，分布到不同的OSD上（每个OSD一般会对应一块硬盘）。数据的迁移会以PG为单位进行，所以当PG发生变化时，就会有数据rebalance。
后端的数据均衡IO会对client的IO造成影响从而影响到集群的业务IO，所以我们需要对数据均衡IO进行控制，主要是业务优先和恢复优先。
那么在什么时候PG会变化呢？
从用户使用角度讲一般有如下几种场景：
1、osd暂时下线，然后又上线2、osd硬件故障下线,更换硬盘重新上线

无论哪种情况，osd上线后通常会发现，自己承载的pg有数据落后了，需要进入恢复模式，从其它osd上获取新的数据达到同步。这个过程就是recovery。
recovery分为两种：
log-based recovery: 是说osd故障时间不长，需要恢复的数据可以通过pg log回放找回来。backfill recovery: 是说无法通过pg log回放找全数据，只能通过全量回填(backfill)拷贝。

操作前记得查看下默认参数值，操作完后记得恢复到原先参数

业务优先：
ceph tell osd.* injectargs '--osd-max-backfills 1 --osd-recovery-max-active 1 --osd-recovery-max-single-start 1'ceph tell osd.* injectargs '--osd-recovery-sleep 1'
3 U6 |/ l% S/ \. M
* A  S1 L' o4 \- s$ K' p/ s, t恢复优先：
ceph tell osd.* injectargs '--osd-max-backfills 5 --osd-recovery-max-active 5 --osd-recovery-max-single-start 5'ceph tell osd.* injectargs '--osd-recovery-sleep 0'
3 A4 r( ~& e/ |" S* |

9 t) `  k& d1 E" w. {# q5 u还原配置：
ceph tell osd.* injectargs '--osd-max-backfills 1 --osd-recovery-max-active 3 --osd-recovery-max-single-start 1'ceph tell osd.* injectargs '--osd-recovery-sleep 0'

8 x! T2 V8 ]# U
场景三：完全保证client带宽
在极端情况下，如果网络带宽及磁盘性能有限，这个时候为了不影响用户体验，不得不在业务繁重时段关闭数据重建及迁移的I/O，来完全保证client的带宽，在业务空闲时段再打开数据重建及迁移，具体操作如下：

# T9 A" W8 l7 A! Q! I( f2 z8 M; ^在业务繁忙时，完全关闭数据重建及迁移：
ceph osd set norebalanceceph osd set norecoverceph osd set nobackfill

0 O& y  l8 R& d' F. G
: P% z7 Q& L* ]; h- V
在业务空闲时，打开数据重建及迁移：
3 |( D2 Z8 G) t& h  qceph osd unset norebalanceceph osd unset norecoverceph osd unset nobackfill
4 V1 X! z0 B8 z4 A9 {1 z) R2 G# Y
) L4 W; @0 {/ w' [

以上前两种方案操作配置均为立即生效，且重启服务或者重启节点后失效，如果想长期有效，可以在进行以上操作立即生效后，修改所有ceph集群节点的配置文件。
1 W4 m. Q+ e+ o$ B) q

注：查看现有recovery配置信息，这里的133为具体osd的id号

[url=][/url]
3 R& R! g0 O' O( w* u. Uceph --admin-daemon  /var/run/ceph/ceph-osd.133.asok config show | grep -E "osd_max_backfills|osd_recovery_max_active|osd_recovery_max_single_start|osd_recovery_sleep"    "osd_max_backfills": "1",    "osd_recovery_max_active": "1",    "osd_recovery_max_single_start": "1",    "osd_recovery_sleep": "0.000000",    "osd_recovery_sleep_hdd": "0.100000",    "osd_recovery_sleep_hybrid": "0.025000",    "osd_recovery_sleep_ssd": "0.000000",[url=][/url]
/ a3 @3 |1 z, h" t+ B) q
8 Z1 w. B& R! ~) w) T: s" i" C
" k. n( |2 Q  B7 O, b& ^/ D% N* r9 Z

扩展：参数解析

osd_max_backfills : 一个osd上最多能有多少个pg同时做backfill。其中osd出去的最大backfill数量为osd_max_backfills ，osd进来的最大backfill数量也是osd_max_backfills ，所以每个osd最大的backfill数量为osd_max_backfills * 2；osd_recovery_sleep: 出队列后先Sleep一段时间，拉长两个Recovery的时间间隔；
5 C% b7 W) `- B5 C, D3 u* |
2 {6 }1 ?% {/ y+ y5 H

以下二个参数，网上解释大多有误导，结合代码以及官方材料分析为：

osd_recovery_max_active: 每个OSD上同时进行的所有PG的恢复操作（active recovery）的最大数量；osd_recovery_max_single_start: OSD在某个时刻会为一个PG启动恢复操作数；

7 B- W4 n3 R" J  j! r8 n

这两个参数需要结合在一起分析：

a.假设我们配置osd_recovery_max_single_start为1，osd_recovery_max_active为3，那么，这意味着OSD在某个时刻会为一个PG最多启动1个恢复操作，而且最多可以有3个恢复操作同时处于活动状态。b.假设我们配置osd_recovery_max_single_start为2，osd_recovery_max_active为3，那么，这意味着OSD在某个时刻会为一个PG最多启动2个恢复操作，而且最多可以有3个恢复操作同时处于活动状态。例如第一个pg启动2个恢复操作，第二个pg启动1个恢复操作，第三个pg等待前两个pg 恢复操作完进行新的恢复。
/ L/ {, k9 L; P% _8 _6 Y" V. K4 q
5 w# q9 d+ ?7 `; t

recovery相关参数

[url=][/url]
osd_max_backfills:默认值10. 一个osd上承载了多个pg。可能很多pg都需要做第二种recovery,即backfill。 设定这个参数来指明在一个osd上最多能有多少个pg同时做backfill。osd_recovery_max_active：默认值15. 一个osd上可以承载多个pg, 可能好几个pg都需要recovery,这个值限定该osd最多同时有多少pg做recovery。osd_recovery_max_single_start：默认值5. 这个值限定了每个pg可以启动recovery操作的最大数。osd_recovery_max_chunk: 默认值8388608. 设置恢复数据块的大小，以防网络阻塞osd_recovery_op_priority: 默认值10. osd修复操作的优先级, 可小于该值osd_recovery_sleep: 默认值0. revocery的间隔[url=][/url]
* c) p3 y( a: _" s1 {: z& H
+ G. b. N( y$ J9 }; p4 j$ W
$ `+ l; P8 B1 p默认配置参数：
"osd_max_backfills": "1","osd_recovery_sleep": "0","osd_recovery_max_active": "3","osd_recovery_max_single_start": "1",
6 p  W" d2 W& a
  C' [, t: t! v) \2 H" Z( H推荐配置参数：
" }& w% F' E, a$ x: g' ^0 e. B, O级别:
* A) d% I0 |/ |$ ^! Q) v) q* B5%是业务优先，对业务影响最小；
100%恢复优先，对业务影响最大；
其他介于二者之间；

osd_min_pg_log_entries 正常情况下PGLog的记录的条数，
4 P4 M) p' [/ p! n' ~% l( S' gosd_max_pg_log_entries 异常情况下pglog记录的条数，达到该限制会进行trim操作

admin

部署一套可供生产环境使用的ceph集群，考虑的问题比较多，特别是配置文件的配置量参数。这里记录调试后的配置参数：

: v( w: y; F8 V/ t[global]

7 d5 \. ^7 G) Pfsid = 1235bE62-8ae1-difg-893a-892a675757c6
/ f% C2 e% i- `3 p- G8 G
mon_initial_members = ceph-node01,ceph-node02,ceph-node03
! ~$ O: ~. X; W" S% j
mon_host = 192.168.170.11,192.168.170.12,192.168.170.13

2 W  q9 Y5 c$ v1 Uauth_cluster_required = cephx
8 z4 J+ ]; `  F- A+ B
auth_service_required = cephx

auth_client_required = cephx

public_network = 192.168.170.0/22 #管理网络

! Z# X/ J6 F0 H* Qcluster_network = 192.168.180.0/22 #集群网络
& L) i& i1 @* z. W
# B8 r% R& [2 k- ?  A! j+ vmon_pg_warn_max_per_osd = 1000 #每个osd上pg数量警告值，这个可以根据具体规划来设定
0 f9 q" D5 A7 ?) I1 g
osd_pool_default_size = 3 #默认副本数为3
; A( }$ l. U) S9 H: Q- V
osd_pool_default_min_size = 2 #最小副本数为2，也就是只能坏一个

! H! \! Q- T1 s. `( Dmon_osd_full_ratio = .85 #存储使用率达到85%将不再提供数据存储
; S8 w# U) i6 `/ J, r
mon_osd_nearfull_ratio = .70 #存储使用率达到70%集群将会warn状态
6 u3 w2 J& t1 k0 y/ V( }
: {6 e! `5 g) g: zosd_deep_scrub_randomize_ratio = 0.01 #随机深度清洗概率,值越大，随机深度清洗概率越高,太高会影响业务
8 h* t$ P6 A! {8 r
[osd]

/ r  A) q5 y6 z: Aosd_max_write_size = 1024 #默认90M，一次写操作最小值

osd_recovery_op_priority = 1 #默认为10, 1-63 osd修复操作的优先级, 。值越小，优先级越低

: X# @6 O3 `5 e9 u+ aosd_recovery_max_active = 1 #限定每个osd上同时有多少个pg可以同时进行recover

osd_recovery_max_single_start = 1 # 和osd_recovery_max_active一起使用，要理解其含义。假设我们配置osd_recovery_max_single_start为1，osd_recovery_max_active为3，那么，这意味着OSD在某个时刻会为一个PG启动一个恢复操作，而且最多可以有三个恢复操作同时处于活动状态。

, @" o1 B- w  V4 Iosd_recovery_max_chunk = 1048576 #默认为8388608, 设置恢复数据块的大小，以防网络阻塞
$ K* T1 t$ k, i% U. B
9 C' B3 M' g. K* Q% B6 u* e$ hosd_recovery_threads = 1 #恢复数据所需的线程数

1 _7 Y" c7 K" Sosd_max_backfills = 1 #集群故障后,最大backfill数为1，太大会影响业务

3 ^+ {) t% C" e- ~osd_scrub_begin_hour = 22 #清洗开始时间为晚上22点
/ D1 a  ~5 r- o0 i% t$ J1 ^
osd_scrub_end_hour = 7 #清洗结束时间为早上7点

; K( C% W5 l0 C8 _# Z4 {" Josd_recovery_sleep = 0 #默认为0，recovery的时间间隔，会影响recovery时常，如果recovery导致业务不正常，可以调大该值，增加时间间隔
, c: |% p  g& E
( \( D* K5 j& M( W& rosd_crush_update_on_start = false # 新加的osd会up/in,但并不会更新crushmap，prepare+active期间不会导致数据迁移
3 ^" Q  X  M& N& a- v
. W& E- F; ?, ?$ D+ h% T- u8 F
9 g( P& Z% \) E3 X
4 d. t& a9 h" n' z: b. [& O$ \. z

admin

参数解析
% ~1 I- h" g% L7 g  y7 T0 `
7 }! y  `$ T/ g) l. l
6 u- P% d. ^4 k% b7 y! T- j+ M7 s* `
2 u$ D" W0 K4 T/ Iosd_max_backfills : 一个osd上最多能有多少个pg同时做backfill。其中osd出去的最大backfill数量为osd_max_backfills ，osd进来的最大backfill数量也是osd_max_backfills ，所以每个osd最大的backfill数量为osd_max_backfills * 2；
osd_recovery_sleep: 出队列后先Sleep一段时间，拉长两个Recovery的时间间隔；
; b3 o2 L8 a% X9 S1 I0 k$ v: Y0 [. L
3 K6 \3 _( e- J' I5 z
- M; j3 J9 S7 H4 w- K2 N, m4 H以下二个参数，网上解释大多有误导，结合代码以及官方材料分析为：

( X  ?  L% Z' r! {$ I# Dosd_recovery_max_active: 每个OSD上同时进行的所有PG的恢复操作（active recovery）的最大数量；
osd_recovery_max_single_start: OSD在某个时刻会为一个PG启动恢复操作数；
% {( _7 \% o( t$ t0 E

这两个参数需要结合在一起分析：
6 B9 V5 G: [! J$ S; G, y
6 @! h. c1 |1 x5 Wa.假设我们配置osd_recovery_max_single_start为1，osd_recovery_max_active为3，那么，这意味着OSD在某个时刻会为一个PG最多启动1个恢复操作，而且最多可以有3个恢复操作同时处于活动状态。
b.假设我们配置osd_recovery_max_single_start为2，osd_recovery_max_active为3，那么，这意味着OSD在某个时刻会为一个PG最多启动2个恢复操作，而且最多可以有3个恢复操作同时处于活动状态。例如第一个pg启动2个恢复操作，第二个pg启动1个恢复操作，第三个pg等待前两个pg 恢复操作完进行新的恢复。
9 f1 R' k7 k8 Y6 O& ?" J
' _* ~1 C( e8 Q) N' b  g
recovery相关参数
' \9 u" K- y0 n: @/ L
复制代码
+ S9 Q: S# _( T" o, ?osd_max_backfills:默认值10. 一个osd上承载了多个pg。可能很多pg都需要做第二种recovery,即backfill。 设定这个参数来指明在一个osd上最多能有多少个pg同时做backfill。
% |4 E4 R. E( O) N2 i2 b# Kosd_recovery_max_active：默认值15. 一个osd上可以承载多个pg, 可能好几个pg都需要recovery,这个值限定该osd最多同时有多少pg做recovery。
osd_recovery_max_single_start：默认值5. 这个值限定了每个pg可以启动recovery操作的最大数。
. z% g1 T: [1 ?, h4 s/ Gosd_recovery_max_chunk: 默认值8388608. 设置恢复数据块的大小，以防网络阻塞
osd_recovery_op_priority: 默认值10. osd修复操作的优先级, 可小于该值
; H( t* b( w' V$ A+ qosd_recovery_sleep: 默认值0. revocery的间隔
复制代码
& Y4 J2 Q+ w/ Q. s  F( C

默认配置参数：
$ [7 j5 l  s' I+ A% m! S"osd_max_backfills": "1",
"osd_recovery_sleep": "0",
, F9 A9 Y; |. H. [: d6 W5 y"osd_recovery_max_active": "3",
3 u6 o( Y& {4 u- \, t"osd_recovery_max_single_start": "1",


推荐配置参数：
) F- G: i' v7 l9 ?3 g级别:
; q. n0 S/ X- Q3 A9 J; {5%是业务优先，对业务影响最小；
100%恢复优先，对业务影响最大；
其他介于二者之间；

osd_min_pg_log_entries 正常情况下PGLog的记录的条数，
osd_max_pg_log_entries 异常情况下pglog记录的条数，达到该限制会进行trim操作

admin

15.1 服务相关
systemctl status ceph*.service ceph*.target #查看所有服务
1 m, j$ |  @  y! |3 K  e3 t2 Q. v8 lsystemctl stop ceph*.service ceph*.target #关闭所有服务
systemctl start ceph.target #启动服务
- k3 G; G8 ^& W: p6 r. Bsystemctl stop ceph-osd*.service # 关闭所有osd服务
  G3 j  o& @, F0 t- esystemctl stop ceph-mon*.service #关闭所有mon服务
/ [# B' Y$ Z& usudo systemctl start ceph-osd@{id} #启动单个osd服务
sudo systemctl start ceph-mon@{hostname} #启动单个mon服务
sudo systemctl start ceph-mds@{hostname} #启动单个mds服务
15.2 查看
ceph -help #查看命令帮助
ceph -s #查看状态
) c( v) r8 F( o; ?9 N- Kceph osd pool set rbd pg_num 1024 # 修改pg_num数量
' Z: M  c4 ]: A8 ~ceph osd pool set rbd pgp_num 1024 # 修改pgp_num数量
ceph osd tree #查看osd树列表
ceph osd pool ls #查看所有的osd池
ceph --admin-daemon /var/run/ceph/ceph-osd.0.asok config show # 查看指定的osd运行中的所有参数
rados df #查看储存池使用情况
rados -p rbd ls |sort
7 m1 c, l# p) P2 l" v/ l+ Jceph osd pool get rbd pg_num
ceph osd pool get rbd pgp_num
% s" E: c& P: x! ^# fceph osd pool set rbd pg_num 1024
ceph osd pool set rbd pgp_num 1024
15.3 rbd相关
rbd create --size {megabytes} {pool-name}/{image-name}
" O) k- Y; M7 z7 I( }* ?/ hrbd list
6 _0 I9 |# C9 ]' J5 y7 ]# Irbd info RBD_NAME
rbd feature disable RBD_NAME FEATURE1 FEATURE1 …
" G- f# e# W5 a* ^rbd map RBD_NAME #映射到系统内核
. ~5 i+ ~, {: X, r; u, irbd showmapped #查看rbd映射条目
rbd unmap /dev/rbd0 # 取消内核映射
$ b7 s0 w8 A! ~# w. g0 k( H6 U7 v2 erbd resize --size 2048 RBD_NAME # to increase
rbd resize --size 2048 RBD_NAME --allow-shrink #to decrease
rbd du {RBD_NAME} -p rbd #查看某个或所有Image的容量,-p 指定pool名
* b, ~9 J& `% Crbd diff RBD_NAME | awk ‘{ SUM += $2 } END { print SUM/1024/1024/1024 " GB" }’ #查看rbd image当前占用大小
+ h1 B1 o; D1 l3 z$ B15.4 修改
8 k) V% a" p  Fceph tell # 使用tell命令手动临时修改组件的配置
2 h5 c( G6 B+ x1 e6 R8 J[例如:集群状态恢复涉及数据回填时,加速回填速度]
' c! P, v1 r2 o" k
0 C! d3 \! T# Z) m3 H; iceph tell ‘osd.*’ injectargs ‘–osd-max-backfills 20’ #默认为1
ceph tell ‘osd.*’ injectargs ‘–osd-recovery-max-active 10’ #默认为3