ceph 测试磁盘 recovery的速度控制

admin

本次测试在无读写情况下进程的
, U6 o) [; D- b几个需要用到脚本和命令
磁盘本身的大概速度
6 j3 t3 {, E- \( W' |  p

[root@ceph-2 ~]# ceph tell osd.2 bench

9 d1 t/ k9 T( X( b1 S; D3 Y{
    "bytes_written": 1073741824,
    "blocksize": 4194304,
    "bytes_per_sec": 33975481
  j2 L! u' E  z: Z% M, o/ O5 X) M}
: i" L* q- z" R  N# Q- w% \

得到的结果为32MB/s
0 |% W, o2 L% l) ?9 k7 O获取osd上pg迁移的对象的脚本

OSD的日志需要开启到10，这里采取动态开启的方式

[root@ceph-2 ~]#
7 z" n+ X, ?2 G[root@ceph-2 ~]# ceph daemon osd.2 config set debug_osd 10
{
/ }# \+ J& C# N5 e4 o    "success": ""
}
% u8 q! a& M* u, R- q% \/ t1 b0 }) w
9 h0 f4 [. }3 x8 H& H  K+ {) ~日志解析的脚本
2 q- B& F) f- `1 z$ v3 M! E, M
$ [# ^' g8 c1 e5 t7 l[root@ceph-2 ~]# cat /var/log/ceph/ceph-osd.2.log |awk '$7=="finish_recovery_op" && $8=="pg[0.15("{sub(/.*/,substr($2,1,8),$2);print $0}' |awk '{a[$1,"",$2]++}END{for (j in a )print j,a[j]|"sort -k 1"}'
* G- a  i4 w- `% a9 o/ K, M2 |6 s[root@ceph-2 ~]# cat /var/log/ceph/ceph-osd.2.log |awk '$7=="finish_recovery_op" && $8=="pg[0.15("{sub(/.*/,substr($2,1,8),$2);print $0}' |awk '{a[$1,"",$2]++}END{for (j in a )print j,a[j]|"sort -k 1"}'
[root@ceph-2 ~]# cat /var/log/ceph/ceph-osd.2.log |awk '$7=="finish_recovery_op" && $8=="pg[0.15("{sub(/.*/,substr($2,1,8),$2);print $0}' |awk '{a[$1,"",$2]++}END{for (j in a )print j,a[j]|"sort -k 1"}'
7 ?1 M# `( L6 {4 w6 p7 ~[root@ceph-2 ~]# cat /var/log/ceph/ceph-osd.2.log |awk '$7=="finish_recovery_op" && $8=="pg[0.15("{sub(/.*/,substr($2,1,8),$2);print $0}' |awk '{a[$1,"",$2]++}END{for (j in a )print j,a[j]|"sort -k 1"}'

1 I4 K2 F) N2 Q  e( g* k  L+ k

6 E+ J6 K+ d: Y$ H6 l[root@ceph-2 ~]# cat /var/log/ceph/ceph-osd.2.log |awk '$7=="finish_recovery_op" && $8=="pg[0.15("{sub(/.*/,substr($2,1,8),$2);print $0}' |awk '{a[$1,"",$2]++}END{for (j in a )print j,a[j]|"sort -k 1"}'
[root@ceph-2 ~]# ceph pg dump |grep recovering
dumped all
获取当前的正在迁移的PG
[root@ceph-2 ~]#  ceph pg dump|grep recovering|awk '{print $1,$2,$4,$10,$15,$16,$17,$18}'
0 l$ h: t5 x# X$ I$ c  b1 o-bash: a: command not found
  W" S$ L0 V8 i+ n. I% O# i9 udumped all
2 J5 k1 j- E9 h& u# H1 T[root@ceph-2 ~]# ceph pg dump |grep recovering |awk '{print $1,$2,$4,$10,$15,$16,$17,$18}'
dumped all

% E7 C2 t8 y2 G6 J4 |: u1 u过滤下输出结果
9 X1 S7 T% Y' `0 r

- v2 s5 `5 Z" m" a% w5 Q* G% U
动态监控PG的迁移
0 b! j$ o7 ]" u2 [' o! n[root@ceph-2 ~]# watch -n 1 -d "ceph pg dump|grep recovering |awk '{print ,}'"
- K# x9 Q; Y' Y: K" R1 e[root@ceph-2 ~]# watch -n 1 -d "ceph pg dump|grep recovering |awk '{print }'"
; a4 L- g4 u: \* x) q[root@ceph-2 ~]#


# Q, i' d+ b9 I3 c0 j8 ^9 p

重启OSD进程

systemctl restart ceph-osd.target

磁盘的读写速度

dstat -td -D /dev/sdb -o disk.csv

sdb为需要监控的盘
5 a7 Z  W: U- }, C测试的步骤与流程

整个测试需要保证每一次获取数据的过程都近似，这样才能最大程度减少环境对数据的影响

开始需要写入一些测试数据，这个可以用

rados -p rbd bench 3600 --no-cleanup

这个让每个PG上面大概有600-700个object，写入这个数据后就不再写入数据了