ceph 存储测试工具详解

admin

dd：磁盘读写性能测试
　　语法：
　　dd if=/dev/zero of=/root/testfile bs=10G count=1 oflag=direct/dsync

  f* ^* A% F  \# Q3 u　　iperf3：常见的网络带宽性能测试
+ A% a+ ~9 Y' P　
　rados bench：Ceph 自带的 rados 性能测试工具。
　　语法：
/ i5 c  O' i' R  F# C+ d　　rados bench -p -b -t --no-cleanup
　　rados load-gen：Ceph 自带的 rados 性能测试工具，可在集群内产生指定类型的负载，比 rados bench 功能丰富，能指定更多的参数。
6 h% ~% F! g+ u  p　　
语法：
. P4 I( q5 g# q; p# w7 w3 X　　rados -p rbd load-gen
　　选项说明：
　　--num-objects       #产生的对象数目
　　--min-object-size   #最小对象大小
' a: i' E/ ~- {/ V　　--max-object-size   #最大对象大小
  \! M8 P: Q6 W7 A" f! l) S: Q* B　　--max-ops           #最大操作数目
: @" z2 ?' w; A2 e　　--min-op-len        #最小操作长度
" K- O0 Z: h  o) s1 `% o　　--max-op-len        #最大操作长度
8 N0 F, x/ l4 H& I3 L' U　　--read-percent      #读操作的百分比
. {2 B+ G3 a6 x- A　　--target-throughput #目标吞吐量，单位 MB
! ^% T( y0 ~" X" `$ Q$ B3 d0 u( j　　--run-length        #运行时长，单位秒
　
" J% M! w& \, K/ G( ?! R　rbd bench-write：ceph 自带的 rbd 性能测试工具，只能对块设备做写测试。
　　
语法：
7 m+ y( t+ V# m! d, U4 v+ O* k　　rbd bench-write
　　选项说明：
; m: @6 R( ^, N0 i3 j# g　　--io-size：单位 byte，默认 4M
( D  `* B+ v9 b% I* A9 ]　　--io-threads：线程数，默认 16
　　--io-total：总写入字节，默认 1024M
: c+ S7 o' O* }" j　　--io-pattern <seq|rand>：写模式，默认为 seq 即顺序写
0 _/ K  m% @- Y　　fio + rbd ioengine：fio 结合 rbd IO 引擎的性能测试工具。
　　说明：Linux 平台上做 IO 性能测试的瑞士军刀，可以对使用内核内 rbd 和用户空间 librados 进行比较，标准规则：顺序和随机 IO，块大小：4k，16k，64k，256k，模式：读和写，支持混合模式。
　　fio + libaio：fio 结合 linux aio 的 rbd 性能测试。
& @+ d- g& Q* q' {8 f! _/ D3 ?: T

　　OSD 磁盘写性能
. E3 I% v$ L( j6 n& W0 q　　# echo 3 > /proc/sys/vm/drop_caches
. ], q9 {# @3 c3 \, R6 C　　# dd if=/dev/zero of=/var/lib/ceph/osd/ceph-0/delete_me bs=1G count=1 oflag=direct
0 ?% }' M% D" W- m　　OSD 磁盘读性能
5 y! o( K% k; X7 m# [　　# dd if=/var/lib/ceph/osd/ceph-0/delete_me of=/dev/null bs=1G count=1 iflag=direct
3 R2 t3 V1 q* f+ H/ S$ r1 ]
2 u- w# X- [9 z  _, T+ t7 G. I
- \/ z7 ~1 G* @! R　　网络性能
/ m& p, T7 X7 A! J  C　　服务端：
) r: [3 g- h9 e* Y　　# iperf3 -s -D -f m -i 1
' B# B% n- @/ @& i1 j/ ]# X　　客户端：
　　# iperf -c <服务端IP>
　　RADOS 性能测试：使用 Ceph 自带的 rados bench 工具。
  r6 g0 F% o% N- q: g　　该工具的语法为：
$ Q& n, ?( C7 U; Z& S- @　　rados bench -p <pool_name> <seconds> <write|seq|rand> -b <block size> -t --no-cleanup
　　选项说明：
$ M7 s9 D% c0 W! N1 i　　pool_name：测试所针对的存储池；
　　seconds：测试所持续的秒数；
　　<write|seq|rand>：操作模式，write：写，seq：顺序读；rand：随机读；
9 {6 I; Y* _8 i9 l1 L8 I0 w　　-b：block size，即块大小，默认为 4M；
6 }. q1 t! p: k7 q" }3 E　　-t：读/写并行数，默认为 16；
　　--no-cleanup：表示测试完成后不删除测试用数据。在做读测试之前，需要使用该参数来运行一遍写测试来产生测试数据，在全部测试结束后可以运行 rados -p <pool_name> cleanup 来清理所有测试数据。
2 |1 l3 b- ~& q5 B" C9 c　　写：
　　# rados bench -p rbd 10 write --no-cleanup
, }5 _) V. P0 |& x6 s, A0 B　　顺序读：
, l  Y6 R2 J1 Y3 \" c; ]　　# rados bench -p rbd 10 seq
$ U- E; R( I  }- e% s6 m, l　　随机读：
3 L/ [% d1 c6 |- c$ S0 q　　# rados bench -p rbd 10 rand
: r' c- `5 o# z4 S! L1 @0 L　　RADOS 性能测试：使用 rados load-gen 工具。
　　该工具的语法为：
7 V4 U6 X: l" p$ @0 ]4 v) Z$ _　　rados -p rbd load-gen
5 G  G7 o* [3 {! b9 e9 M2 r# q　　选项说明：
　　--num-objects        初始生成测试用的对象数，默认 200；
* |; a) h$ s: T- w% H9 c8 e　　--min-object-size    测试对象的最小大小，默认 1KB，单位byte；
  M3 T( |3 _, m' L# p　　--max-object-size    测试对象的最大大小，默认 5GB，单位byte；
　　--min-op-len         压测IO的最小大小，默认 1KB，单位byte；
4 w* N0 M: D# K6 s% ^3 ^　　--max-op-len         压测IO的最大大小，默认 2MB，单位byte；
3 M( [! R) l( m; r" J! W　　--max-ops            一次提交的最大IO数，相当于iodepth；
　　--target-throughput  一次提交IO的历史累计吞吐量上限，默认 5MB/s，单位B/s；
1 c% t) G1 ~! _7 P　　--max-backlog        一次提交IO的吞吐量上限，默认10MB/s，单位B/s；
6 r/ i5 H: P; Q　　--read-percent       读写混合中读的比例，默认80，范围[0, 100]；
: R4 Z- Y: G8 H% G* A　　--run-length         运行的时间，默认60s，单位秒；
/ F% F- \1 |" _$ h+ H/ s5 e　　运行命令：
　　# rados -p rbd load-gen --read-percent 0 --min-object-size 1073741824 --max-object-size 1073741824 --max-ops 1 --read-percent 0 --min-op-len 4194304 --max-op-len 4194304 --target-throughput 1073741824 --max_backlog 1073741824
, y- x% f* @4 f# }* H　　可见，与 rados bench 相比，rados load-gen 的特点是可以产生混合类型的测试负载，而 rados bench 只能产生一种类型的负载。但是 load-gen 只能输出吞吐量，只合适做类似于 4M 这样的大block size 数据测试，输出还不包括延迟。
　　使用 rbd bench-write 进行块设备写性能测试。
2 O# u8 J2 e" W& _/ [6 B7 B& y7 V　　执行如下命令来准备 Ceph 客户端中的块设备：
7 Q3 H( j5 u; q8 `/ T! B+ @　　# rbd create test --size 1024 --image-feature layering
　　# rbd info test
. A, P0 R7 [7 C4 [& t( e3 U　　# rbd map test
" T  N! Y4 U+ h% w4 b! b: o6 M) k2 g　　# rbd showmapped
　　# mkfs.xfs /dev/rbd1
　　# mkdir -p /mnt/test
　　# mount /dev/rbd1 /mnt/test
% c5 ~* j- R/ s+ F9 _2 A) ?( ^　　# df -h /mnt/test
　　测试工具：
/ J. {9 ?# Q5 `9 `　　rbd bench-write 的语法为：
7 V7 w& _4 x: o6 W: M4 I　　rbd bench-write
　　可以带如下参数：
' r) l; t6 A2 G/ i5 `& K% h　　--io-size：单位 byte，默认 4096 bytes = 4K；
　　--io-threads：线程数，默认 16；
4 l( t0 b; A1 p- w, f1 J0 e3 T　　--io-total：总写入字节，单位为字节，默认 1024M；
　　--io-pattern <seq|rand>：写模式，默认为 seq 即顺序写；
　　分别在OSD节点和客户端上做测试：
. x" O  M1 |" x　　（1）在 OSD 节点上做测试
　　# rbd bench-write test --io-total 171997300
* u- X; ~/ A3 V　　（2）在客户端上做测试
0 \/ f3 e- K; n; L5 g3 C: g& _　　# rbd bench-write test --io-total 1719973000 --io-size 4096000
　　# rbd bench-write test --io-total 1719973000
! s& X) _; k4 Q/ H7 g  K6 G. E0 `　　使用 fio + rbd ioengine
3 i" N$ a. z& }4 k% h　　运行 apt-get install fio 来安装 fio 工具，并创建 fio 配置文件write.fio：
0 ~  B& s' n0 b- G1 f$ m4 h　　[write-4M]
　　description="write test with block size of 4M"
* i6 t7 r8 R- h$ C; N( `3 d　　ioengine=rbd
　　clientname=admin
  i3 ]# I8 S5 L; ~! z5 V　　pool=rbd
9 G7 r! X1 z7 Y: X, A+ {$ o　　rbdname=test
1 g+ ^8 z+ M) l! p! X　　iodepth=32
% x- u( j% N1 V9 \　　runtime=120
  ]% C0 T: P! e) D. R' ~& f　　rw=write
　　bs=4M
　　write：表示顺序写
　　randwrite：表示随机写
5 ^4 Y4 O0 a; w# ]3 f  C　　read：表示顺序读
　　randread：表示随机读
　　运行命令：
　　# fio write.fio
$ M; l# e5 c" q$ `' k* t' E+ `　　使用 fio + libaio 进行测试。
　　libaio 是 Linux native asynchronous I/O。
# {( K5 g( l8 X　　有几种测试模式：
　　随机写：
: z4 Q% c+ ^( ^/ P8 r! H, b: H- ]　　# fio -filename=/mnt/test/test -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=libaio -bs=4M -size=1G -numjobs=1 -runtime=120 -group_reporting -name=read-libaio
　　随机读：
　　# fio -filename=/mnt/test/test -direct=1 -iodepth 1 -thread -rw=randread -ioengine=libaio -bs=4M -size=1G -numjobs=1 -runtime=120 -group_reporting -name=read-libaio
: k2 Q' q0 l* S3 d6 M" h/ ]/ h5 O　　顺序写：
　　# fio -filename=/mnt/test/test -direct=1 -iodepth 1 -thread -rw=write -ioengine=libaio -bs=4M -size=1G -numjobs=1 -runtime=120 -group_reporting -name=read-libaio
　　顺序读：
　　# fio -filename=/mnt/test/test -direct=1 -iodepth 1 -thread -rw=read -ioengine=libaio -bs=4M -size=1G -numjobs=1 -runtime=120 -group_reporting -name=read-libaio
　　这些参数的含义是：
　　filename：表示待测试的设备名称；
　　iodepth： libaio 会用这个 iodepth 值来调用 io_setup 准备个可以一次提交 iodepth 个 IO 的上下文，同时申请个io请求队列用于保持IO；
　　iodepth_batch：在压测进行的时候，系统会生成特定的IO请求，往io请求队列里面扔，当队列里面的IO个数达到 iodepth_batch 值的时候；
8 @2 A8 _1 {" ]' w9 R　　iodepth_batch_complete 和 iodepth_low： 调用 io_submit 批次提交请求，然后开始调用 io_getevents 开始收割已经完成的IO。 每次收割多少呢？由于收割的时候，超时时间设置为0，所以有多少已完成就算多少，最多可以收割 iodepth_batch_complete 值个。随着收割，IO队列里面的IO数就少了，那么需要补充新的IO。 什么时候补充呢？当IO数目降到 iodepth_low 值的时候，就重新填充，保证 OS 可以看到至少 iodepth_low 数目的io在队列口排队着。

admin

１．压测Ceph带宽数据
7 y" M. t/ w# ~: I指的是硬盘或设备(路由器/交换机)在传输数据的时候数据流的速度
0 x4 ^# c* u* d
* r# I+ N. W% s2 E+ k, u. C(1) 在rbd pool创建一个test块设备，大小为100G，这个大小可以超过pool本身大小，因为是瘦分配．
1 }' w; C3 R: {- p* y* p( a: k[root@node-1 ~]# rbd create rbd/image --size 100G --object-size 4M --image-feature layering --stripe-unit 4M --stripe-count 1
! @$ R! n/ [, U5 a(2) 映射该设备到机器
[root@node-1 ~]# rbd map rbd/image
6 F2 U4 e* l6 P/dev/rbd1
(3) 该设备可以初始化，挂载并使用
7 J0 s/ ?' \, g3 w8 O, l! y8 _(4) 对该设备进行带宽压测，bs需要大点
[root@node-1 ~]# dd if=/dev/zero of=$(rbd showmapped | grep test2 | awk '{print$5}') bs=1M count=102400
(5) 解除该设备对本机的映射
[root@node-1 ~]# rbd unmap rbd/test2
" l. F8 _! `  I' _. k) \8 F(6) 删除该块设备
4 \7 F/ J1 g* [# a[root@node-1 ~]# rbd rm rbd/test2
1 }5 s7 [2 X8 Q4 u2 r& pRemoving image: 100% complete...done.
２．压测Ceph IOPS
  f0 u% R- u" z9 K$ V指的是系统在单位时间内能处理的最大的I/O频度，是衡量磁盘性能的主要指标之一
(1) 用以上创建的块设备，用fio命令对该设备进行压测读，其中bs=4k，先写入设备，线程深度大点-iodepth 16
4 S( [: s, G9 }  f* {' R6 s[root@node-1 ~]# fio -filename=/dev/rbd4 -direct=1 -iodepth 16 -thread -rw=write -ioengine=psync -bs=4k -size=10G -numjobs=10 -name=mytest --eta-newline=1
3 l% K0 m- n$ \1 T% c* a1 T$ x(2) 从设备读．
[root@node-1 ~]# fio -filename=/dev/rbd4 -direct=1 -iodepth 16 -thread -rw=read -ioengine=psync -bs=4k -size=10G -numjobs=10 -name=mytest --eta-newline=1
(3) 通过ceph -s可以看到实时的数据，op/s rd（读），op/s wr（写）
; T, _5 q2 U, X# a4 k[root@node-1 ~]# ceph -s
1 a8 ~, k* [6 M) }  cluster:
    id:     1a6c90fe-b0e4-4ace-85ce-9f0582c483d0
    health: HEALTH_WARN
- q! s$ ?& T( i) {1 b# D            Degraded data redundancy: 10563/51294 objects degraded (20.593%), 23 pgs degraded, 23 pgs undersized
5 i; E; x2 N' w
  services:
7 G# X  S7 K; y. E    mon:        3 daemons, quorum node-1,node-2,node-3
0 I1 h" G- U$ I* T5 J4 r# f    mgr:        node-3(active), standbys: node-2, node-1
    osd:        6 osds: 6 up, 6 in; 23 remapped pgs
# q) T1 b# N' C: o% `  {, x# h                flags nodeep-scrub
4 f7 z2 h1 E5 D7 p    rbd-mirror: 1 daemon active
5 ~$ u) o& o/ b9 ]$ {) P& }    rgw:        3 daemons active

  data:
    pools:   12 pools, 96 pgs
- s* s. H) b/ i    objects: 17.10k objects, 49.7GiB
2 G8 q+ S, }0 F6 d3 W; `% T& f    usage:   150GiB used, 768GiB / 918GiB avail
    pgs:     10563/51294 objects degraded (20.593%)
             73 active+clean
1 _% i0 h5 B: }; {             22 active+undersized+degraded+remapped+backfill_wait
             1  active+undersized+degraded+remapped+backfilling

  io:
+ w3 h7 a3 I+ c# f- E2 X, T    client:   14.2MiB/s rd, 606KiB/s wr, 3.64kop/s rd, 43op/s wr
( o0 p3 Q8 s( w, R, C3 I1 H& w    recovery: 1.67MiB/s, 0objects/s

admin

磁盘性能测试
测试磁盘写吞吐量
使用dd命令对磁盘进行标准写测试。使用一下命令行读取和写入文件，记住添加oflag参数以绕过磁盘页面缓存。
( }6 U/ X2 ^: F  znode1:
[root@node1 ~]# dd if=/dev/zero of=here bs=1G count=1 oflag=direct
# u% f' S$ b* d' A记录了1+0 的读入
! ^3 X; P  |  U* O) g) x/ H' K记录了1+0 的写出
& D. g1 R1 R" i1073741824字节(1.1 GB)已复制，15.466 秒，69.4 MB/秒
node2:
[root@node2 ~]# dd if=/dev/zero of=here bs=1G count=1 oflag=direct
记录了1+0 的读入
记录了1+0 的写出
1073741824字节(1.1 GB)已复制，13.6518 秒，78.7 MB/秒
node3:
[root@node3 ~]# dd if=/dev/zero of=here bs=1G count=1 oflag=direct
记录了1+0 的读入
记录了1+0 的写出
0 p; U" f7 k; M1073741824字节(1.1 GB)已复制，13.6466 秒，78.7 MB/秒
node4:
[root@node4 ~]# dd if=/dev/zero of=here bs=1G count=1 oflag=direct
记录了1+0 的读入
& {, W( |3 i0 G" h7 G" b记录了1+0 的写出
+ F7 z" V9 R5 z0 i# ^. R; t1073741824字节(1.1 GB)已复制，13.6585 秒，78.6 MB/秒
; O) Z  M" b7 \& N( b# J8 H可以看出，除了node1节点外，磁盘吞吐量在 78 MB/s 左右。node1上没有部署osd，最终不作为ceph的读写性能评判参考。
测试磁盘写延迟
使用dd命令，每次写512字节，连续写1万次。
/ q( o7 e6 a9 |, N$ I  Q' f  Xnode1:
[root@node1 test]# dd if=/dev/zero of=512 bs=512 count=10000 oflag=direct
记录了10000+0 的读入
记录了10000+0 的写出
( U; C- j8 [+ @8 p/ l: `- W5120000字节(5.1 MB)已复制，6.06715 秒，844 kB/秒
6 n! h+ U8 b# _8 ^$ C; Lnode2:
[root@node2 test]# dd if=/dev/zero of=512 bs=512 count=10000 oflag=direct
记录了10000+0 的读入
" b2 T8 B! e0 r( `; C6 h; t5 f+ z0 K! m记录了10000+0 的写出
5120000字节(5.1 MB)已复制，4.12061 秒，1.2 MB/秒
. m! g) B1 l+ n; a9 Lnode3:
' `) N9 u; o) g0 W1 h. p. _[root@node3 test]# dd if=/dev/zero of=512 bs=512 count=10000 oflag=direct
记录了10000+0 的读入
; S. U3 a; A5 G7 g, e, N6 [记录了10000+0 的写出
  G6 [6 n  \: n; G! D! B! I/ E5120000字节(5.1 MB)已复制，3.88562 秒，1.3 MB/秒
node4:
[root@node4 test]# dd if=/dev/zero of=512 bs=512 count=10000 oflag=direct
9 z4 l- V8 g1 M5 ?记录了10000+0 的读入
记录了10000+0 的写出
5120000字节(5.1 MB)已复制，3.60598 秒，1.4 MB/秒
平均耗时4秒，平均速度1.3MB/s。
" [0 P+ y; ?; E$ d. ?8 H集群网络I/O测试
* o0 G  v8 k5 T5 X$ G" J3 s由于客户端访问都是通过rgw访问各个osd（文件存储服务除外），主要测试rgw节点到各个osd节点的网络性能I/O。
rgw到osd.0
在osd.0节点上使用nc监听17480端口的网络I/O请求：
[root@node2 ~]# nc -v -l -n 17480 > /dev/null
0 {% F; h; _& G% G' pNcat: Version 6.40 ( http://nmap.org/ncat )
2 J9 v7 a7 X- W6 d. ^Ncat: Listening on :::17480
Ncat: Listening on 0.0.0.0:17480
! M4 ?5 B* I( ?6 x* nNcat: Connection from 192.168.0.97.
Ncat: Connection from 192.168.0.97:33644.
在rgw节点上发起网络I/O请求：
[root@node2 ~]# time dd if=/dev/zero | nc -v -n 192.168.0.97 17480
Ncat: Version 6.40 ( http://nmap.org/ncat )
Ncat: Connected to 192.168.0.97:17480.
^C记录了121182456+0 的读入
' q/ Y; V. m  K0 W1 j. x+ T记录了121182455+0 的写出
0 R. {( T# b: p/ }2 A/ U; z7 N62045416960字节(62 GB)已复制，413.154 秒，150 MB/秒
real    6m53.156s
8 l& B" ^3 w$ a5 d4 j( }& Zuser    5m54.626s
2 L7 n5 Y/ x% j  J8 `- \sys    7m51.485s
网络I/O总流量62GB，耗时413.154秒，平均速度150 MB/秒。
rgw到osd.1
在osd.1节点上使用nc监听17480端口的网络I/O请求：
[root@node3 ~]# nc -v -l -n 17480 > /dev/null
6 c% Q9 K* b5 M+ Y' @& X. C& pNcat: Version 6.40 ( http://nmap.org/ncat )
1 U3 L" k, v" S" M8 DNcat: Listening on :::17480
5 [2 z3 p' @3 j7 A' ?( KNcat: Listening on 0.0.0.0:17480
2 n6 F9 [6 L& |" z+ INcat: Connection from 192.168.0.97.
Ncat: Connection from 192.168.0.97:35418.
在rgw节点上发起网络I/O请求：
[root@node2 ~]# time dd if=/dev/zero | nc -v -n 192.168.0.98 17480
# A. `2 _1 g. ^* sNcat: Version 6.40 ( http://nmap.org/ncat )
& O9 C' R1 L/ J: gNcat: Connected to 192.168.0.98:17480.
^C记录了30140790+0 的读入
% j3 U$ v* _, o, t, f) W+ a记录了30140789+0 的写出
/ q- t$ _/ X$ T7 u" I15432083968字节(15 GB)已复制，111.024 秒，139 MB/秒
( ^& S( r. Q, a0 [1 p& rreal    1m51.026s
user    1m21.996s
sys    2m20.039s
0 h+ X) W+ B) Q$ ^) d& o5 _网络I/O总流量15GB，耗时111.024秒，平均速度139 MB/秒。
rgw到osd.2
在osd.2节点上使用nc监听17480端口的网络I/O请求：
6 @2 T+ D* p8 @) e[root@node4 ~]# nc -v -l -n 17480 > /dev/null
Ncat: Version 6.40 ( http://nmap.org/ncat )
Ncat: Listening on :::17480
Ncat: Listening on 0.0.0.0:17480
  @# d$ y0 k% p  e$ l; j5 z9 H+ cNcat: Connection from 192.168.0.97.
  y& J- h8 [, ~! t( T. Z5 t- vNcat: Connection from 192.168.0.97:39156.
在rgw节点上发起网络I/O请求：
% ]! K; ^7 q1 D+ n* ]- U[root@node2 ~]# time dd if=/dev/zero | nc -v -n 192.168.0.99 17480
Ncat: Version 6.40 ( http://nmap.org/ncat )
2 t# w2 O  {$ O- O: k( W- X* X) r3 LNcat: Connected to 192.168.0.99:17480.
^C记录了34434250+0 的读入
! i/ c. P8 w4 ]* f" j/ L* d记录了34434249+0 的写出
3 M7 r& g" K- J% r. S5 ?17630335488字节(18 GB)已复制，112.903 秒，156 MB/秒
real    1m52.906s
user    1m23.308s
sys    2m22.487s
$ z' F1 F4 w1 O% f网络I/O总流量18GB，耗时112.903秒，平均速度156 MB/秒。
总结：集群内不同节点间，网络I/O平均在150MB/s左右。跟实际情况相符，因为本集群是千兆网卡。
rados集群性能测试
准备工作
查看ceph cluster的osd分布情况：
[root@node1 ~]# ceph osd tree
( I! C( |) R8 p& l/ ^& CID WEIGHT  TYPE NAME        UP/DOWN REWEIGHT PRIMARY-AFFINITY
; w$ i; [5 J; A/ l. V8 M-6       0 rack test-bucket
-5       0 rack demo
* x3 `+ X5 X# X5 ]- O0 o/ A-1 0.86458 root default
% {$ l- a! W( U-2 0.28819     host node2
8 D" R' Z! j: x/ m+ q4 F( ] 0 0.28819         osd.0         up  1.00000          1.00000
) b) u# H; }. x6 p- P- a- q-3 0.28819     host node3
1 0.28819         osd.1         up  1.00000          1.00000
-4 0.28819     host node4
5 ?& i3 h7 u! f6 @# g9 u( m9 ~ 2 0.28819         osd.2         up  1.00000          1.00000
8 F/ u( c6 A8 Q* ]5 C4 X* E  T可见该cluster部署了3个osd节点，3个都处于up状态（正常work）。
+ h+ [# n+ @0 w2 L; w# p为rados集群性能测试创建一个test pool，此池为 64 个 PGs，数据存三份；
0 v2 I2 }& K* ?; i[root@node1 ~]# ceph osd pool create test 64 64
; V$ `& d& X3 M6 A. ]$ }4 ipool 'test' created
[root@node1 ~]# ceph osd pool get test size
size: 3
[root@node1 ~]# ceph osd pool get test pg_num
9 |- T7 F  [2 e4 ]) Npg_num: 64
7 f9 X# L" Z. ~1 q7 H% M查看test pool默认配置：
[root@node1 test]# ceph osd dump | grep test
pool 12 'test' replicated size 3 min_size 2 crush_ruleset 0 object_hash rjenkins pg_num 64 pgp_num 64 last_change 37 flags hashpspool stripe_width 0
: [( p! |4 D+ K查看test poll资源占用情况：
0 d5 V6 J; _/ p6 p" A- l7 F, ]1 {[root@node1 test]# rados -p test df
pool name                 KB      objects       clones     degraded      unfound           rd        rd KB           wr        wr KB
1 Y5 s/ u  }& C2 _' _- e$ G5 Dtest                       0            0            0            0            0            0            0            0            0
4 B1 |5 t4 n+ Y  total used        27044652          192
  total avail      854232624
  total space      928512000
写性能测试
7 f0 j! P* I. C6 v$ Y' h测试写性能
8 \* W9 Q; Z7 r+ n/ x6 W[root@node1 ~]# rados bench -p test 60 write --no-cleanup
Maintaining 16 concurrent writes of 4194304 bytes to objects of size 4194304 for up to 60 seconds or 0 objects
Object prefix: benchmark_data_node1_26604
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
  s9 u/ ^2 l( R7 @    0       0         0         0         0         0           -           0
: x+ h% Z6 R% Z- F/ L$ d    1      16        31        15   59.9966        60    0.953952    0.614647
    2      16        38        22   43.9954        28     1.38736    0.781039
    3      16        46        30   39.9958        32     1.87801     1.06765
    4      16        61        45   44.9953        60     1.19344     1.23191
/ B+ p5 }( z0 i' p3 b( H" O6 }  Z    5      16        76        60   47.9949        60    0.993045     1.17022
2 r, Y; F" N) M1 q* j2 c% c    6      16        91        75   49.9946        60     1.00303      1.1498
$ z+ z* h6 f- n. B) D7 }4 S# V    7      16       106        90   51.4231        60    0.999574     1.13609
    8      16       119       103   51.4945        52     1.00504     1.12779
    9      16       122       106    47.106        12     1.20668     1.13173
" K) F+ |1 u8 q9 t! H   10      16       122       106   42.3954         0           -     1.13173
   11      16       125       109    39.632         6      2.8996     1.18213
2 Z. r) v" v+ V. M9 n   12      16       137       121   40.3289        48     3.90723     1.45272
( A3 O( l. l  ?6 z* |* g" ]/ Y   13      16       151       135   41.5339        56     1.10043     1.47333
   14      16       169       153   43.7096        72    0.927572      1.4129
& j5 J( F3 x8 ]   15      16       181       165   43.9952        48     1.02879     1.38739
3 E% s; a5 t& c7 O- B1 k. _. m! O   16      16       196       180   44.9951        60     1.08398     1.36665
; m1 A4 A  T( K* n* D: z   17      16       209       193   45.4068        52       1.117     1.34742
   18      16       212       196   43.5508        12     1.30703      1.3468
2 P  t% p0 L* `6 \   19      16       215       199   41.8902        12     2.79917     1.36874
" X) N; s' Y1 l: G6 q2018-03-20 17:06:48.745397 min lat: 0.229762 max lat: 4.09713 avg lat: 1.40039
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
' v" ^6 ]7 a+ m   20      16       218       202   40.3956        12     3.49784     1.40039
   21      16       225       209   39.8051        28     4.18987     1.48851
, T9 a" ~7 I- n2 F4 Z   22      16       241       225   40.9046        64     1.00629     1.53148
   23      16       256       240   41.7345        60     1.18098     1.49869
   24      16       271       255   42.4953        60      1.0017     1.47319
' J& P5 [& @: Y( |( |" t8 K, ?   25      16       286       270   43.1952        60     1.00118     1.45067
   26      16       299       283   43.5337        52     1.19813     1.43348
   27      16       302       286   42.3657        12     1.30607     1.43215
) x: e0 J; M, p' W* M* W3 d   28      16       302       286   40.8527         0           -     1.43215
+ ]% r. Q" E* j3 ?. t! K+ o% y   29      16       305       289   39.8577         6     3.00461     1.44847
: o& p: A. c4 j. h. \   30      16       316       300   39.9956        44     3.73721     1.54023
5 P4 I( Q( w  T" }* |7 R' S   31      16       331       315   40.6407        60     0.97103     1.54526
   32      16       346       330   41.2455        60    0.999926      1.5214
% r! r2 `& k0 r7 u& m$ k7 t   33      16       361       345   41.8136        60     1.00411     1.50169
   34      16       376       360   42.3483        60     1.00089     1.48355
   35      16       386       370   42.2811        40     1.20272      1.4727
   36      16       389       373   41.4399        12     1.50616     1.47296
   37      16       392       376   40.6442        12      3.1067       1.486
   38      16       395       379   39.8903        12     3.90852     1.50518
0 F7 }6 f# b; P' @$ ?   39      16       402       386   39.5854        28     4.12175       1.551
2018-03-20 17:07:08.747628 min lat: 0.229762 max lat: 4.29984 avg lat: 1.56868
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
) _# r- M, \. ]% q7 r/ l' Q   40      16       418       402   40.1956        64     1.07659     1.56868
' N% T/ f9 z+ S( N3 t   41      16       433       417   40.6784        60    0.999955     1.54939
  U. @7 M: x. m* s# b* }   42      16       448       432   41.1383        60     1.17664     1.53256
   43      16       463       447   41.5768        60     1.00297     1.51695
- s- {/ D9 d& p7 \! w   44      16       478       462   41.9953        60     1.00466     1.50234
0 G& Z9 q2 Z. k1 e) _! n8 d   45      16       479       463    41.151         4     1.19512     1.50168
   46      16       482       466   40.5172        12      2.6118     1.50882
   47      16       485       469   39.9105        12      3.3123     1.52034
   48      16       493       477   39.7456        32     4.00971     1.55901
   49      16       508       492   40.1588        60     1.01054     1.57611
   50      16       523       507   40.5555        60    0.996004     1.55869
# L; q" `2 ?! S   51      16       538       522   40.9366        60    0.997722     1.54464
   52      16       553       537   41.3031        60     1.19815     1.53113
   53      16       568       552   41.6557        60     1.21298     1.51864
   54      16       572       556   41.1806        16     1.49932     1.51797
' T& [# n+ M/ d0 u4 O; x! Z0 o. e   55      16       572       556   40.4318         0           -     1.51797
   56      16       575       559   39.9241         6     3.09559     1.52643
) b; ?7 a* I7 q   57      16       583       567    39.785        32     3.99229     1.55923
   58      16       595       579   39.9266        48     1.37706     1.57952
0 Q3 W' [0 ]' }   59      16       612       596   40.4022        68     0.89873     1.56855
2018-03-20 17:07:28.749935 min lat: 0.229762 max lat: 4.29984 avg lat: 1.56738
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   60      16       624       608   40.5288        48     1.65518     1.56738
, Z6 F- G. _' y5 r5 uTotal time run:         60.821654
Total writes made:      625
6 ^) }9 Z& z# e. V  B4 B1 XWrite size:             4194304
7 B+ c$ s$ Z9 s7 `! SObject size:            4194304
Bandwidth (MB/sec):     41.1038
! n+ c8 n( _3 f5 U0 RStddev Bandwidth:       23.0404
6 D8 m3 |6 A2 @( {Max bandwidth (MB/sec): 72
, p; H7 E, @9 n! }Min bandwidth (MB/sec): 0
' U* I0 a& X, T3 [9 ?Average IOPS:           10
! y& j: D; Z+ v$ oStddev IOPS:            5
+ T- M% |! \4 y+ F' b5 FMax IOPS:               18
$ F& r! P' K, I) f2 XMin IOPS:               0
0 ?9 g3 T9 `  cAverage Latency(s):     1.55581
; _% I" c* h- s" N. @# q1 SStddev Latency(s):      0.981606
Max latency(s):         4.29984
8 ~* q4 M5 T% ^. i4 Z! p, a+ A8 wMin latency(s):         0.229762
8 }- N2 X! @, c# f7 ]  T( W如果加上可选参数 --no-cleanup ，那么测试完之后，不会删除该池里面的数据。里面的数据可以继续用于测试集群的读性能。
db286e02f698d7c70c450985ca596074.png
( t- E  a* S' k: Q- F3 L从以上测试数据可以看出：数据写入时的平均带宽是41MB/sec，最大带宽是72，带宽标准差是23（反应网络稳定情况）。
读性能测试
8 C- a2 K% i. D% A+ x/ S" s$ H# j测试读性能
# e, O( C# j: a0 O2 G+ `; H$ d[root@node1 ~]# rados bench -p test 60 rand
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
    0       0         0         0         0         0           -           0
1 C2 L; S" e: ^, Q' x    1      16       101        85   339.935       340    0.270579    0.147057
    2      16       145       129   257.955       176    0.246583    0.220784
    3      16       191       175   233.297       184     0.53086    0.253465
- ?# P9 W4 G) s7 V0 K    4      16       236       220   219.968       180   0.0326233    0.268682
    5      16       281       265   211.971       180    0.528696    0.286853
/ I9 P9 R; d& n7 d/ v) p    6      16       328       312   207.973       188   0.0203012    0.295207
    7      16       371       355   202.831       172    0.283736    0.303328
    8      16       415       399   199.475       176    0.508335     0.30781
4 Z2 `9 |  {4 x+ B+ H    9      16       461       445   197.753       184     0.24398    0.312503
- r6 e. X5 _. w$ c+ q1 f# @! O  ?  D, j   10      16       510       494   197.576       196    0.499586     0.31802
( N, g0 @) i6 i8 t" j8 @   11      16       556       540    196.34       184    0.259304    0.320708
   12      16       602       586    195.31       184    0.745053    0.320777
   13      16       646       630   193.823       176   0.0422189     0.32386
   14      16       692       676    193.12       184   0.0467997    0.326607
   15      16       735       719   191.711       172   0.0272729    0.327432
3 U6 D1 g8 K8 q+ A  l+ x   16      16       777       761   190.228       168   0.0160831    0.326381
8 {  R3 l+ r6 f" ?7 h   17      16       821       805    189.39       176    0.483385    0.330262
* v8 b$ }2 k: n! u  b/ k   18      16       865       849   188.645       176   0.0279903    0.330038
7 _, j( k* A8 n   19      16       913       897    188.82       192    0.237649    0.332631
& {/ v3 t1 m9 q$ g; p2018-03-20 17:08:51.231039 min lat: 0.00844047 max lat: 0.964959 avg lat: 0.332994
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   20      16       962       946   189.178       196   0.0115256    0.332994
) L4 e/ F) }" R, {& H" w$ v   21      16      1009       993   189.121       188     0.26545    0.334135
* b; J0 b6 G" C0 K0 n- v& S   22      16      1052      1036   188.342       172    0.502163    0.335411
2 V  J, n  N; B/ K- G! X4 q/ r   23      16      1095      1079   187.631       172    0.191482    0.335954
   24      16      1140      1124   187.312       180   0.0187187     0.33593
" b/ l4 x3 l: k   25      16      1187      1171   187.339       188   0.0128352    0.336301
8 w( Y$ p1 N% n7 u; ~   26      16      1232      1216   187.056       180   0.0260001    0.336886
' i, _* |( Q% J* D! a   27      16      1278      1262   186.942       184   0.0148474    0.336478
+ J8 z/ h1 k5 r8 b% o# X; _   28      16      1324      1308   186.836       184    0.723555    0.337355
   29      16      1367      1351   186.324       172   0.0246515    0.339247
   30      16      1412      1396   186.113       180   0.0120403    0.339659
" ^/ w8 ]6 e! j; j   31      16      1460      1444   186.302       192    0.569969    0.338129
5 }- P' G+ g& Z- Z: z) n+ n   32      16      1506      1490   186.229       184   0.0316037    0.340041
   33      16      1551      1535    186.04       180   0.0273989    0.340237
' K& j5 Z9 f' Z% S0 j  u   34      16      1596      1580   185.862       180    0.525298    0.340735
) {/ i7 M4 R- x) R   35      16      1638      1622   185.351       168   0.0101045     0.34052
; |, q  a0 e9 a+ F6 p) P   36      16      1686      1670   185.535       192   0.0159173     0.34091
# b9 X9 d$ B% p8 j! v   37      16      1731      1715   185.385       180    0.986173    0.339939
- R* F3 |) r+ I, ]   38      16      1775      1759   185.138       176   0.0152587    0.340806
: Z2 W( q. x& ^, ~5 i   39      16      1818      1802     184.8       172    0.216865    0.342337
- l0 r) f9 T) T8 V* G- w2018-03-20 17:09:11.233088 min lat: 0.0080755 max lat: 1.20072 avg lat: 0.342772
2 q1 f4 |2 C8 e. `3 H, @( J  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   40      16      1863      1847    184.68       180    0.298863    0.342772
   41      16      1907      1891   184.468       176    0.539937    0.341949
   42      16      1950      1934    184.17       172    0.501967    0.343196
   43      16      1997      1981   184.259       188    0.258521     0.34255
   44      16      2043      2027   184.253       184   0.0441231    0.343493
: t2 C8 `- ^2 @, Y   45      16      2088      2072   184.158       180    0.302963    0.343621
& f# v5 ~& Z9 p' l( H   46      16      2135      2119   184.241       188   0.0198267     0.34337
+ h- y" A) J; R& g   47      16      2179      2163   184.065       176     0.26388    0.343744
' B# h1 @& i: W) e$ V" y   48      16      2224      2208    183.98       180    0.274291    0.343872
9 W+ Z# w. B9 z1 g$ t   49      16      2268      2252   183.817       176   0.0345847    0.343383
9 L4 G$ u* k. {   50      16      2314      2298    183.82       184   0.0555181    0.344454
/ Y- [' c% U! M0 U# a2 `, E( t   51      16      2359      2343   183.745       180    0.288888    0.344362
   52      16      2405      2389   183.749       184    0.280761    0.344848
   53      16      2447      2431   183.452       168   0.0135715     0.34438
   54      16      2496      2480   183.684       196    0.259152    0.344883
) _/ x) e! e  k3 i8 c9 I8 s( J   55      15      2542      2527   183.762       188   0.0231959     0.34473
   56      15      2585      2570   183.552       172    0.235059    0.345157
   57      16      2627      2611   183.208       164    0.272916      0.3454
4 E, z# \5 M; V/ x4 U9 q. n& w$ S   58      16      2674      2658    183.29       188    0.534074    0.345242
; T: m) P  U/ w7 K" x2 m. v6 |) [( e   59      16      2717      2701   183.099       172    0.261746    0.345621
2018-03-20 17:09:31.235266 min lat: 0.0080755 max lat: 1.20072 avg lat: 0.344692
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
, N  q' x; o/ P$ R- i0 K   60      16      2765      2749   183.247       192    0.213941    0.344692
Total time run:       60.297422
" G. p$ o9 k4 k! ], L8 N# ^Total reads made:     2765
Read size:            4194304
3 Y. h4 f9 ~) W$ JObject size:          4194304
Bandwidth (MB/sec):   183.424
# c5 W5 y6 [( D8 h% \* TAverage IOPS:         45
Stddev IOPS:          5
Max IOPS:             85
" V  |. s$ ?% _1 eMin IOPS:             41
7 t: L# n! ^/ ~% \Average Latency(s):   0.346804
3 M9 O# |, t, @% u3 ?Max latency(s):       1.20072
Min latency(s):       0.0080755
1 o0 w0 @' I1 j. i  N! A205077995da5a719d553ccc9a4b1c4aa.png
# f+ H5 a8 t  B& g5 F& k0 l0 Y& E从以上测试数据可以看出：数据读取时的平均带宽是183MB/sec，平均延时是0.3 sec，平均IOPS是45。
4 ]1 @" O# o9 b2 L. c0 `. @测试数据清除
. t& N0 [/ D( orados -p test cleanup
$ o8 b$ u7 f2 {- X删除test池:
0 }& x  l; g3 o! G1 W( q% T[root@node1 ~]# ceph osd pool delete test test --yes-i-really-really-mean-it
9 G. z4 G5 b8 ~pool 'test' removed
9 h7 _' X. g9 Y( ~2 E5 O9 A