ceph 存储测试工具详解

admin

dd：磁盘读写性能测试
　　语法：
　　dd if=/dev/zero of=/root/testfile bs=10G count=1 oflag=direct/dsync

- W9 @: J% l  M4 c$ Z　　iperf3：常见的网络带宽性能测试
# w$ w, S$ B3 s$ [' J* X. w9 p　
　rados bench：Ceph 自带的 rados 性能测试工具。
　　语法：
　　rados bench -p -b -t --no-cleanup
2 `) y, e) \6 Y, w9 p2 H　　rados load-gen：Ceph 自带的 rados 性能测试工具，可在集群内产生指定类型的负载，比 rados bench 功能丰富，能指定更多的参数。
　　
语法：
3 s' N$ ?* h6 C8 u1 @) e　　rados -p rbd load-gen
9 C; ~1 V* u1 p　　选项说明：
# h. p8 Q% _5 J　　--num-objects       #产生的对象数目
+ |' {4 }+ W! F, p  N1 V% M* }　　--min-object-size   #最小对象大小
2 |# O: ^- T9 A- z1 Y$ A) j% C　　--max-object-size   #最大对象大小
　　--max-ops           #最大操作数目
+ A$ k3 K2 V4 J: s) m　　--min-op-len        #最小操作长度
) x3 |& k* b% N/ ?6 J　　--max-op-len        #最大操作长度
4 W6 O' [* O; L　　--read-percent      #读操作的百分比
　　--target-throughput #目标吞吐量，单位 MB
　　--run-length        #运行时长，单位秒
　
1 A* F; V/ T1 Y' V9 `　rbd bench-write：ceph 自带的 rbd 性能测试工具，只能对块设备做写测试。
　　
语法：
6 g6 \) F  T0 n　　rbd bench-write
5 m+ ~# F5 I0 k　　选项说明：
: X- t9 a& e4 t" J. u+ a　　--io-size：单位 byte，默认 4M
& ?( b3 F) ~: t0 o  h4 t　　--io-threads：线程数，默认 16
　　--io-total：总写入字节，默认 1024M
  _% q% V  H7 v, V" \. ^) H4 V6 M5 Q" n　　--io-pattern <seq|rand>：写模式，默认为 seq 即顺序写
2 ~/ J( i9 j4 d. b( z/ s　　fio + rbd ioengine：fio 结合 rbd IO 引擎的性能测试工具。
　　说明：Linux 平台上做 IO 性能测试的瑞士军刀，可以对使用内核内 rbd 和用户空间 librados 进行比较，标准规则：顺序和随机 IO，块大小：4k，16k，64k，256k，模式：读和写，支持混合模式。
　　fio + libaio：fio 结合 linux aio 的 rbd 性能测试。
8 O) _) G- o1 [, R9 [6 _, O" w/ B

4 X' b1 [8 J/ {: q, ^　　OSD 磁盘写性能
7 x  i* }3 [/ l- X5 p& x9 h　　# echo 3 > /proc/sys/vm/drop_caches
　　# dd if=/dev/zero of=/var/lib/ceph/osd/ceph-0/delete_me bs=1G count=1 oflag=direct
4 M7 I: G5 m) \　　OSD 磁盘读性能
+ c6 i0 U9 A; L8 z' o' @　　# dd if=/var/lib/ceph/osd/ceph-0/delete_me of=/dev/null bs=1G count=1 iflag=direct
6 Q. J1 _& E* W2 l. I: P4 X
3 n7 R( B6 o' y; u4 }9 X. o. E
& O* h$ g- `% Q! b7 O' M  A　　网络性能
  }8 o2 H( s, J4 y5 H4 W; p1 n　　服务端：
; n- f; j6 }6 S　　# iperf3 -s -D -f m -i 1
　　客户端：
　　# iperf -c <服务端IP>
6 A7 k, M) t$ ]+ O- N  w　　RADOS 性能测试：使用 Ceph 自带的 rados bench 工具。
　　该工具的语法为：
　　rados bench -p <pool_name> <seconds> <write|seq|rand> -b <block size> -t --no-cleanup
　　选项说明：
　　pool_name：测试所针对的存储池；
4 ~& h8 A2 @  b' [+ o　　seconds：测试所持续的秒数；
　　<write|seq|rand>：操作模式，write：写，seq：顺序读；rand：随机读；
　　-b：block size，即块大小，默认为 4M；
) n$ u, G- s: ^! }& H* Q　　-t：读/写并行数，默认为 16；
; Z+ u& ?% p, v7 G& N8 C: s　　--no-cleanup：表示测试完成后不删除测试用数据。在做读测试之前，需要使用该参数来运行一遍写测试来产生测试数据，在全部测试结束后可以运行 rados -p <pool_name> cleanup 来清理所有测试数据。
　　写：
0 L' Q. T$ C6 ]5 ?! m　　# rados bench -p rbd 10 write --no-cleanup
　　顺序读：
　　# rados bench -p rbd 10 seq
; e- y+ f, h- `# y" h8 I& S　　随机读：
/ x" J& m8 c4 s( Z# Q: q" u" e　　# rados bench -p rbd 10 rand
　　RADOS 性能测试：使用 rados load-gen 工具。
　　该工具的语法为：
　　rados -p rbd load-gen
" J' ~+ I6 d& P4 e; n. L　　选项说明：
+ P% E: a& o0 ?　　--num-objects        初始生成测试用的对象数，默认 200；
　　--min-object-size    测试对象的最小大小，默认 1KB，单位byte；
4 `$ w2 Q+ G8 k, a! o　　--max-object-size    测试对象的最大大小，默认 5GB，单位byte；
　　--min-op-len         压测IO的最小大小，默认 1KB，单位byte；
1 m# I% O9 d( G) X% f2 f8 a& ?( x& N　　--max-op-len         压测IO的最大大小，默认 2MB，单位byte；
　　--max-ops            一次提交的最大IO数，相当于iodepth；
& E2 b# K9 d% ]* C  V! y' Q( Z, E* k　　--target-throughput  一次提交IO的历史累计吞吐量上限，默认 5MB/s，单位B/s；
$ C; c9 ^  W6 ?# }5 \　　--max-backlog        一次提交IO的吞吐量上限，默认10MB/s，单位B/s；
　　--read-percent       读写混合中读的比例，默认80，范围[0, 100]；
　　--run-length         运行的时间，默认60s，单位秒；
　　运行命令：
9 x& ]3 S% B+ U+ {　　# rados -p rbd load-gen --read-percent 0 --min-object-size 1073741824 --max-object-size 1073741824 --max-ops 1 --read-percent 0 --min-op-len 4194304 --max-op-len 4194304 --target-throughput 1073741824 --max_backlog 1073741824
　　可见，与 rados bench 相比，rados load-gen 的特点是可以产生混合类型的测试负载，而 rados bench 只能产生一种类型的负载。但是 load-gen 只能输出吞吐量，只合适做类似于 4M 这样的大block size 数据测试，输出还不包括延迟。
' b! U0 A. t" J. U- F　　使用 rbd bench-write 进行块设备写性能测试。
　　执行如下命令来准备 Ceph 客户端中的块设备：
7 `! I- D  x  @: [/ l& n1 ]　　# rbd create test --size 1024 --image-feature layering
　　# rbd info test
　　# rbd map test
　　# rbd showmapped
+ T7 M- m$ l, x& j: h  f2 o6 k　　# mkfs.xfs /dev/rbd1
　　# mkdir -p /mnt/test
　　# mount /dev/rbd1 /mnt/test
　　# df -h /mnt/test
　　测试工具：
　　rbd bench-write 的语法为：
! c: U7 c/ i, [+ \* ~& b$ v, ]　　rbd bench-write
$ U$ d0 h! g# C; ^+ n( |& M　　可以带如下参数：
　　--io-size：单位 byte，默认 4096 bytes = 4K；
3 l+ g; U" Y+ h' q4 a! _　　--io-threads：线程数，默认 16；
　　--io-total：总写入字节，单位为字节，默认 1024M；
1 o# [$ K9 `3 N　　--io-pattern <seq|rand>：写模式，默认为 seq 即顺序写；
( l, j4 j6 ~7 D4 C4 l: r; d1 X' p　　分别在OSD节点和客户端上做测试：
, a* T* g, ?5 [. d. c' [　　（1）在 OSD 节点上做测试
　　# rbd bench-write test --io-total 171997300
　　（2）在客户端上做测试
- J5 _! Y2 Q" ]/ W& \4 C: M　　# rbd bench-write test --io-total 1719973000 --io-size 4096000
' B5 T, o3 W) B$ @- H　　# rbd bench-write test --io-total 1719973000
　　使用 fio + rbd ioengine
　　运行 apt-get install fio 来安装 fio 工具，并创建 fio 配置文件write.fio：
6 ^; {! Y5 }7 Z4 E) ~　　[write-4M]
　　description="write test with block size of 4M"
* r; Q! _: }% Y$ k& Z- ?, M- a　　ioengine=rbd
+ W8 y" }# \2 k7 C* H0 a% E: i6 n　　clientname=admin
　　pool=rbd
　　rbdname=test
0 u$ a5 d. `* g5 N- L　　iodepth=32
　　runtime=120
　　rw=write
7 \3 N, b5 {. G& [( x4 ?3 o0 ?. j　　bs=4M
　　write：表示顺序写
　　randwrite：表示随机写
　　read：表示顺序读
4 q' `7 V$ H4 g  m, }& W" G　　randread：表示随机读
$ X# {: R2 l6 C: `* a3 i- ^　　运行命令：
　　# fio write.fio
　　使用 fio + libaio 进行测试。
) F( g  S  z; n, d& e) i! I　　libaio 是 Linux native asynchronous I/O。
　　有几种测试模式：
　　随机写：
$ y# m) X7 Y6 k1 b$ ~　　# fio -filename=/mnt/test/test -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=libaio -bs=4M -size=1G -numjobs=1 -runtime=120 -group_reporting -name=read-libaio
　　随机读：
# W1 _7 q5 M0 j* O　　# fio -filename=/mnt/test/test -direct=1 -iodepth 1 -thread -rw=randread -ioengine=libaio -bs=4M -size=1G -numjobs=1 -runtime=120 -group_reporting -name=read-libaio
9 A5 {. h8 R1 X0 N( g% C　　顺序写：
8 a  P5 X% t% e. a　　# fio -filename=/mnt/test/test -direct=1 -iodepth 1 -thread -rw=write -ioengine=libaio -bs=4M -size=1G -numjobs=1 -runtime=120 -group_reporting -name=read-libaio
) u7 Z5 T2 o8 m5 @　　顺序读：
　　# fio -filename=/mnt/test/test -direct=1 -iodepth 1 -thread -rw=read -ioengine=libaio -bs=4M -size=1G -numjobs=1 -runtime=120 -group_reporting -name=read-libaio
　　这些参数的含义是：
　　filename：表示待测试的设备名称；
0 P! b# h; r2 O' w5 ~/ F9 d　　iodepth： libaio 会用这个 iodepth 值来调用 io_setup 准备个可以一次提交 iodepth 个 IO 的上下文，同时申请个io请求队列用于保持IO；
) _$ q& ~2 H1 ]; o1 K8 `) W　　iodepth_batch：在压测进行的时候，系统会生成特定的IO请求，往io请求队列里面扔，当队列里面的IO个数达到 iodepth_batch 值的时候；
5 z; c' Q; J) B4 J　　iodepth_batch_complete 和 iodepth_low： 调用 io_submit 批次提交请求，然后开始调用 io_getevents 开始收割已经完成的IO。 每次收割多少呢？由于收割的时候，超时时间设置为0，所以有多少已完成就算多少，最多可以收割 iodepth_batch_complete 值个。随着收割，IO队列里面的IO数就少了，那么需要补充新的IO。 什么时候补充呢？当IO数目降到 iodepth_low 值的时候，就重新填充，保证 OS 可以看到至少 iodepth_low 数目的io在队列口排队着。
$ w* u" G6 Z) s  ^$ P( B4 Y6 Z; X* S

admin

１．压测Ceph带宽数据
指的是硬盘或设备(路由器/交换机)在传输数据的时候数据流的速度

(1) 在rbd pool创建一个test块设备，大小为100G，这个大小可以超过pool本身大小，因为是瘦分配．
[root@node-1 ~]# rbd create rbd/image --size 100G --object-size 4M --image-feature layering --stripe-unit 4M --stripe-count 1
(2) 映射该设备到机器
+ q; _& A2 `' F5 u& z9 a7 M0 y[root@node-1 ~]# rbd map rbd/image
$ }( {! G6 C& ?  n; S' o( y/dev/rbd1
  U, W7 U# S$ e8 z% I2 q(3) 该设备可以初始化，挂载并使用
- c4 i5 @3 K$ I* H(4) 对该设备进行带宽压测，bs需要大点
[root@node-1 ~]# dd if=/dev/zero of=$(rbd showmapped | grep test2 | awk '{print$5}') bs=1M count=102400
6 [0 r6 h: S5 H& Q( |(5) 解除该设备对本机的映射
[root@node-1 ~]# rbd unmap rbd/test2
) f0 Q! A' u' f; D' b. I# k(6) 删除该块设备
[root@node-1 ~]# rbd rm rbd/test2
$ R: }8 D/ X4 LRemoving image: 100% complete...done.
２．压测Ceph IOPS
指的是系统在单位时间内能处理的最大的I/O频度，是衡量磁盘性能的主要指标之一
( r6 a0 u4 V" A(1) 用以上创建的块设备，用fio命令对该设备进行压测读，其中bs=4k，先写入设备，线程深度大点-iodepth 16
- j# A; n6 m9 M[root@node-1 ~]# fio -filename=/dev/rbd4 -direct=1 -iodepth 16 -thread -rw=write -ioengine=psync -bs=4k -size=10G -numjobs=10 -name=mytest --eta-newline=1
(2) 从设备读．
4 z8 }# e# z( |4 Z. s[root@node-1 ~]# fio -filename=/dev/rbd4 -direct=1 -iodepth 16 -thread -rw=read -ioengine=psync -bs=4k -size=10G -numjobs=10 -name=mytest --eta-newline=1
(3) 通过ceph -s可以看到实时的数据，op/s rd（读），op/s wr（写）
4 z" X1 ]' o8 P  m$ [[root@node-1 ~]# ceph -s
- E* @2 J$ N0 r, y  cluster:
! k' s- j5 p5 r' _$ i    id:     1a6c90fe-b0e4-4ace-85ce-9f0582c483d0
    health: HEALTH_WARN
            Degraded data redundancy: 10563/51294 objects degraded (20.593%), 23 pgs degraded, 23 pgs undersized

  services:
; {) h! ?# w5 \# C" C  S9 t  h0 `' \    mon:        3 daemons, quorum node-1,node-2,node-3
    mgr:        node-3(active), standbys: node-2, node-1
% L; Y4 _" h6 d& U    osd:        6 osds: 6 up, 6 in; 23 remapped pgs
                flags nodeep-scrub
    rbd-mirror: 1 daemon active
    rgw:        3 daemons active

  data:
$ E$ M* h2 w; [7 Z9 e3 A  H% q    pools:   12 pools, 96 pgs
    objects: 17.10k objects, 49.7GiB
5 J4 O: {5 O; w/ |1 V9 `2 ?0 ^) ]5 A    usage:   150GiB used, 768GiB / 918GiB avail
    pgs:     10563/51294 objects degraded (20.593%)
) l! _! x7 l* _4 M8 V" n# D& {             73 active+clean
             22 active+undersized+degraded+remapped+backfill_wait
' X2 Y$ x( U" v% i" C             1  active+undersized+degraded+remapped+backfilling
) R2 c2 S) f1 [/ i
& U8 S* e! A' m. n, _  io:
; t! Q+ y2 N& [/ r% ]" O6 U7 r+ y: D    client:   14.2MiB/s rd, 606KiB/s wr, 3.64kop/s rd, 43op/s wr
    recovery: 1.67MiB/s, 0objects/s

3 b2 M, R- @% P" [

admin

磁盘性能测试
. c& D# _6 S, Q7 G$ D9 f4 p5 T( ?9 y. z测试磁盘写吞吐量
% V5 W0 t) Z: Y8 B+ k使用dd命令对磁盘进行标准写测试。使用一下命令行读取和写入文件，记住添加oflag参数以绕过磁盘页面缓存。
7 P* v8 K% v, P: d3 w) Xnode1:
[root@node1 ~]# dd if=/dev/zero of=here bs=1G count=1 oflag=direct
* r: B) O8 p, B/ J- E* V% X- Z记录了1+0 的读入
% B- _, R* ~- m- L3 K记录了1+0 的写出
1073741824字节(1.1 GB)已复制，15.466 秒，69.4 MB/秒
# W6 G' ^0 E& d& `7 r( J4 Lnode2:
[root@node2 ~]# dd if=/dev/zero of=here bs=1G count=1 oflag=direct
8 n6 e3 R% o" |: E记录了1+0 的读入
记录了1+0 的写出
3 i. C3 ?0 v) o- W+ Z1073741824字节(1.1 GB)已复制，13.6518 秒，78.7 MB/秒
node3:
9 r9 {% C$ S3 j, p3 o3 }2 B[root@node3 ~]# dd if=/dev/zero of=here bs=1G count=1 oflag=direct
) p* ^8 h9 g4 p5 a  P8 Z+ D5 A6 X记录了1+0 的读入
记录了1+0 的写出
1073741824字节(1.1 GB)已复制，13.6466 秒，78.7 MB/秒
$ `! ^* w# T: @, d/ A9 r$ z+ S$ qnode4:
. D* t' g4 Y6 `! t- K[root@node4 ~]# dd if=/dev/zero of=here bs=1G count=1 oflag=direct
记录了1+0 的读入
0 i0 i3 _% K, `: ]" n4 O" X% J2 L) X记录了1+0 的写出
% L  s1 o7 w7 J- L- {" C+ {1073741824字节(1.1 GB)已复制，13.6585 秒，78.6 MB/秒
* r& G/ B- y* g可以看出，除了node1节点外，磁盘吞吐量在 78 MB/s 左右。node1上没有部署osd，最终不作为ceph的读写性能评判参考。
测试磁盘写延迟
使用dd命令，每次写512字节，连续写1万次。
node1:
+ c* V( E% O: a* F2 k[root@node1 test]# dd if=/dev/zero of=512 bs=512 count=10000 oflag=direct
7 V/ v6 H; n: Z4 q, I. ]! q! H记录了10000+0 的读入
记录了10000+0 的写出
2 ^! r% e" {5 O* v, Z+ R5120000字节(5.1 MB)已复制，6.06715 秒，844 kB/秒
4 Q3 Q* `" g1 L9 T9 ]  a# Ynode2:
& ^  A: f5 S! H$ _7 M[root@node2 test]# dd if=/dev/zero of=512 bs=512 count=10000 oflag=direct
# p) I( z$ K. M7 ]8 e" w4 w记录了10000+0 的读入
( j" N& x8 x( B0 u; i/ D" h3 G记录了10000+0 的写出
5120000字节(5.1 MB)已复制，4.12061 秒，1.2 MB/秒
node3:
' k. @6 b; Y6 W' U0 u& w9 b; n[root@node3 test]# dd if=/dev/zero of=512 bs=512 count=10000 oflag=direct
记录了10000+0 的读入
记录了10000+0 的写出
5120000字节(5.1 MB)已复制，3.88562 秒，1.3 MB/秒
node4:
; Q- S1 N' x) D[root@node4 test]# dd if=/dev/zero of=512 bs=512 count=10000 oflag=direct
记录了10000+0 的读入
记录了10000+0 的写出
0 \; G+ I& X# [  x" f% f5120000字节(5.1 MB)已复制，3.60598 秒，1.4 MB/秒
4 {/ ~4 b# z* D7 [9 k6 k平均耗时4秒，平均速度1.3MB/s。
* s- f) W5 k) x5 R: @' g集群网络I/O测试
由于客户端访问都是通过rgw访问各个osd（文件存储服务除外），主要测试rgw节点到各个osd节点的网络性能I/O。
. x5 o) Z- |0 g- m" _7 m+ v3 Vrgw到osd.0
  |& x& q2 C, C# \在osd.0节点上使用nc监听17480端口的网络I/O请求：
9 g- r! U4 |* o6 O' t* v1 `[root@node2 ~]# nc -v -l -n 17480 > /dev/null
Ncat: Version 6.40 ( http://nmap.org/ncat )
* d. ~; D) g+ P* r( l: l2 fNcat: Listening on :::17480
Ncat: Listening on 0.0.0.0:17480
: k; r7 L2 v! j! M9 \4 M2 `. \Ncat: Connection from 192.168.0.97.
Ncat: Connection from 192.168.0.97:33644.
7 \$ h+ I. J" \' \$ Y在rgw节点上发起网络I/O请求：
$ b: f& V. p$ _) T0 D[root@node2 ~]# time dd if=/dev/zero | nc -v -n 192.168.0.97 17480
7 ]2 c& U, X. v* gNcat: Version 6.40 ( http://nmap.org/ncat )
Ncat: Connected to 192.168.0.97:17480.
3 G& s& O1 {' v& E0 a( I^C记录了121182456+0 的读入
记录了121182455+0 的写出
62045416960字节(62 GB)已复制，413.154 秒，150 MB/秒
% H/ o4 `' B! B* creal    6m53.156s
user    5m54.626s
3 W  J" j; `2 u2 A1 \# Z  B* ksys    7m51.485s
# V7 s1 B8 ^, p& ~9 D* d网络I/O总流量62GB，耗时413.154秒，平均速度150 MB/秒。
/ Z" ]; K, ?* c8 n4 k' [rgw到osd.1
在osd.1节点上使用nc监听17480端口的网络I/O请求：
[root@node3 ~]# nc -v -l -n 17480 > /dev/null
  p' o4 j: M. U+ H- D0 c# m1 \  `& ~Ncat: Version 6.40 ( http://nmap.org/ncat )
Ncat: Listening on :::17480
Ncat: Listening on 0.0.0.0:17480
, V- u1 ?. f0 l' TNcat: Connection from 192.168.0.97.
5 Y" _# ?% I& m7 }( S$ I( c' oNcat: Connection from 192.168.0.97:35418.
在rgw节点上发起网络I/O请求：
7 y* ^. m4 X2 K. Y& N, t( p' p[root@node2 ~]# time dd if=/dev/zero | nc -v -n 192.168.0.98 17480
. e% i! `% I/ sNcat: Version 6.40 ( http://nmap.org/ncat )
Ncat: Connected to 192.168.0.98:17480.
^C记录了30140790+0 的读入
1 [: J: s8 l1 O6 }+ p+ b0 e: _( S记录了30140789+0 的写出
15432083968字节(15 GB)已复制，111.024 秒，139 MB/秒
real    1m51.026s
user    1m21.996s
/ E( A  m3 E4 Q* ?sys    2m20.039s
- _# O0 y- K- H8 [& b% o1 S5 C, I网络I/O总流量15GB，耗时111.024秒，平均速度139 MB/秒。
: o/ {6 C# d  p( Nrgw到osd.2
在osd.2节点上使用nc监听17480端口的网络I/O请求：
[root@node4 ~]# nc -v -l -n 17480 > /dev/null
: [0 M/ C5 ~# N& Z; v, K) tNcat: Version 6.40 ( http://nmap.org/ncat )
; @! b" u! U2 o; z' cNcat: Listening on :::17480
- b/ U0 P  `* W, {7 H' ENcat: Listening on 0.0.0.0:17480
  b) C; Z2 `7 H1 ?% sNcat: Connection from 192.168.0.97.
Ncat: Connection from 192.168.0.97:39156.
在rgw节点上发起网络I/O请求：
7 Y& ^; E7 h2 @: g  N3 v3 F[root@node2 ~]# time dd if=/dev/zero | nc -v -n 192.168.0.99 17480
5 u) ?8 Z! k) B0 S0 XNcat: Version 6.40 ( http://nmap.org/ncat )
& X5 R' F" S: TNcat: Connected to 192.168.0.99:17480.
6 H$ f4 K) L( D  D^C记录了34434250+0 的读入
记录了34434249+0 的写出
0 H& e3 P: \3 l7 K+ A17630335488字节(18 GB)已复制，112.903 秒，156 MB/秒
6 f/ c+ C% `/ q( Y7 O$ }6 Freal    1m52.906s
: g  Q# V" n# N; A# r( F' B1 I3 Y3 Puser    1m23.308s
sys    2m22.487s
网络I/O总流量18GB，耗时112.903秒，平均速度156 MB/秒。
# r: [" }8 o% L" h% F  b0 \0 W总结：集群内不同节点间，网络I/O平均在150MB/s左右。跟实际情况相符，因为本集群是千兆网卡。
rados集群性能测试
4 k( B2 d5 m; \1 l准备工作
查看ceph cluster的osd分布情况：
[root@node1 ~]# ceph osd tree
ID WEIGHT  TYPE NAME        UP/DOWN REWEIGHT PRIMARY-AFFINITY
-6       0 rack test-bucket
-5       0 rack demo
-1 0.86458 root default
. ?  i8 K- g0 X$ f$ F& M& @; i( W-2 0.28819     host node2
2 I$ N4 J5 P6 p: H& C3 Y0 P6 ~ 0 0.28819         osd.0         up  1.00000          1.00000
+ Y0 E2 @7 |0 M" q-3 0.28819     host node3
1 0.28819         osd.1         up  1.00000          1.00000
-4 0.28819     host node4
) Q7 ?$ w  A8 `% x 2 0.28819         osd.2         up  1.00000          1.00000
" ~( B& [: l& S可见该cluster部署了3个osd节点，3个都处于up状态（正常work）。
5 ~; G9 R! s4 @( q' Q+ h为rados集群性能测试创建一个test pool，此池为 64 个 PGs，数据存三份；
[root@node1 ~]# ceph osd pool create test 64 64
pool 'test' created
[root@node1 ~]# ceph osd pool get test size
size: 3
/ R4 b' m$ i( v8 m! ~* ?4 `[root@node1 ~]# ceph osd pool get test pg_num
pg_num: 64
; R1 g& e9 _( ]  a6 L1 i查看test pool默认配置：
[root@node1 test]# ceph osd dump | grep test
pool 12 'test' replicated size 3 min_size 2 crush_ruleset 0 object_hash rjenkins pg_num 64 pgp_num 64 last_change 37 flags hashpspool stripe_width 0
查看test poll资源占用情况：
[root@node1 test]# rados -p test df
pool name                 KB      objects       clones     degraded      unfound           rd        rd KB           wr        wr KB
test                       0            0            0            0            0            0            0            0            0
  total used        27044652          192
) ]4 `" _5 l" E% z' a5 r& |  total avail      854232624
  total space      928512000
3 n. _! M5 P, I0 T9 c写性能测试
测试写性能
[root@node1 ~]# rados bench -p test 60 write --no-cleanup
Maintaining 16 concurrent writes of 4194304 bytes to objects of size 4194304 for up to 60 seconds or 0 objects
Object prefix: benchmark_data_node1_26604
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
" u/ M' r4 w7 D2 v# F    0       0         0         0         0         0           -           0
! R$ Q$ H' k. E4 w2 c3 _    1      16        31        15   59.9966        60    0.953952    0.614647
- O0 y" Q/ t. Y7 A    2      16        38        22   43.9954        28     1.38736    0.781039
    3      16        46        30   39.9958        32     1.87801     1.06765
    4      16        61        45   44.9953        60     1.19344     1.23191
    5      16        76        60   47.9949        60    0.993045     1.17022
    6      16        91        75   49.9946        60     1.00303      1.1498
    7      16       106        90   51.4231        60    0.999574     1.13609
    8      16       119       103   51.4945        52     1.00504     1.12779
    9      16       122       106    47.106        12     1.20668     1.13173
   10      16       122       106   42.3954         0           -     1.13173
+ l) V' C) I3 r0 I4 U3 Z   11      16       125       109    39.632         6      2.8996     1.18213
   12      16       137       121   40.3289        48     3.90723     1.45272
   13      16       151       135   41.5339        56     1.10043     1.47333
   14      16       169       153   43.7096        72    0.927572      1.4129
; Q/ w0 a. b7 \2 ^+ c3 W8 Z% F* B   15      16       181       165   43.9952        48     1.02879     1.38739
   16      16       196       180   44.9951        60     1.08398     1.36665
   17      16       209       193   45.4068        52       1.117     1.34742
! c' Z) [* q# s% i! q/ c   18      16       212       196   43.5508        12     1.30703      1.3468
   19      16       215       199   41.8902        12     2.79917     1.36874
- j  x: P, q& F7 L2018-03-20 17:06:48.745397 min lat: 0.229762 max lat: 4.09713 avg lat: 1.40039
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
3 p3 y. M$ D' ?* U' h   20      16       218       202   40.3956        12     3.49784     1.40039
   21      16       225       209   39.8051        28     4.18987     1.48851
4 l: {1 j' K% g' T% c" V   22      16       241       225   40.9046        64     1.00629     1.53148
! ?+ K4 t0 U; a% k/ F/ v% p2 d   23      16       256       240   41.7345        60     1.18098     1.49869
   24      16       271       255   42.4953        60      1.0017     1.47319
: {6 I: K3 x4 _1 S4 c* ]% q   25      16       286       270   43.1952        60     1.00118     1.45067
   26      16       299       283   43.5337        52     1.19813     1.43348
   27      16       302       286   42.3657        12     1.30607     1.43215
   28      16       302       286   40.8527         0           -     1.43215
   29      16       305       289   39.8577         6     3.00461     1.44847
9 y/ ?% B. x9 I8 u( \) A   30      16       316       300   39.9956        44     3.73721     1.54023
   31      16       331       315   40.6407        60     0.97103     1.54526
3 F' @0 w% N. M# [% E) M) {   32      16       346       330   41.2455        60    0.999926      1.5214
; V6 M, H) w' ]6 c4 ]6 l8 h+ G8 ?3 W   33      16       361       345   41.8136        60     1.00411     1.50169
- V/ W3 p+ g* b' r: z( Y" \9 U! j   34      16       376       360   42.3483        60     1.00089     1.48355
( {" P  K5 Y- `1 P   35      16       386       370   42.2811        40     1.20272      1.4727
   36      16       389       373   41.4399        12     1.50616     1.47296
   37      16       392       376   40.6442        12      3.1067       1.486
   38      16       395       379   39.8903        12     3.90852     1.50518
   39      16       402       386   39.5854        28     4.12175       1.551
/ H: j6 V+ j! w. J2018-03-20 17:07:08.747628 min lat: 0.229762 max lat: 4.29984 avg lat: 1.56868
6 ]( p8 y7 z/ V2 d+ p; a  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   40      16       418       402   40.1956        64     1.07659     1.56868
7 I3 [: [8 J+ m. E4 u, u   41      16       433       417   40.6784        60    0.999955     1.54939
   42      16       448       432   41.1383        60     1.17664     1.53256
9 r& D2 P  f' |* \# }8 `   43      16       463       447   41.5768        60     1.00297     1.51695
   44      16       478       462   41.9953        60     1.00466     1.50234
0 B$ ]" F" ^1 ?$ J5 ^   45      16       479       463    41.151         4     1.19512     1.50168
   46      16       482       466   40.5172        12      2.6118     1.50882
   47      16       485       469   39.9105        12      3.3123     1.52034
( \: f) q6 p& P5 S8 {   48      16       493       477   39.7456        32     4.00971     1.55901
   49      16       508       492   40.1588        60     1.01054     1.57611
   50      16       523       507   40.5555        60    0.996004     1.55869
# I  b- w4 n8 l( m( L   51      16       538       522   40.9366        60    0.997722     1.54464
   52      16       553       537   41.3031        60     1.19815     1.53113
6 z4 L. z$ i' W  r! I2 H   53      16       568       552   41.6557        60     1.21298     1.51864
" |9 m- ?' [" @# Y' W9 A   54      16       572       556   41.1806        16     1.49932     1.51797
   55      16       572       556   40.4318         0           -     1.51797
9 k/ ~. y1 v; v1 a$ {+ @; g. s   56      16       575       559   39.9241         6     3.09559     1.52643
   57      16       583       567    39.785        32     3.99229     1.55923
   58      16       595       579   39.9266        48     1.37706     1.57952
   59      16       612       596   40.4022        68     0.89873     1.56855
2018-03-20 17:07:28.749935 min lat: 0.229762 max lat: 4.29984 avg lat: 1.56738
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   60      16       624       608   40.5288        48     1.65518     1.56738
Total time run:         60.821654
! _6 j' n6 V- [1 aTotal writes made:      625
8 K, z. ~  U$ N' y3 h7 IWrite size:             4194304
+ d) ]( u4 M& t. fObject size:            4194304
Bandwidth (MB/sec):     41.1038
Stddev Bandwidth:       23.0404
. r. t/ A! m: u& O, S" Y! DMax bandwidth (MB/sec): 72
8 G6 l2 F3 x0 t2 d4 W& DMin bandwidth (MB/sec): 0
- c. S. B" d! c! Y1 mAverage IOPS:           10
3 @& C7 s9 E5 n) p" g0 ]Stddev IOPS:            5
Max IOPS:               18
/ |, t3 s1 L4 NMin IOPS:               0
) N1 F1 b- j- i! aAverage Latency(s):     1.55581
/ k0 w; u5 Z3 z" H* l" M' V: h. dStddev Latency(s):      0.981606
, t9 J. b5 \! kMax latency(s):         4.29984
5 T4 p) S! u+ Q1 e2 LMin latency(s):         0.229762
! B* G/ T7 p3 s/ I* ~3 K& b/ v如果加上可选参数 --no-cleanup ，那么测试完之后，不会删除该池里面的数据。里面的数据可以继续用于测试集群的读性能。
4 K% u3 [" F6 l0 |db286e02f698d7c70c450985ca596074.png
6 }% W3 V% c" @9 @$ ]从以上测试数据可以看出：数据写入时的平均带宽是41MB/sec，最大带宽是72，带宽标准差是23（反应网络稳定情况）。
读性能测试
+ l* K, E; X# s! E# M测试读性能
[root@node1 ~]# rados bench -p test 60 rand
! _1 C) N3 K8 w  ?" V% N$ H  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
- x! I( X4 O$ O$ i: a9 n    0       0         0         0         0         0           -           0
: s6 r* q5 u: I- j2 M0 L7 ?+ z    1      16       101        85   339.935       340    0.270579    0.147057
% q. l' D% `# @& \3 i. B    2      16       145       129   257.955       176    0.246583    0.220784
. U  f5 H# i" L' f0 Q8 o; e4 J    3      16       191       175   233.297       184     0.53086    0.253465
1 j+ w+ L, j" ]( l' Q* a    4      16       236       220   219.968       180   0.0326233    0.268682
    5      16       281       265   211.971       180    0.528696    0.286853
    6      16       328       312   207.973       188   0.0203012    0.295207
    7      16       371       355   202.831       172    0.283736    0.303328
# y% A8 s( G# p8 Z    8      16       415       399   199.475       176    0.508335     0.30781
    9      16       461       445   197.753       184     0.24398    0.312503
   10      16       510       494   197.576       196    0.499586     0.31802
& |4 @2 h6 T# ^   11      16       556       540    196.34       184    0.259304    0.320708
   12      16       602       586    195.31       184    0.745053    0.320777
   13      16       646       630   193.823       176   0.0422189     0.32386
   14      16       692       676    193.12       184   0.0467997    0.326607
   15      16       735       719   191.711       172   0.0272729    0.327432
   16      16       777       761   190.228       168   0.0160831    0.326381
* H7 ~& f0 N8 x7 [% U3 l   17      16       821       805    189.39       176    0.483385    0.330262
   18      16       865       849   188.645       176   0.0279903    0.330038
# y4 |5 p+ `* w9 w3 t* A; }9 F: d0 T   19      16       913       897    188.82       192    0.237649    0.332631
1 X% S# j- @& M' E5 z2018-03-20 17:08:51.231039 min lat: 0.00844047 max lat: 0.964959 avg lat: 0.332994
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
- k. f! U% F+ S; q" a   20      16       962       946   189.178       196   0.0115256    0.332994
   21      16      1009       993   189.121       188     0.26545    0.334135
   22      16      1052      1036   188.342       172    0.502163    0.335411
/ w+ ^  p: @% q# \- H   23      16      1095      1079   187.631       172    0.191482    0.335954
; j' l- t$ ?7 w7 `1 h: R+ Z   24      16      1140      1124   187.312       180   0.0187187     0.33593
   25      16      1187      1171   187.339       188   0.0128352    0.336301
! ?6 A% n0 q' b: _; L) {2 \   26      16      1232      1216   187.056       180   0.0260001    0.336886
   27      16      1278      1262   186.942       184   0.0148474    0.336478
! B5 E) W+ {4 v3 @7 L: s- P   28      16      1324      1308   186.836       184    0.723555    0.337355
, Q2 _3 a) }  y# ]+ Y   29      16      1367      1351   186.324       172   0.0246515    0.339247
   30      16      1412      1396   186.113       180   0.0120403    0.339659
   31      16      1460      1444   186.302       192    0.569969    0.338129
   32      16      1506      1490   186.229       184   0.0316037    0.340041
   33      16      1551      1535    186.04       180   0.0273989    0.340237
   34      16      1596      1580   185.862       180    0.525298    0.340735
5 f1 p6 `0 H! Y( u   35      16      1638      1622   185.351       168   0.0101045     0.34052
   36      16      1686      1670   185.535       192   0.0159173     0.34091
+ v) k) @0 \4 G' ?$ \8 m- m6 b   37      16      1731      1715   185.385       180    0.986173    0.339939
   38      16      1775      1759   185.138       176   0.0152587    0.340806
, k$ W" N/ V3 J2 h: g9 n   39      16      1818      1802     184.8       172    0.216865    0.342337
2018-03-20 17:09:11.233088 min lat: 0.0080755 max lat: 1.20072 avg lat: 0.342772
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   40      16      1863      1847    184.68       180    0.298863    0.342772
   41      16      1907      1891   184.468       176    0.539937    0.341949
' C0 D; \) N% F" u   42      16      1950      1934    184.17       172    0.501967    0.343196
9 u" s. |% B2 R2 g& B% [" r8 ]   43      16      1997      1981   184.259       188    0.258521     0.34255
   44      16      2043      2027   184.253       184   0.0441231    0.343493
   45      16      2088      2072   184.158       180    0.302963    0.343621
   46      16      2135      2119   184.241       188   0.0198267     0.34337
6 H8 H4 {  M! Q   47      16      2179      2163   184.065       176     0.26388    0.343744
! ?& ~! ~% m& o6 t) B4 ~, j0 V   48      16      2224      2208    183.98       180    0.274291    0.343872
   49      16      2268      2252   183.817       176   0.0345847    0.343383
   50      16      2314      2298    183.82       184   0.0555181    0.344454
   51      16      2359      2343   183.745       180    0.288888    0.344362
   52      16      2405      2389   183.749       184    0.280761    0.344848
/ ~" f) N' O5 ]* @: {* T   53      16      2447      2431   183.452       168   0.0135715     0.34438
   54      16      2496      2480   183.684       196    0.259152    0.344883
- ?, z# I9 W3 x: z* f   55      15      2542      2527   183.762       188   0.0231959     0.34473
   56      15      2585      2570   183.552       172    0.235059    0.345157
, u! m9 Z1 a) t, N5 t3 g   57      16      2627      2611   183.208       164    0.272916      0.3454
+ |  c- \( K! {% n9 K% [   58      16      2674      2658    183.29       188    0.534074    0.345242
   59      16      2717      2701   183.099       172    0.261746    0.345621
* [- k% n1 A2 p1 S3 X2018-03-20 17:09:31.235266 min lat: 0.0080755 max lat: 1.20072 avg lat: 0.344692
! S, s. F3 ^% w& Y+ t1 h: Q  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
, o5 N% n# v$ j+ v: h   60      16      2765      2749   183.247       192    0.213941    0.344692
: Y8 [; ?0 j0 W. Z3 sTotal time run:       60.297422
' @8 g$ o. C# }' O9 hTotal reads made:     2765
Read size:            4194304
# F) [1 d* b6 f9 n/ PObject size:          4194304
Bandwidth (MB/sec):   183.424
Average IOPS:         45
Stddev IOPS:          5
+ G" c8 N# C# m% P6 HMax IOPS:             85
Min IOPS:             41
Average Latency(s):   0.346804
Max latency(s):       1.20072
) D+ ?* n/ U2 L- z8 l9 L3 ^* bMin latency(s):       0.0080755
205077995da5a719d553ccc9a4b1c4aa.png
从以上测试数据可以看出：数据读取时的平均带宽是183MB/sec，平均延时是0.3 sec，平均IOPS是45。
! m7 Z: n1 q* b7 e: [/ i测试数据清除
rados -p test cleanup
# V; s1 r( G" o' r! j5 T$ Q1 y删除test池:
5 }) g4 ~6 \( N2 t# d6 V2 \[root@node1 ~]# ceph osd pool delete test test --yes-i-really-really-mean-it
, r0 _' e- X/ hpool 'test' removed
2 s0 a9 X# d1 D" K( {0 e* n