fio 测试工具添加libaio模块测试磁盘IO测试

admin

fio添加libaio模块测试磁盘IO测试
/ A5 ~1 L" t/ O, K
首先下载libaio安装包：
1 I0 I9 G9 o; j9 ~- }" w9 `. }https://pagure.io/libaio/releases
libaio-libaio-0.3.113.tar ...fio-2.1.10.tar.gz
* c5 h1 l+ U* e3 ?% t  R4 ~
. r6 f6 S; b! u' T/ R; ]; v2 v
) Y1 C: I2 T1 x1 |- d, Z' T5 b* P1 Y7 V
安装fio工具：
- i  f, j7 B/ ^: d1 G6 R安装gcc gcc-c++  make
# yum install -y gcc gcc-c++ make
2 x" h/ f( @6 r5 x- P
' C3 Q  O. N' q; M. n1 k
  c2 e# R# W0 w6 G2 ]4 j8 u解压：
* z" l: A, B, [# U" q7 S
- C. T; W. _' b2 Y1 E

; u: Z8 ?% K2 G5 |$ u) [* n1 G配置安装libaio：

解压：
tar -zxvf  libaio-libaio-0.3.113.tar.gz
) [' }) b! n7 ^% B. W# b/ P+ [9 L
[root@iossd ~]# cd libaio-libaio-0.3.113
[root@iossd libaio-libaio-0.3.113]#
$ S: {. Q  O( S* g8 G, n
[root@iossd libaio-libaio-0.3.113]# make && make install

安装libaio-devel包
yum install -y libaio-devel

+ m2 r& ~, D% L; A* ?' w9 h( b+ f
. V6 G. h3 T- W2 ~4 k[root@testssd ~]# tar -zxvf fio-2.1.10.tar.gz     解压fio
0 [6 o( T4 x2 H0 G fio-2.1.10/
8 T  C5 D$ k+ G
[root@iossd ~]# cd fio-2.1.10
6 w9 Q. ^! r( }! i$ l2 W) v: A# _  F[root@iossd fio-2.1.10]#

[root@test1hhd fio-2.1.10]# ./configure
5 Q4 K9 X1 G/ l+ y- v6 L  `8 y2 ~
9 d+ I( G  ?8 C0 z7 pmake && make install

4 R1 r7 W4 I  A6 K
7 c' k. D$ _2 K

- H$ p% ~8 v8 s. V这两个组件安装完成。
( {' O+ ^- o9 c8 d" w接下来就是测试；

admin

[root@iossd ~]# fio -ioengine=libaio -bs=16k -direct=1 -thread -rw=read -size=1G -filename=test.img -name="test" -iodepth=1 -time_based -runtime=60 -numjobs=16 -group_reporting
1 Y0 {+ r( v# A+ ]/ C; i- p, t5 n9 N0 ztest: (g=0): rw=read, bs=16K-16K/16K-16K/16K-16K, ioengine=libaio, iodepth=1
1 b1 ~* `. _3 i- A...
fio-2.1.10
# @0 x$ ^/ ~+ O5 c% {( r. V1 qStarting 16 threads
6 [3 S6 J( t# x& ~1 vtest: Laying out IO file(s) (1 file(s) / 1024MB)
9 A* V3 P$ H3 _: Z' dJobs: 16 (f=16): [RRRRRRRRRRRRRRRR] [100.0% done] [157.2MB/0KB/0KB /s] [10.5K/0/0 iops] [eta 00m:00s]
% q% O% M8 W- Z! E% H$ y1 _test: (groupid=0, jobs=16): err= 0: pid=4764: Wed Jun 29 10:15:57 2022
9 L$ K! e  c8 ?0 N8 T2 O. v  read : io=8908.1MB, bw=152038KB/s, iops=9502, runt= 60003msec
) ~' r; D; [2 x    slat (usec): min=6, max=9973, avg=20.19, stdev=17.11
: H& Y6 [! z4 }6 l5 Z# y) F    clat (usec): min=2, max=17223, avg=1660.75, stdev=1042.56
1 o  @# c( H' o8 ^+ E" Z7 l     lat (usec): min=243, max=17249, avg=1681.32, stdev=1043.64
8 g# F7 e( V  n' w( B, r    clat percentiles (usec):
     |  1.00th=[  314],  5.00th=[  382], 10.00th=[  458], 20.00th=[  612],
7 h) Y; i6 B/ Q( s$ J& a) }) U7 z     | 30.00th=[  868], 40.00th=[ 1208], 50.00th=[ 1800], 60.00th=[ 2128],
     | 70.00th=[ 2256], 80.00th=[ 2416], 90.00th=[ 2736], 95.00th=[ 2960],
. c# B& G. C: h% U3 C     | 99.00th=[ 3600], 99.50th=[ 5728], 99.90th=[10560], 99.95th=[13376],
     | 99.99th=[15808]
4 e+ G# \9 u8 r  u- Z    bw (KB  /s): min= 5301, max=36160, per=6.26%, avg=9512.46, stdev=4336.10
    lat (usec) : 4=0.01%, 250=0.01%, 500=13.05%, 750=12.37%, 1000=9.57%
    lat (msec) : 2=20.22%, 4=44.02%, 10=0.65%, 20=0.12%
  cpu          : usr=0.41%, sys=1.71%, ctx=570206, majf=0, minf=89
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
) M' T' \- y" t  s; l     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
% l/ Z7 E4 B% m- T% b( z: _     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=570170/w=0/d=0, short=r=0/w=0/d=0
) N, G# M" W# ^1 i1 Z     latency   : target=0, window=0, percentile=100.00%, depth=1
) ]/ [. @2 L( Y- D' X
Run status group 0 (all jobs):
' r4 W3 r8 F: B0 ]: K- I   READ: io=8908.1MB, aggrb=152037KB/s, minb=152037KB/s, maxb=152037KB/s, mint=60003msec, maxt=60003msec
% q2 |2 ?- U" _: _0 h
Disk stats (read/write):
    dm-0: ios=568512/36, merge=0/0, ticks=939934/409, in_queue=941397, util=100.00%, aggrios=569340/30, aggrmerge=620/8, aggrticks=941323/312, aggrin_queue=942184, aggrutil=99.96%
  vda: ios=569340/30, merge=620/8, ticks=941323/312, in_queue=942184, util=99.96%

admin

[root@iohdd ~]# fio -ioengine=libaio -bs=16k -direct=1 -thread -rw=read -size=1G -filename=test.img -name="test" -iodepth=1 -time_based -runtime=60 -numjobs=16 -group_reporting  
test: (g=0): rw=read, bs=16K-16K/16K-16K/16K-16K, ioengine=libaio, iodepth=1
...
* x$ D3 M* ]  o. G; g! }fio-2.1.10
  R; N  J& N# S1 W4 `Starting 16 threads
' Q9 L' T5 C% `7 t, w1 z/ vJobs: 16 (f=16): [RRRRRRRRRRRRRRRR] [100.0% done] [9206KB/0KB/0KB /s] [575/0/0 iops] [eta 00m:00s]
% f! [. Z) M- K8 ^( S% Z9 Dtest: (groupid=0, jobs=16): err= 0: pid=5738: Wed Jun 29 10:19:49 2022
  read : io=1405.7MB, bw=23977KB/s, iops=1498, runt= 60033msec
5 E; k. H* ]; X' s    slat (usec): min=8, max=4812, avg=22.80, stdev=22.62
    clat (usec): min=637, max=459963, avg=10605.96, stdev=26116.86
     lat (usec): min=669, max=459988, avg=10629.18, stdev=26117.45
7 J) |4 Q% o# Q. @' V- c    clat percentiles (msec):
     |  1.00th=[    3],  5.00th=[    3], 10.00th=[    3], 20.00th=[    3],
     | 30.00th=[    3], 40.00th=[    3], 50.00th=[    3], 60.00th=[    3],
     | 70.00th=[    6], 80.00th=[   13], 90.00th=[   27], 95.00th=[   40],
     | 99.00th=[  151], 99.50th=[  212], 99.90th=[  310], 99.95th=[  371],
; B$ \1 g! B5 S" }, t     | 99.99th=[  461]
    bw (KB  /s): min=   90, max= 5365, per=6.37%, avg=1527.61, stdev=1245.63
    lat (usec) : 750=0.01%, 1000=0.02%
* l" D5 R& K3 T; c$ H" E  d    lat (msec) : 2=0.91%, 4=67.27%, 10=10.94%, 20=6.75%, 50=11.29%
' P: C" o) @& i& Q1 S" a! T; {, |- d    lat (msec) : 100=1.50%, 250=1.12%, 500=0.20%
2 S0 j( u, }! H* s% k4 _  cpu          : usr=0.07%, sys=0.41%, ctx=90095, majf=0, minf=94
( m, m- P0 \0 c; R* a: j: l  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
; V' _0 S# }2 H+ C: w     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
" g; ]& U. k6 p1 ^     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
% I* O- Q. Q! I. Y& s     issued    : total=r=89962/w=0/d=0, short=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1
, C0 F) x& ?! d! A% o# i6 J& L
. N9 @+ `; b* P) c) hRun status group 0 (all jobs):
! T" k" k2 H& R. K   READ: io=1405.7MB, aggrb=23976KB/s, minb=23976KB/s, maxb=23976KB/s, mint=60033msec, maxt=60033msec

* P" D5 V. X' M- ?+ I) d+ gDisk stats (read/write):
    dm-0: ios=90013/7, merge=0/0, ticks=953955/1920, in_queue=962143, util=99.96%, aggrios=89860/8, aggrmerge=67/1, aggrticks=952305/1541, aggrin_queue=857719, aggrutil=87.74%
  vda: ios=89860/8, merge=67/1, ticks=952305/1541, in_queue=857719, util=87.74%
  f9 V. h) p( \2 x3 P5 U
" m* j* M8 H) e% L+ e
$ a, [' H9 {, N; k6 E[root@iossd ~]# fio -ioengine=libaio -bs=16k -direct=1 -thread -rw=read -size=1G -filename=test.img -name="test" -iodepth=1 -time_based -runtime=60 -numjobs=16 -group_reporting
; |- |+ f0 ~$ g# I1 Atest: (g=0): rw=read, bs=16K-16K/16K-16K/16K-16K, ioengine=libaio, iodepth=1
...
5 b5 @9 X( }& P$ e, Ofio-2.1.10
* y: ^+ o! l+ b: b8 a9 k6 D$ qStarting 16 threads
Jobs: 16 (f=16): [RRRRRRRRRRRRRRRR] [100.0% done] [161.5MB/0KB/0KB /s] [10.4K/0/0 iops] [eta 00m:00s]
test: (groupid=0, jobs=16): err= 0: pid=4782: Wed Jun 29 10:19:47 2022
/ {7 A4 W" z3 |$ c: N9 G  read : io=7078.7MB, bw=120805KB/s, iops=7550, runt= 60002msec
    slat (usec): min=7, max=6772, avg=20.63, stdev=16.64
    clat (usec): min=231, max=122521, avg=2095.61, stdev=3593.03
     lat (usec): min=243, max=122542, avg=2116.64, stdev=3593.73
    clat percentiles (usec):
     |  1.00th=[  314],  5.00th=[  370], 10.00th=[  438], 20.00th=[  636],
9 p9 |5 o+ x# F- Y" c     | 30.00th=[  852], 40.00th=[ 1160], 50.00th=[ 1960], 60.00th=[ 2192],
8 s# j2 ]: K& n* w" k, g7 M     | 70.00th=[ 2288], 80.00th=[ 2512], 90.00th=[ 3152], 95.00th=[ 4448],
% ~5 R, v2 i1 n  Y- c     | 99.00th=[11840], 99.50th=[20608], 99.90th=[52992], 99.95th=[73216],
     | 99.99th=[107008]
    bw (KB  /s): min= 1576, max=31072, per=6.26%, avg=7561.48, stdev=4405.82
    lat (usec) : 250=0.01%, 500=13.19%, 750=12.69%, 1000=9.41%
. ?: }" s) k; l* {    lat (msec) : 2=15.69%, 4=43.22%, 10=4.34%, 20=0.91%, 50=0.42%
    lat (msec) : 100=0.11%, 250=0.01%
  cpu          : usr=0.34%, sys=1.38%, ctx=453066, majf=0, minf=90
6 K) F( G2 y0 f  [9 C  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=453033/w=0/d=0, short=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1
) l& \6 d, c- x* X- O/ I
( [* t/ f& ^  G4 `0 IRun status group 0 (all jobs):
   READ: io=7078.7MB, aggrb=120804KB/s, minb=120804KB/s, maxb=120804KB/s, mint=60002msec, maxt=60002msec

Disk stats (read/write):
* N8 c2 I# ~! Y' V, N    dm-0: ios=451274/3, merge=0/0, ticks=942542/17, in_queue=945715, util=100.00%, aggrios=452239/5, aggrmerge=599/0, aggrticks=944200/17, aggrin_queue=943292, aggrutil=99.67%
7 g. y0 ?! t% y' n0 P# L  vda: ios=452239/5, merge=599/0, ticks=944200/17, in_queue=943292, util=99.67%

admin

参数

参数名

说明

取值样例

name

定义测试任务名称

N/A

filename

测试对象，即待测试的磁盘设备名称。

N/A

2 |) K' f- m; w, `3 a; J

bs

每次请求的块大小。取值包括4k、8k及16k等。

4k

bsrange

bsrange=512-2048 数据块的大小范围

N/A

5 w/ ?' ~; Q. _+ t0 q4 |

size

I/O 测试的寻址空间。也可是百分数，比如size=20%，表示读/写的数据量占该设备总文件的20%的空间

100GB

6 H# M. E7 c5 U2 U$ n0 Y9 h, ?

ioengine

I/O 引擎。推荐使用 Linux 的异步 I/O 引擎。

libaio

4 v* T4 Q$ e0 h& T

iodepth

请求的 I/O 队列深度。此处定义的队列深度是指每个线程的队列深度，如果有多个线程测试，意味着每个线程都是此处定义的队列深度。fio总的I/O并发数=iodepth * numjobs。

1

, y- u  l  x# {& D; n

numjobs

定义测试的并发线程数。

1

direct

定义是否使用direct I/O，可选值如下：值为0，表示使用buffered I/O值为1，表示使用direct I/O

1

! n3 k; e. {- V$ r

rw

读写模式。取值包括顺序读（read）、顺序写（write）、随机读（randread）、随机写（randwrite）、混合随机读写（randrw）和混合顺序读写（rw，readwrite）。

read

% O3 J! l4 n( I. V* H/ J2 U

rwmixwrite

rwmixwrite=30 在混合读写的模式下，写占30%

time_based

指定采用时间模式。无需设置该参数值，只要 FIO 基于时间来运行。

N/A

. u: ], Y* T' Y3 V: E! c

runtime

指定测试时长，即 FIO 运行时长。

600

: e& Z& P( P* u

refill_buffers

FIO 将在每次提交时重新填充 I/O 缓冲区。默认设置是仅在初始时填充并重用该数据。

N/A

norandommap

在进行随机 I/O 时，FIO 将覆盖文件的每个块。若给出此参数，则将选择新的偏移量而不查看 I/O 历史记录。

N/A

randrepeat

随机序列是否可重复，True（1）表示随机序列可重复，False（0）表示随机序列不可重复。默认为 True（1）。

0

group_reporting

多个 job 并发时，打印整个 group 的统计值。

N/A

$ D7 a, p' n) m测试延迟
' l7 v* u7 k/ F& C  z: n
​ 队列深度为1，bs设置为4k，也就是模拟单个队列读写的延迟测试
* A8 D; K$ C8 a, Q' L8 {& d
吞吐
3 z7 s1 z4 i8 i+ X$ Q, E7 d: T
) X3 P! d) p2 s+ u- u# V2 j( n9 H​ 队列深度为32，bs设置为128k，测试最大能力去跑满整个磁盘带宽
1 C; d9 _5 t+ K
iops
) J9 T+ Z! m2 |( d! `" z0 ?1 E
$ T  @- y" s+ H, U) J2 D( ^3 } ​ 队列深度为32，bs设置为4k，要在最短的时间内多去读磁盘

7 C1 Q0 e8 Z9 \$ V% w 小文件通常测试随机读写，大文件通常测试顺序读写。
% N0 _% l" a$ `2 H
, ~& s2 R8 E7 c( o6 g- C4 Q 测试顺序读IOPS

9 _' R) T. H4 K0 [$ f  @1 Y9 T fio -name=Se_Read_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=read -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
测试顺序写IOPS

fio -name=Se_Write_IOPS_Test -group_reporting  -direct=1 -iodepth=128 -rw=write -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
2 ^1 I& X! T1 v9 @- k测试随机写IOPS
6 H& W+ V$ O9 t% v
; s4 i3 v! |8 g7 H: A, V0 ^+ L1 ~ fio -name=Rand_Write_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=randwrite -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
  X3 J% z% q( b1 a/ n测试随机读IOPS
" n. `" A$ k( P6 _* t% p/ x
fio -name=Rand_Read_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=randread -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
0 b' f6 i7 H7 k( o, M1 f) b- l测试混合读写

fio -name=Read_Write_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=randrw -rwmixread=70 -refill_buffers -norandommap -randrepeat=0 -ioengine=libaio -bs=4k -size=10G -numjobs=1 -runtime=600 -ioscheduler=noop
测试写吞吐量
8 Z, M. Y' ~! D$ y( m" m
fio -name=Write_BandWidth_Test -group_reporting -direct=1 -iodepth=32 -rw=write -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=1024k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
测试读吞吐量

, R  m" ?  t( a' a" T7 s* d) Y2 Dfio -name=Read_BandWidth_Test -group_reporting -direct=1 -iodepth=32 -rw=read -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=1024k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
+ F6 l7 E, w$ v, @7 ?( Q% B* d  i" k# P测试结果输出指标
. a1 l! P/ j9 o2 ]' q! G, vIOPS：每秒读/写次数，单位为次（计数）。存储设备的底层驱动类型决定了不同的 IOPS。 --> iops
9 {$ d' H# ~5 z7 F3 T& a( b吞吐量：每秒的读写数据量，单位为MB/s。 --> bw
时延：I/O 操作的发送时间到接收确认所经过的时间，单位为秒。 --> lat (msec)
runt：总运行时间