fio 测试工具添加libaio模块测试磁盘IO测试

admin

fio添加libaio模块测试磁盘IO测试

! r; Z0 ~  N2 ~+ C3 x首先下载libaio安装包：
# W1 _( c$ f5 v8 E$ b5 yhttps://pagure.io/libaio/releases
) b; w' X( U8 {4 o- N( ilibaio-libaio-0.3.113.tar ...fio-2.1.10.tar.gz

! y& \+ Q4 \% Y# j- M
  m8 B  m) U. S7 `& H& ]+ {
安装fio工具：
& i( h+ p; C9 e+ R安装gcc gcc-c++  make
. z, ~+ o8 {! Z( l/ Z! X # yum install -y gcc gcc-c++ make


解压：

9 ?; b! u; c- H7 v8 K. p
( O5 K, d. r  B; M0 W5 x" a
配置安装libaio：
% K3 s& s: G) }! Y
; ]0 ^. q+ j. ^3 D解压：
tar -zxvf  libaio-libaio-0.3.113.tar.gz
' u- Z" i" r- z& M  @- V% {
4 ]# J" H) A6 ^( i, S6 e[root@iossd ~]# cd libaio-libaio-0.3.113
[root@iossd libaio-libaio-0.3.113]#
1 U0 \1 h3 U, ]. r0 Q, V
' P7 u( p  I* E' A8 n+ w[root@iossd libaio-libaio-0.3.113]# make && make install
1 r( }7 i6 J6 C& {
7 _! O( {/ J: h) s( p安装libaio-devel包
$ t+ c7 ?2 @6 p* Byum install -y libaio-devel
  F$ j8 m2 o6 z

9 T6 E0 j+ R4 ^- ~* o- K$ p* z[root@testssd ~]# tar -zxvf fio-2.1.10.tar.gz     解压fio
fio-2.1.10/
8 b) X: R! R$ Y' B- O3 `# l6 s9 u+ ?  R
% h5 Z2 A: z5 k[root@iossd ~]# cd fio-2.1.10
[root@iossd fio-2.1.10]#
; F8 ]: ^( W) j1 U/ D
[root@test1hhd fio-2.1.10]# ./configure

/ j( ^3 p# N8 _) m$ I6 o' h4 z: ^6 Imake && make install
$ Q4 R* X3 l9 w: ~
1 ^6 d# Y0 d- ]' A4 P

) Y# h& c3 M' S  p! Z5 o
这两个组件安装完成。
接下来就是测试；
) s: [$ z& a) S: B+ l/ O' Y

admin

[root@iossd ~]# fio -ioengine=libaio -bs=16k -direct=1 -thread -rw=read -size=1G -filename=test.img -name="test" -iodepth=1 -time_based -runtime=60 -numjobs=16 -group_reporting
test: (g=0): rw=read, bs=16K-16K/16K-16K/16K-16K, ioengine=libaio, iodepth=1
...
fio-2.1.10
Starting 16 threads
: D2 |! @: D+ V6 htest: Laying out IO file(s) (1 file(s) / 1024MB)
. ]' h. {1 |  f3 N+ \Jobs: 16 (f=16): [RRRRRRRRRRRRRRRR] [100.0% done] [157.2MB/0KB/0KB /s] [10.5K/0/0 iops] [eta 00m:00s]
test: (groupid=0, jobs=16): err= 0: pid=4764: Wed Jun 29 10:15:57 2022
  read : io=8908.1MB, bw=152038KB/s, iops=9502, runt= 60003msec
    slat (usec): min=6, max=9973, avg=20.19, stdev=17.11
$ T5 z+ I8 F' V" e    clat (usec): min=2, max=17223, avg=1660.75, stdev=1042.56
     lat (usec): min=243, max=17249, avg=1681.32, stdev=1043.64
    clat percentiles (usec):
     |  1.00th=[  314],  5.00th=[  382], 10.00th=[  458], 20.00th=[  612],
! d* {9 j0 B7 {* h     | 30.00th=[  868], 40.00th=[ 1208], 50.00th=[ 1800], 60.00th=[ 2128],
     | 70.00th=[ 2256], 80.00th=[ 2416], 90.00th=[ 2736], 95.00th=[ 2960],
     | 99.00th=[ 3600], 99.50th=[ 5728], 99.90th=[10560], 99.95th=[13376],
     | 99.99th=[15808]
( Y% ]6 C7 B: w% `% [    bw (KB  /s): min= 5301, max=36160, per=6.26%, avg=9512.46, stdev=4336.10
# X2 |0 H+ I/ o) X    lat (usec) : 4=0.01%, 250=0.01%, 500=13.05%, 750=12.37%, 1000=9.57%
    lat (msec) : 2=20.22%, 4=44.02%, 10=0.65%, 20=0.12%
  cpu          : usr=0.41%, sys=1.71%, ctx=570206, majf=0, minf=89
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
3 [0 O3 J# a( e! j; P8 B9 p     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=570170/w=0/d=0, short=r=0/w=0/d=0
: s8 S6 G/ v7 e9 V* _) ~. L; u     latency   : target=0, window=0, percentile=100.00%, depth=1
  `( L! S! F( q9 ]; |2 o/ C
Run status group 0 (all jobs):
0 t: W+ x) c# R0 z. |+ D# ^& M   READ: io=8908.1MB, aggrb=152037KB/s, minb=152037KB/s, maxb=152037KB/s, mint=60003msec, maxt=60003msec

Disk stats (read/write):
" A$ B/ ?6 @$ }4 r! m4 @    dm-0: ios=568512/36, merge=0/0, ticks=939934/409, in_queue=941397, util=100.00%, aggrios=569340/30, aggrmerge=620/8, aggrticks=941323/312, aggrin_queue=942184, aggrutil=99.96%
% g3 Z" Q. v8 b5 ~/ F' K  vda: ios=569340/30, merge=620/8, ticks=941323/312, in_queue=942184, util=99.96%

admin

[root@iohdd ~]# fio -ioengine=libaio -bs=16k -direct=1 -thread -rw=read -size=1G -filename=test.img -name="test" -iodepth=1 -time_based -runtime=60 -numjobs=16 -group_reporting  
test: (g=0): rw=read, bs=16K-16K/16K-16K/16K-16K, ioengine=libaio, iodepth=1
4 V9 R  g# M  r. P4 A0 Q...
fio-2.1.10
Starting 16 threads
Jobs: 16 (f=16): [RRRRRRRRRRRRRRRR] [100.0% done] [9206KB/0KB/0KB /s] [575/0/0 iops] [eta 00m:00s]
test: (groupid=0, jobs=16): err= 0: pid=5738: Wed Jun 29 10:19:49 2022
7 f3 C6 k: L9 _/ u4 L& d8 P0 c/ I; ~  read : io=1405.7MB, bw=23977KB/s, iops=1498, runt= 60033msec
    slat (usec): min=8, max=4812, avg=22.80, stdev=22.62
$ {4 _3 T8 b. ]4 n7 S& T    clat (usec): min=637, max=459963, avg=10605.96, stdev=26116.86
- K$ r  c. N2 e$ V# ~3 R     lat (usec): min=669, max=459988, avg=10629.18, stdev=26117.45
    clat percentiles (msec):
: L* J  j# y- ?3 ~& E5 h     |  1.00th=[    3],  5.00th=[    3], 10.00th=[    3], 20.00th=[    3],
     | 30.00th=[    3], 40.00th=[    3], 50.00th=[    3], 60.00th=[    3],
     | 70.00th=[    6], 80.00th=[   13], 90.00th=[   27], 95.00th=[   40],
     | 99.00th=[  151], 99.50th=[  212], 99.90th=[  310], 99.95th=[  371],
     | 99.99th=[  461]
    bw (KB  /s): min=   90, max= 5365, per=6.37%, avg=1527.61, stdev=1245.63
& D, c( l5 w. |    lat (usec) : 750=0.01%, 1000=0.02%
6 ^& g/ g0 S( w3 `    lat (msec) : 2=0.91%, 4=67.27%, 10=10.94%, 20=6.75%, 50=11.29%
7 m; U8 S* k' I, d( |    lat (msec) : 100=1.50%, 250=1.12%, 500=0.20%
  cpu          : usr=0.07%, sys=0.41%, ctx=90095, majf=0, minf=94
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=89962/w=0/d=0, short=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
   READ: io=1405.7MB, aggrb=23976KB/s, minb=23976KB/s, maxb=23976KB/s, mint=60033msec, maxt=60033msec
' Y% E, Z7 `* M0 W  c
! V" r! _# h" ?% f& I5 u4 K! ?Disk stats (read/write):
. W) ]3 ?) _- _: `$ X, J% [    dm-0: ios=90013/7, merge=0/0, ticks=953955/1920, in_queue=962143, util=99.96%, aggrios=89860/8, aggrmerge=67/1, aggrticks=952305/1541, aggrin_queue=857719, aggrutil=87.74%
# ]: [7 V" _6 r" i1 d  vda: ios=89860/8, merge=67/1, ticks=952305/1541, in_queue=857719, util=87.74%
  D* s$ y( z4 h  [
" _; C4 d7 ~5 [
& s* J2 K7 c/ w5 f$ C[root@iossd ~]# fio -ioengine=libaio -bs=16k -direct=1 -thread -rw=read -size=1G -filename=test.img -name="test" -iodepth=1 -time_based -runtime=60 -numjobs=16 -group_reporting
test: (g=0): rw=read, bs=16K-16K/16K-16K/16K-16K, ioengine=libaio, iodepth=1
* ]) y4 r. C( u' u" A" ?- p; }...
* R. b# |" [3 n4 zfio-2.1.10
Starting 16 threads
Jobs: 16 (f=16): [RRRRRRRRRRRRRRRR] [100.0% done] [161.5MB/0KB/0KB /s] [10.4K/0/0 iops] [eta 00m:00s]
test: (groupid=0, jobs=16): err= 0: pid=4782: Wed Jun 29 10:19:47 2022
" x/ A6 |1 k/ C* T  read : io=7078.7MB, bw=120805KB/s, iops=7550, runt= 60002msec
    slat (usec): min=7, max=6772, avg=20.63, stdev=16.64
$ z7 G( H3 m" z) G9 k) I    clat (usec): min=231, max=122521, avg=2095.61, stdev=3593.03
     lat (usec): min=243, max=122542, avg=2116.64, stdev=3593.73
    clat percentiles (usec):
3 e. A- x3 E5 a# Z9 ]2 `. Q1 U4 Q     |  1.00th=[  314],  5.00th=[  370], 10.00th=[  438], 20.00th=[  636],
     | 30.00th=[  852], 40.00th=[ 1160], 50.00th=[ 1960], 60.00th=[ 2192],
     | 70.00th=[ 2288], 80.00th=[ 2512], 90.00th=[ 3152], 95.00th=[ 4448],
     | 99.00th=[11840], 99.50th=[20608], 99.90th=[52992], 99.95th=[73216],
& D3 q8 V0 V( M# J( z0 E     | 99.99th=[107008]
    bw (KB  /s): min= 1576, max=31072, per=6.26%, avg=7561.48, stdev=4405.82
    lat (usec) : 250=0.01%, 500=13.19%, 750=12.69%, 1000=9.41%
    lat (msec) : 2=15.69%, 4=43.22%, 10=4.34%, 20=0.91%, 50=0.42%
    lat (msec) : 100=0.11%, 250=0.01%
4 ~4 f  H  G: ]2 m  cpu          : usr=0.34%, sys=1.38%, ctx=453066, majf=0, minf=90
- d; @4 }& R5 M/ x2 v2 m  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
7 O" o, Z" g8 S9 a( x6 v4 d2 c# R) _     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=453033/w=0/d=0, short=r=0/w=0/d=0
$ z! h; t4 G  {" L/ D' x     latency   : target=0, window=0, percentile=100.00%, depth=1

1 ?# Y5 Q* t2 b. s) jRun status group 0 (all jobs):
   READ: io=7078.7MB, aggrb=120804KB/s, minb=120804KB/s, maxb=120804KB/s, mint=60002msec, maxt=60002msec
% ^  ^" u  k3 K: W
6 y) I$ H$ f0 y8 D$ @( J- T! r! IDisk stats (read/write):
8 e: l+ Z" t; S+ y) _! a* j    dm-0: ios=451274/3, merge=0/0, ticks=942542/17, in_queue=945715, util=100.00%, aggrios=452239/5, aggrmerge=599/0, aggrticks=944200/17, aggrin_queue=943292, aggrutil=99.67%
  vda: ios=452239/5, merge=599/0, ticks=944200/17, in_queue=943292, util=99.67%

admin

参数

参数名

说明

取值样例

- s$ s" w* I. \6 ?0 h; x- h) n7 e, Q

name

定义测试任务名称

N/A

filename

测试对象，即待测试的磁盘设备名称。

N/A

. {) g! _! u6 E' u) a. b. H% y

bs

每次请求的块大小。取值包括4k、8k及16k等。

4k

; o. E- \& d- h5 u7 a% N

bsrange

bsrange=512-2048 数据块的大小范围

N/A

4 g3 T' d; x0 |6 i, `+ X6 H

size

I/O 测试的寻址空间。也可是百分数，比如size=20%，表示读/写的数据量占该设备总文件的20%的空间

100GB

5 F3 f" u. d8 Y7 ~0 m

ioengine

I/O 引擎。推荐使用 Linux 的异步 I/O 引擎。

libaio

8 B/ x# J; A) o: I3 U9 k8 E

iodepth

请求的 I/O 队列深度。此处定义的队列深度是指每个线程的队列深度，如果有多个线程测试，意味着每个线程都是此处定义的队列深度。fio总的I/O并发数=iodepth * numjobs。

1

& D- [( y# a1 s# r7 B

numjobs

定义测试的并发线程数。

1

! F' U% b: `" b9 V- {

direct

定义是否使用direct I/O，可选值如下：值为0，表示使用buffered I/O值为1，表示使用direct I/O

1

rw

读写模式。取值包括顺序读（read）、顺序写（write）、随机读（randread）、随机写（randwrite）、混合随机读写（randrw）和混合顺序读写（rw，readwrite）。

read

, e1 n: q& c% ]7 b

rwmixwrite

rwmixwrite=30 在混合读写的模式下，写占30%

time_based

指定采用时间模式。无需设置该参数值，只要 FIO 基于时间来运行。

N/A

runtime

指定测试时长，即 FIO 运行时长。

600

refill_buffers

FIO 将在每次提交时重新填充 I/O 缓冲区。默认设置是仅在初始时填充并重用该数据。

N/A

  b+ M/ j' Z; ?& ^8 c( m) j

norandommap

在进行随机 I/O 时，FIO 将覆盖文件的每个块。若给出此参数，则将选择新的偏移量而不查看 I/O 历史记录。

N/A

randrepeat

随机序列是否可重复，True（1）表示随机序列可重复，False（0）表示随机序列不可重复。默认为 True（1）。

0

group_reporting

多个 job 并发时，打印整个 group 的统计值。

N/A

测试延迟

​ 队列深度为1，bs设置为4k，也就是模拟单个队列读写的延迟测试
; r% V8 n5 J' E9 a2 I9 k5 X
& C" `) _' n1 F/ k7 E# \) z 吞吐

​ 队列深度为32，bs设置为128k，测试最大能力去跑满整个磁盘带宽
& v, ^+ X5 I! K: h  @" S6 s
iops

# @; z2 J$ x* s8 q) W ​ 队列深度为32，bs设置为4k，要在最短的时间内多去读磁盘
7 m% ^: {/ U! @$ G
小文件通常测试随机读写，大文件通常测试顺序读写。
/ ^0 u7 P7 e% Q7 A- r
, f  q* X1 r. \3 k8 g 测试顺序读IOPS

# {( v5 N! G& E# D4 D! f fio -name=Se_Read_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=read -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
测试顺序写IOPS

fio -name=Se_Write_IOPS_Test -group_reporting  -direct=1 -iodepth=128 -rw=write -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
( x) {4 p4 v6 {测试随机写IOPS
% v% ?, b( i7 R) Z0 U: D
3 x. e4 H5 ~- y0 v fio -name=Rand_Write_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=randwrite -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
测试随机读IOPS

4 {1 W- W" E' D4 I fio -name=Rand_Read_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=randread -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
' s. l  Y+ C, A, g* k3 ?测试混合读写
5 _5 D$ ~% P  W
, V( J: G/ r) X- E3 mfio -name=Read_Write_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=randrw -rwmixread=70 -refill_buffers -norandommap -randrepeat=0 -ioengine=libaio -bs=4k -size=10G -numjobs=1 -runtime=600 -ioscheduler=noop
4 `$ o/ |$ _8 u2 {$ g3 x% i2 L4 r测试写吞吐量
3 @) V+ S- V* b/ j! |& U. P, ?) j
# f  H  j5 ^" d# W. Gfio -name=Write_BandWidth_Test -group_reporting -direct=1 -iodepth=32 -rw=write -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=1024k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
9 o6 ~+ \; t' {' h测试读吞吐量
/ U' _4 c; b7 D2 q
fio -name=Read_BandWidth_Test -group_reporting -direct=1 -iodepth=32 -rw=read -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=1024k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
测试结果输出指标
0 k. E  l" h* ?# Y; a; V" LIOPS：每秒读/写次数，单位为次（计数）。存储设备的底层驱动类型决定了不同的 IOPS。 --> iops
2 {+ W4 L/ p! |  c吞吐量：每秒的读写数据量，单位为MB/s。 --> bw
/ k* {6 N1 |8 R时延：I/O 操作的发送时间到接收确认所经过的时间，单位为秒。 --> lat (msec)
runt：总运行时间
0 C: ?& y- {7 D: Y) ~5 K( B