fio 测试工具添加libaio模块测试磁盘IO测试

admin

fio添加libaio模块测试磁盘IO测试

' o* W" e) {5 P, n首先下载libaio安装包：
https://pagure.io/libaio/releases
% }* i# a+ @# u2 R1 A' |5 Flibaio-libaio-0.3.113.tar ...fio-2.1.10.tar.gz
, ^7 c; \) K6 D
2 A9 b+ y4 ?/ P
9 b8 ]9 Q+ |2 X  f' S- @4 K
安装fio工具：
安装gcc gcc-c++  make
# yum install -y gcc gcc-c++ make
: X9 y. r  Q, c4 i; f) S; {

0 X, @: B  G. d解压：
; k0 L; H0 ~) t8 y* N+ P
- w' o5 _  H5 L7 x, F4 b

配置安装libaio：

7 t- a& \! S- g* F. R7 v5 ^解压：
, E! W8 `) v8 g7 Qtar -zxvf  libaio-libaio-0.3.113.tar.gz
+ y2 s# b* I! l+ q) C* @- i  v
( D2 D! T  a, z3 l9 x[root@iossd ~]# cd libaio-libaio-0.3.113
[root@iossd libaio-libaio-0.3.113]#
& _3 S9 P9 S* \- ~- @" C
[root@iossd libaio-libaio-0.3.113]# make && make install

安装libaio-devel包
yum install -y libaio-devel
2 _) T- s0 j$ t" e

[root@testssd ~]# tar -zxvf fio-2.1.10.tar.gz     解压fio
fio-2.1.10/
4 V  a0 F/ q: o- m' B+ i9 ^0 i
" E+ F4 I6 c4 q! _9 R/ t[root@iossd ~]# cd fio-2.1.10
[root@iossd fio-2.1.10]#
: Z3 E& |: H6 m, ?
[root@test1hhd fio-2.1.10]# ./configure

make && make install
% t4 c& ^- K: U) c
, `; ~6 @! K, K8 \6 r

, J3 h6 [  U+ ]
' h$ e  }# m# q( _6 P9 c. ~5 @这两个组件安装完成。
2 D" N% X2 K+ r接下来就是测试；
  i; f0 s4 V3 Q+ }$ t; }; m( V# e
0 J% w8 n. B0 J/ o( p8 ^
: d" A5 z& W* W0 Z/ W7 k, `* g1 j1 C
% _/ N4 h- E6 F' L/ y. j$ `

admin

[root@iossd ~]# fio -ioengine=libaio -bs=16k -direct=1 -thread -rw=read -size=1G -filename=test.img -name="test" -iodepth=1 -time_based -runtime=60 -numjobs=16 -group_reporting
test: (g=0): rw=read, bs=16K-16K/16K-16K/16K-16K, ioengine=libaio, iodepth=1
8 R7 w, \2 k9 d& T4 n...
fio-2.1.10
, E: z2 c' g3 R# k& z7 t5 e* MStarting 16 threads
test: Laying out IO file(s) (1 file(s) / 1024MB)
Jobs: 16 (f=16): [RRRRRRRRRRRRRRRR] [100.0% done] [157.2MB/0KB/0KB /s] [10.5K/0/0 iops] [eta 00m:00s]
, G- _: x$ N. Z3 _7 R- B3 R4 E3 Xtest: (groupid=0, jobs=16): err= 0: pid=4764: Wed Jun 29 10:15:57 2022
  read : io=8908.1MB, bw=152038KB/s, iops=9502, runt= 60003msec
4 P3 k' ~. t2 e, {& k8 W    slat (usec): min=6, max=9973, avg=20.19, stdev=17.11
    clat (usec): min=2, max=17223, avg=1660.75, stdev=1042.56
) {5 Y2 p5 R; r) b. N: u8 r     lat (usec): min=243, max=17249, avg=1681.32, stdev=1043.64
: Q  v3 A2 E3 @    clat percentiles (usec):
     |  1.00th=[  314],  5.00th=[  382], 10.00th=[  458], 20.00th=[  612],
     | 30.00th=[  868], 40.00th=[ 1208], 50.00th=[ 1800], 60.00th=[ 2128],
! T" k; C" P4 q- n; w     | 70.00th=[ 2256], 80.00th=[ 2416], 90.00th=[ 2736], 95.00th=[ 2960],
- G( C/ G; K* P0 e! k+ c& w" i     | 99.00th=[ 3600], 99.50th=[ 5728], 99.90th=[10560], 99.95th=[13376],
/ O! F& F% G: |; _! l# u/ \0 ]     | 99.99th=[15808]
  M/ m3 V2 @4 }, m  l    bw (KB  /s): min= 5301, max=36160, per=6.26%, avg=9512.46, stdev=4336.10
* o( B7 Z3 y8 x0 h! P& L: b. b    lat (usec) : 4=0.01%, 250=0.01%, 500=13.05%, 750=12.37%, 1000=9.57%
    lat (msec) : 2=20.22%, 4=44.02%, 10=0.65%, 20=0.12%
  cpu          : usr=0.41%, sys=1.71%, ctx=570206, majf=0, minf=89
* ^5 G; {( ^( ]  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
* n* B: t0 W; v4 ]     issued    : total=r=570170/w=0/d=0, short=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1
  D' ~, E/ e7 p% V4 C; e
Run status group 0 (all jobs):
   READ: io=8908.1MB, aggrb=152037KB/s, minb=152037KB/s, maxb=152037KB/s, mint=60003msec, maxt=60003msec
% B9 t0 u) T; b7 g7 I
Disk stats (read/write):
; u$ N3 t5 h# ~. b    dm-0: ios=568512/36, merge=0/0, ticks=939934/409, in_queue=941397, util=100.00%, aggrios=569340/30, aggrmerge=620/8, aggrticks=941323/312, aggrin_queue=942184, aggrutil=99.96%
% a0 v% k# J: f6 _( v  vda: ios=569340/30, merge=620/8, ticks=941323/312, in_queue=942184, util=99.96%

admin

[root@iohdd ~]# fio -ioengine=libaio -bs=16k -direct=1 -thread -rw=read -size=1G -filename=test.img -name="test" -iodepth=1 -time_based -runtime=60 -numjobs=16 -group_reporting  
% m: W2 }! J$ Ftest: (g=0): rw=read, bs=16K-16K/16K-16K/16K-16K, ioengine=libaio, iodepth=1
0 }$ U: _  L' u! {" J6 n...
1 _0 P5 g6 a' h1 }" ?" \' X- O) s: ufio-2.1.10
Starting 16 threads
Jobs: 16 (f=16): [RRRRRRRRRRRRRRRR] [100.0% done] [9206KB/0KB/0KB /s] [575/0/0 iops] [eta 00m:00s]
test: (groupid=0, jobs=16): err= 0: pid=5738: Wed Jun 29 10:19:49 2022
, x2 k8 P6 k' @# Z  read : io=1405.7MB, bw=23977KB/s, iops=1498, runt= 60033msec
    slat (usec): min=8, max=4812, avg=22.80, stdev=22.62
' y, u6 ], w9 L, b5 G7 e+ R    clat (usec): min=637, max=459963, avg=10605.96, stdev=26116.86
2 r+ h1 X% N  W' Y3 Q5 U! ~0 s( `     lat (usec): min=669, max=459988, avg=10629.18, stdev=26117.45
    clat percentiles (msec):
     |  1.00th=[    3],  5.00th=[    3], 10.00th=[    3], 20.00th=[    3],
     | 30.00th=[    3], 40.00th=[    3], 50.00th=[    3], 60.00th=[    3],
, A- s7 N5 n4 |: F' G, h     | 70.00th=[    6], 80.00th=[   13], 90.00th=[   27], 95.00th=[   40],
& F3 S" Y* J6 {. {: a% H     | 99.00th=[  151], 99.50th=[  212], 99.90th=[  310], 99.95th=[  371],
, @7 y' G6 ~  b$ ]: O     | 99.99th=[  461]
2 q* \. x- |! d. @$ @! l( E+ w    bw (KB  /s): min=   90, max= 5365, per=6.37%, avg=1527.61, stdev=1245.63
    lat (usec) : 750=0.01%, 1000=0.02%
; S# V3 _: _- E4 w  O, }7 M7 V    lat (msec) : 2=0.91%, 4=67.27%, 10=10.94%, 20=6.75%, 50=11.29%
) u" E' C/ b9 o8 h3 S2 L    lat (msec) : 100=1.50%, 250=1.12%, 500=0.20%
0 E% I. Z  E! o1 |- e+ o( q( Y  cpu          : usr=0.07%, sys=0.41%, ctx=90095, majf=0, minf=94
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
2 {  _1 r! m5 H. D     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
/ w- e3 a) V2 D4 c& `     issued    : total=r=89962/w=0/d=0, short=r=0/w=0/d=0
1 ^8 B( I' z2 k& {$ {% }6 B     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
7 b2 p  h5 a2 b! ?- w   READ: io=1405.7MB, aggrb=23976KB/s, minb=23976KB/s, maxb=23976KB/s, mint=60033msec, maxt=60033msec
7 s7 v) V8 P) A( v& o6 A: @3 M
Disk stats (read/write):
8 X( ~; \+ D' f5 H! T2 \0 z    dm-0: ios=90013/7, merge=0/0, ticks=953955/1920, in_queue=962143, util=99.96%, aggrios=89860/8, aggrmerge=67/1, aggrticks=952305/1541, aggrin_queue=857719, aggrutil=87.74%
, W3 C0 k6 R9 a  vda: ios=89860/8, merge=67/1, ticks=952305/1541, in_queue=857719, util=87.74%


0 b  W5 G+ U! x- r) {. s[root@iossd ~]# fio -ioengine=libaio -bs=16k -direct=1 -thread -rw=read -size=1G -filename=test.img -name="test" -iodepth=1 -time_based -runtime=60 -numjobs=16 -group_reporting
test: (g=0): rw=read, bs=16K-16K/16K-16K/16K-16K, ioengine=libaio, iodepth=1
2 f0 v+ F2 Y1 _# J9 c...
+ |. V! h: z0 d: g1 w2 U0 X/ J% \1 {fio-2.1.10
' {; r! f' E' V2 p0 ]; xStarting 16 threads
Jobs: 16 (f=16): [RRRRRRRRRRRRRRRR] [100.0% done] [161.5MB/0KB/0KB /s] [10.4K/0/0 iops] [eta 00m:00s]
test: (groupid=0, jobs=16): err= 0: pid=4782: Wed Jun 29 10:19:47 2022
2 X+ V7 v9 ]9 s+ e2 z. s) c  read : io=7078.7MB, bw=120805KB/s, iops=7550, runt= 60002msec
    slat (usec): min=7, max=6772, avg=20.63, stdev=16.64
) E2 L$ _# b2 h* }    clat (usec): min=231, max=122521, avg=2095.61, stdev=3593.03
$ a4 K0 ^6 b8 S  D. j* l2 M     lat (usec): min=243, max=122542, avg=2116.64, stdev=3593.73
3 Q" W  v3 L& ^5 y/ g    clat percentiles (usec):
     |  1.00th=[  314],  5.00th=[  370], 10.00th=[  438], 20.00th=[  636],
     | 30.00th=[  852], 40.00th=[ 1160], 50.00th=[ 1960], 60.00th=[ 2192],
( `/ o1 S, F, d) e+ F+ J, b     | 70.00th=[ 2288], 80.00th=[ 2512], 90.00th=[ 3152], 95.00th=[ 4448],
* A0 M2 V; e' u! A     | 99.00th=[11840], 99.50th=[20608], 99.90th=[52992], 99.95th=[73216],
' B% ?3 f! ^* r, q$ k' g     | 99.99th=[107008]
, z! A/ ?/ S4 F% o9 |: T# c6 U    bw (KB  /s): min= 1576, max=31072, per=6.26%, avg=7561.48, stdev=4405.82
    lat (usec) : 250=0.01%, 500=13.19%, 750=12.69%, 1000=9.41%
7 o8 G" [: a# S# ]    lat (msec) : 2=15.69%, 4=43.22%, 10=4.34%, 20=0.91%, 50=0.42%
! r+ [! U3 u" b5 d: g3 f3 o    lat (msec) : 100=0.11%, 250=0.01%
& ?; N0 L, C8 B9 k( f+ B. Q  cpu          : usr=0.34%, sys=1.38%, ctx=453066, majf=0, minf=90
2 K9 U0 N- M( l: ~0 Y+ l0 S( }2 U  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=453033/w=0/d=0, short=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1

# P6 a7 X9 I( ]% h9 TRun status group 0 (all jobs):
$ M- q. B1 N" r% ?. j9 }. q9 W; Z  o/ n" r   READ: io=7078.7MB, aggrb=120804KB/s, minb=120804KB/s, maxb=120804KB/s, mint=60002msec, maxt=60002msec
- c% Z- v9 T7 i
Disk stats (read/write):
& |4 r) q" ~8 s$ F    dm-0: ios=451274/3, merge=0/0, ticks=942542/17, in_queue=945715, util=100.00%, aggrios=452239/5, aggrmerge=599/0, aggrticks=944200/17, aggrin_queue=943292, aggrutil=99.67%
  vda: ios=452239/5, merge=599/0, ticks=944200/17, in_queue=943292, util=99.67%

admin

参数

参数名

说明

取值样例

name

定义测试任务名称

N/A

- i% C- m) {; j5 S

filename

测试对象，即待测试的磁盘设备名称。

N/A

5 o: f9 W! A% h

bs

每次请求的块大小。取值包括4k、8k及16k等。

4k

bsrange

bsrange=512-2048 数据块的大小范围

N/A

+ x  s0 d8 s  `5 L4 ]; M& h* C& K/ y' H

size

I/O 测试的寻址空间。也可是百分数，比如size=20%，表示读/写的数据量占该设备总文件的20%的空间

100GB

ioengine

I/O 引擎。推荐使用 Linux 的异步 I/O 引擎。

libaio

* H* Y! o) X7 b7 d

iodepth

请求的 I/O 队列深度。此处定义的队列深度是指每个线程的队列深度，如果有多个线程测试，意味着每个线程都是此处定义的队列深度。fio总的I/O并发数=iodepth * numjobs。

1

9 q+ k$ {; h( V# ?) B, @# ]0 [

numjobs

定义测试的并发线程数。

1

2 L% D  j; ]9 b  b/ M2 [' z

direct

定义是否使用direct I/O，可选值如下：值为0，表示使用buffered I/O值为1，表示使用direct I/O

1

rw

读写模式。取值包括顺序读（read）、顺序写（write）、随机读（randread）、随机写（randwrite）、混合随机读写（randrw）和混合顺序读写（rw，readwrite）。

read

rwmixwrite

rwmixwrite=30 在混合读写的模式下，写占30%

& F9 P9 H2 W5 R* Otime_based

指定采用时间模式。无需设置该参数值，只要 FIO 基于时间来运行。

N/A

6 Z' }& v, T3 e# d3 a) _

runtime

指定测试时长，即 FIO 运行时长。

600

+ M0 T( |+ t% W2 u2 h4 N: h

refill_buffers

FIO 将在每次提交时重新填充 I/O 缓冲区。默认设置是仅在初始时填充并重用该数据。

N/A

* g2 z# {  t: L+ y6 \( `9 h) i( k

norandommap

在进行随机 I/O 时，FIO 将覆盖文件的每个块。若给出此参数，则将选择新的偏移量而不查看 I/O 历史记录。

N/A

randrepeat

随机序列是否可重复，True（1）表示随机序列可重复，False（0）表示随机序列不可重复。默认为 True（1）。

0

group_reporting

多个 job 并发时，打印整个 group 的统计值。

N/A

测试延迟

​ 队列深度为1，bs设置为4k，也就是模拟单个队列读写的延迟测试
1 b1 b8 r6 n4 I5 }" Q0 A! ^
' ?/ S) v/ C. \/ e' @2 [ 吞吐

​ 队列深度为32，bs设置为128k，测试最大能力去跑满整个磁盘带宽
1 U# G+ k% k6 K
iops

​ 队列深度为32，bs设置为4k，要在最短的时间内多去读磁盘
& S5 M1 @8 w- q. ^) a+ w  Y
小文件通常测试随机读写，大文件通常测试顺序读写。

测试顺序读IOPS
# }3 H& B% ^4 C! s" y  Q5 s- |- q) ]0 i5 [
fio -name=Se_Read_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=read -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
5 t) R( Y  i/ W& p. V测试顺序写IOPS

fio -name=Se_Write_IOPS_Test -group_reporting  -direct=1 -iodepth=128 -rw=write -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
  Y! R- w1 C( l% w1 _" J# y- o- }2 C  ]测试随机写IOPS

fio -name=Rand_Write_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=randwrite -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
测试随机读IOPS

fio -name=Rand_Read_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=randread -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
测试混合读写
- j" P: [; Z" ]7 d9 q
, A$ P* L9 {( Tfio -name=Read_Write_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=randrw -rwmixread=70 -refill_buffers -norandommap -randrepeat=0 -ioengine=libaio -bs=4k -size=10G -numjobs=1 -runtime=600 -ioscheduler=noop
测试写吞吐量
2 h& L5 R- n& C) I0 R1 |6 K
( ?. x1 s$ r2 D$ q  ?9 Lfio -name=Write_BandWidth_Test -group_reporting -direct=1 -iodepth=32 -rw=write -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=1024k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
2 j6 X8 z: o6 k" N* u7 ]8 U: u测试读吞吐量
3 M" ]* X# v5 }
- d3 o: o' `+ R, [6 ^( Qfio -name=Read_BandWidth_Test -group_reporting -direct=1 -iodepth=32 -rw=read -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=1024k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
. T$ s0 _& v1 P) q8 m9 R/ o6 w测试结果输出指标
IOPS：每秒读/写次数，单位为次（计数）。存储设备的底层驱动类型决定了不同的 IOPS。 --> iops
吞吐量：每秒的读写数据量，单位为MB/s。 --> bw
时延：I/O 操作的发送时间到接收确认所经过的时间，单位为秒。 --> lat (msec)
runt：总运行时间