fio 测试工具添加libaio模块测试磁盘IO测试

admin

fio添加libaio模块测试磁盘IO测试

4 ]. c. w: s$ S7 h5 M首先下载libaio安装包：
: o! @1 b  \7 ]! s2 X9 s; Ehttps://pagure.io/libaio/releases
3 h8 {. J' p; p! Q: F9 G) Wlibaio-libaio-0.3.113.tar ...fio-2.1.10.tar.gz
# Z, p: T: z: L
: J# R1 v) H: M8 c% R+ y, C$ h
) I3 T1 s, j( {  Q
安装fio工具：
安装gcc gcc-c++  make
  k9 m! K0 E4 t# ` # yum install -y gcc gcc-c++ make

. \! Z: @6 e/ j% t0 Z: x$ h- l
解压：
3 M( {! E+ f: a; i2 [- |: ?
' b9 v/ |1 N! i
  K3 y3 b9 P8 j- A. n+ i
5 W7 o4 v4 s7 r+ k9 W配置安装libaio：
- W) o. x2 P& u, w0 Z' c
* \# g( \3 G% M; L1 T解压：
tar -zxvf  libaio-libaio-0.3.113.tar.gz
8 U0 p. _* `/ K4 Y1 Z. A
[root@iossd ~]# cd libaio-libaio-0.3.113
[root@iossd libaio-libaio-0.3.113]#
! T# S# Y5 J0 y0 ?3 |; W) @
9 n' {# g0 F2 [2 J[root@iossd libaio-libaio-0.3.113]# make && make install
" w, Q! {' n9 T% [$ B
+ |( v- O& ?3 @0 v; D% O# }安装libaio-devel包
yum install -y libaio-devel

- u7 }2 V! Y% _% `
1 i7 A1 V7 I( T. c0 o; G4 y& S9 y[root@testssd ~]# tar -zxvf fio-2.1.10.tar.gz     解压fio
8 j5 N) l1 E) X% x fio-2.1.10/
0 B& R( J5 C& f
% R+ Y4 M$ A$ M) l# ~[root@iossd ~]# cd fio-2.1.10
[root@iossd fio-2.1.10]#
4 l6 A7 r" X. t5 y- n& C0 T# P8 `
[root@test1hhd fio-2.1.10]# ./configure
% f% N4 r; ]" w2 ?" ]2 z6 k
5 F  i& a; U6 V3 amake && make install
0 m: W4 F+ c. d$ y0 b: S
& p$ F( H3 W; O. A9 V
! z# J! q* u$ d! h

这两个组件安装完成。
' F: ?/ Q% e! I& O! x5 L& {- i7 V接下来就是测试；
- v0 `& f4 H! ?' [

admin

[root@iossd ~]# fio -ioengine=libaio -bs=16k -direct=1 -thread -rw=read -size=1G -filename=test.img -name="test" -iodepth=1 -time_based -runtime=60 -numjobs=16 -group_reporting
test: (g=0): rw=read, bs=16K-16K/16K-16K/16K-16K, ioengine=libaio, iodepth=1
...
fio-2.1.10
( i# ~% K# f7 g7 ~) rStarting 16 threads
, I2 o9 o' {4 B, G: T7 Ftest: Laying out IO file(s) (1 file(s) / 1024MB)
- }) S6 r+ S/ a5 VJobs: 16 (f=16): [RRRRRRRRRRRRRRRR] [100.0% done] [157.2MB/0KB/0KB /s] [10.5K/0/0 iops] [eta 00m:00s]
test: (groupid=0, jobs=16): err= 0: pid=4764: Wed Jun 29 10:15:57 2022
  read : io=8908.1MB, bw=152038KB/s, iops=9502, runt= 60003msec
    slat (usec): min=6, max=9973, avg=20.19, stdev=17.11
* q. J  Q  K& l; u8 L( J    clat (usec): min=2, max=17223, avg=1660.75, stdev=1042.56
) D: q" T4 C: z& e; q4 N4 C     lat (usec): min=243, max=17249, avg=1681.32, stdev=1043.64
    clat percentiles (usec):
     |  1.00th=[  314],  5.00th=[  382], 10.00th=[  458], 20.00th=[  612],
' z/ ]+ S9 c$ j$ O: j     | 30.00th=[  868], 40.00th=[ 1208], 50.00th=[ 1800], 60.00th=[ 2128],
     | 70.00th=[ 2256], 80.00th=[ 2416], 90.00th=[ 2736], 95.00th=[ 2960],
7 p! w. ^- T; U; D+ d7 e( Q4 U     | 99.00th=[ 3600], 99.50th=[ 5728], 99.90th=[10560], 99.95th=[13376],
0 T* l3 k8 e, L/ o$ P" N1 g     | 99.99th=[15808]
    bw (KB  /s): min= 5301, max=36160, per=6.26%, avg=9512.46, stdev=4336.10
    lat (usec) : 4=0.01%, 250=0.01%, 500=13.05%, 750=12.37%, 1000=9.57%
% o1 o. Y+ w3 X6 `    lat (msec) : 2=20.22%, 4=44.02%, 10=0.65%, 20=0.12%
, ?1 X5 r+ }. I9 }% f! R  cpu          : usr=0.41%, sys=1.71%, ctx=570206, majf=0, minf=89
& J. [* r! S1 a! g- A" ^  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=570170/w=0/d=0, short=r=0/w=0/d=0
$ F* _' T( _; W% F8 `/ U. x     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
, N* V' g6 m* o7 C   READ: io=8908.1MB, aggrb=152037KB/s, minb=152037KB/s, maxb=152037KB/s, mint=60003msec, maxt=60003msec
7 \8 x- ]$ b% F
Disk stats (read/write):
; V5 w5 v1 J% s; s2 q    dm-0: ios=568512/36, merge=0/0, ticks=939934/409, in_queue=941397, util=100.00%, aggrios=569340/30, aggrmerge=620/8, aggrticks=941323/312, aggrin_queue=942184, aggrutil=99.96%
2 @0 e1 _# ?5 }6 X  vda: ios=569340/30, merge=620/8, ticks=941323/312, in_queue=942184, util=99.96%

admin

[root@iohdd ~]# fio -ioengine=libaio -bs=16k -direct=1 -thread -rw=read -size=1G -filename=test.img -name="test" -iodepth=1 -time_based -runtime=60 -numjobs=16 -group_reporting  
test: (g=0): rw=read, bs=16K-16K/16K-16K/16K-16K, ioengine=libaio, iodepth=1
...
fio-2.1.10
Starting 16 threads
Jobs: 16 (f=16): [RRRRRRRRRRRRRRRR] [100.0% done] [9206KB/0KB/0KB /s] [575/0/0 iops] [eta 00m:00s]
% N" l- O  s4 P) Ctest: (groupid=0, jobs=16): err= 0: pid=5738: Wed Jun 29 10:19:49 2022
  read : io=1405.7MB, bw=23977KB/s, iops=1498, runt= 60033msec
: b8 V5 _/ y- L+ P% j    slat (usec): min=8, max=4812, avg=22.80, stdev=22.62
    clat (usec): min=637, max=459963, avg=10605.96, stdev=26116.86
     lat (usec): min=669, max=459988, avg=10629.18, stdev=26117.45
. S, m2 q& H% A- Y+ T, M    clat percentiles (msec):
1 U0 b4 k# b+ |! [* C6 K     |  1.00th=[    3],  5.00th=[    3], 10.00th=[    3], 20.00th=[    3],
     | 30.00th=[    3], 40.00th=[    3], 50.00th=[    3], 60.00th=[    3],
. q  E! @' c, |* m# z9 h8 E     | 70.00th=[    6], 80.00th=[   13], 90.00th=[   27], 95.00th=[   40],
  s3 I6 c# U1 |8 |" p5 t$ q     | 99.00th=[  151], 99.50th=[  212], 99.90th=[  310], 99.95th=[  371],
     | 99.99th=[  461]
    bw (KB  /s): min=   90, max= 5365, per=6.37%, avg=1527.61, stdev=1245.63
    lat (usec) : 750=0.01%, 1000=0.02%
. {. Q3 v  x1 {4 z& V    lat (msec) : 2=0.91%, 4=67.27%, 10=10.94%, 20=6.75%, 50=11.29%
6 }# X! p7 ?9 q: w    lat (msec) : 100=1.50%, 250=1.12%, 500=0.20%
& i- X4 X/ A& Y" C6 E5 o  cpu          : usr=0.07%, sys=0.41%, ctx=90095, majf=0, minf=94
' o8 x0 m' p; i$ S3 b9 P  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
# I5 c$ k0 W% M8 H+ ]$ h0 {' [5 m/ X     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=89962/w=0/d=0, short=r=0/w=0/d=0
& P% B% F' j1 A, P, R0 }     latency   : target=0, window=0, percentile=100.00%, depth=1
9 X" t9 b# Q' E! C: R) h1 L
. _. a1 S8 N. ^3 mRun status group 0 (all jobs):
   READ: io=1405.7MB, aggrb=23976KB/s, minb=23976KB/s, maxb=23976KB/s, mint=60033msec, maxt=60033msec
3 k$ C8 A) ]# b
Disk stats (read/write):
    dm-0: ios=90013/7, merge=0/0, ticks=953955/1920, in_queue=962143, util=99.96%, aggrios=89860/8, aggrmerge=67/1, aggrticks=952305/1541, aggrin_queue=857719, aggrutil=87.74%
  vda: ios=89860/8, merge=67/1, ticks=952305/1541, in_queue=857719, util=87.74%


[root@iossd ~]# fio -ioengine=libaio -bs=16k -direct=1 -thread -rw=read -size=1G -filename=test.img -name="test" -iodepth=1 -time_based -runtime=60 -numjobs=16 -group_reporting
test: (g=0): rw=read, bs=16K-16K/16K-16K/16K-16K, ioengine=libaio, iodepth=1
...
. v& I/ f2 Y! k( p. rfio-2.1.10
- ?$ S0 p" H$ `, r5 T& XStarting 16 threads
Jobs: 16 (f=16): [RRRRRRRRRRRRRRRR] [100.0% done] [161.5MB/0KB/0KB /s] [10.4K/0/0 iops] [eta 00m:00s]
* E5 \8 @$ Q( K* G" Ftest: (groupid=0, jobs=16): err= 0: pid=4782: Wed Jun 29 10:19:47 2022
  read : io=7078.7MB, bw=120805KB/s, iops=7550, runt= 60002msec
    slat (usec): min=7, max=6772, avg=20.63, stdev=16.64
    clat (usec): min=231, max=122521, avg=2095.61, stdev=3593.03
     lat (usec): min=243, max=122542, avg=2116.64, stdev=3593.73
    clat percentiles (usec):
& y  I, ^. {) X     |  1.00th=[  314],  5.00th=[  370], 10.00th=[  438], 20.00th=[  636],
     | 30.00th=[  852], 40.00th=[ 1160], 50.00th=[ 1960], 60.00th=[ 2192],
     | 70.00th=[ 2288], 80.00th=[ 2512], 90.00th=[ 3152], 95.00th=[ 4448],
6 {" a0 e: y" J     | 99.00th=[11840], 99.50th=[20608], 99.90th=[52992], 99.95th=[73216],
     | 99.99th=[107008]
    bw (KB  /s): min= 1576, max=31072, per=6.26%, avg=7561.48, stdev=4405.82
    lat (usec) : 250=0.01%, 500=13.19%, 750=12.69%, 1000=9.41%
8 U5 w& W0 p/ v    lat (msec) : 2=15.69%, 4=43.22%, 10=4.34%, 20=0.91%, 50=0.42%
4 v! m7 j; r* ^0 w    lat (msec) : 100=0.11%, 250=0.01%
  cpu          : usr=0.34%, sys=1.38%, ctx=453066, majf=0, minf=90
& O% A) X; [3 i* G; [  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=453033/w=0/d=0, short=r=0/w=0/d=0
! i* |3 ~8 F: k. ]- h! H2 z% X) e6 e     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
2 f  v0 |- @2 h( H$ f7 [) G$ W   READ: io=7078.7MB, aggrb=120804KB/s, minb=120804KB/s, maxb=120804KB/s, mint=60002msec, maxt=60002msec
; C: w* Z1 ^8 n
Disk stats (read/write):
    dm-0: ios=451274/3, merge=0/0, ticks=942542/17, in_queue=945715, util=100.00%, aggrios=452239/5, aggrmerge=599/0, aggrticks=944200/17, aggrin_queue=943292, aggrutil=99.67%
  vda: ios=452239/5, merge=599/0, ticks=944200/17, in_queue=943292, util=99.67%

admin

参数

参数名

说明

取值样例

name

定义测试任务名称

N/A

3 {) b% M$ Y, g0 G/ |1 ^! T

filename

测试对象，即待测试的磁盘设备名称。

N/A

& {( v% K9 l2 t

bs

每次请求的块大小。取值包括4k、8k及16k等。

4k

% ?2 N2 m' `1 b( _

bsrange

bsrange=512-2048 数据块的大小范围

N/A

size

I/O 测试的寻址空间。也可是百分数，比如size=20%，表示读/写的数据量占该设备总文件的20%的空间

100GB

ioengine

I/O 引擎。推荐使用 Linux 的异步 I/O 引擎。

libaio

iodepth

请求的 I/O 队列深度。此处定义的队列深度是指每个线程的队列深度，如果有多个线程测试，意味着每个线程都是此处定义的队列深度。fio总的I/O并发数=iodepth * numjobs。

1

: y8 d0 V- o9 `# W; J8 I

numjobs

定义测试的并发线程数。

1

direct

定义是否使用direct I/O，可选值如下：值为0，表示使用buffered I/O值为1，表示使用direct I/O

1

+ A2 W$ _9 c& q6 }  t5 Y. `

rw

读写模式。取值包括顺序读（read）、顺序写（write）、随机读（randread）、随机写（randwrite）、混合随机读写（randrw）和混合顺序读写（rw，readwrite）。

read

/ B$ Z' ]) G. s& ^! r) G6 O

rwmixwrite

rwmixwrite=30 在混合读写的模式下，写占30%

4 ~4 T( G- y% Q( I5 S7 ztime_based

指定采用时间模式。无需设置该参数值，只要 FIO 基于时间来运行。

N/A

runtime

指定测试时长，即 FIO 运行时长。

600

refill_buffers

FIO 将在每次提交时重新填充 I/O 缓冲区。默认设置是仅在初始时填充并重用该数据。

N/A

norandommap

在进行随机 I/O 时，FIO 将覆盖文件的每个块。若给出此参数，则将选择新的偏移量而不查看 I/O 历史记录。

N/A

randrepeat

随机序列是否可重复，True（1）表示随机序列可重复，False（0）表示随机序列不可重复。默认为 True（1）。

0

) m+ x' Y8 L' T. `$ I' p4 L0 l

group_reporting

多个 job 并发时，打印整个 group 的统计值。

N/A

: U* l  x! y! u6 g) a
测试延迟

, ~9 @2 I% \. w, T9 w- ^) P​ 队列深度为1，bs设置为4k，也就是模拟单个队列读写的延迟测试

吞吐

( f- o" ?- y1 l& S2 Z. d& r  N& r​ 队列深度为32，bs设置为128k，测试最大能力去跑满整个磁盘带宽
" v: ?9 Y- Z& D
! F  I1 t% D. R# E$ K$ Z# Tiops
9 w& Y3 E) ]9 X- E
+ L- R/ L2 w- K7 e, ], } ​ 队列深度为32，bs设置为4k，要在最短的时间内多去读磁盘

$ K4 D6 m' `7 M$ n; m; L. K 小文件通常测试随机读写，大文件通常测试顺序读写。
) H( x1 e6 }% Q* n( p2 F
测试顺序读IOPS

  d* Z, t3 s3 n# e, \4 Z& ] fio -name=Se_Read_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=read -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
5 z3 ~. J' B$ R( W3 |测试顺序写IOPS

fio -name=Se_Write_IOPS_Test -group_reporting  -direct=1 -iodepth=128 -rw=write -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
测试随机写IOPS
* {. |9 S  S/ O. F8 p
fio -name=Rand_Write_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=randwrite -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
5 r, t, N# u6 {2 L+ R, N/ ?2 H测试随机读IOPS
  X, r) V& ?$ Q+ I3 v
fio -name=Rand_Read_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=randread -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
$ R% n: z6 X7 W( }3 S" K* ~. l3 _测试混合读写

5 U6 {% B! l( E" z/ o" Vfio -name=Read_Write_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=randrw -rwmixread=70 -refill_buffers -norandommap -randrepeat=0 -ioengine=libaio -bs=4k -size=10G -numjobs=1 -runtime=600 -ioscheduler=noop
测试写吞吐量
. s6 y( c4 o5 T/ S* ?3 F4 @
fio -name=Write_BandWidth_Test -group_reporting -direct=1 -iodepth=32 -rw=write -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=1024k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
测试读吞吐量
1 k% r- g' h  A" i- y- C. Z
fio -name=Read_BandWidth_Test -group_reporting -direct=1 -iodepth=32 -rw=read -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=1024k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
测试结果输出指标
IOPS：每秒读/写次数，单位为次（计数）。存储设备的底层驱动类型决定了不同的 IOPS。 --> iops
3 \# p" @4 ?) T3 V, i1 H吞吐量：每秒的读写数据量，单位为MB/s。 --> bw
时延：I/O 操作的发送时间到接收确认所经过的时间，单位为秒。 --> lat (msec)
runt：总运行时间
" Q! @6 H, }) t
+ n% ]% r- K# s