fio 测试工具添加libaio模块测试磁盘IO测试

admin

fio添加libaio模块测试磁盘IO测试
. V: p) T8 e1 n$ Z& a
9 V4 _) x: N6 g) Y' b# ]首先下载libaio安装包：
' ?! |) V& x$ o$ i2 Ahttps://pagure.io/libaio/releases
libaio-libaio-0.3.113.tar ...fio-2.1.10.tar.gz
! X* N& I" C6 y3 ^
4 ^# }) `" v, B, Q4 e

安装fio工具：
安装gcc gcc-c++  make
# yum install -y gcc gcc-c++ make


3 S" d8 s% z, X4 \- N' k解压：
, G: h" ^' G$ _4 d: F2 @/ s


# o: `# `2 A& x7 n) r配置安装libaio：

8 U* G: R* n8 b& @" |& e- t5 u解压：
4 y$ r6 [4 h& F, p, etar -zxvf  libaio-libaio-0.3.113.tar.gz
: B: {' b2 O" u/ [! l
[root@iossd ~]# cd libaio-libaio-0.3.113
; v; Q$ P* U. X/ c+ x; t[root@iossd libaio-libaio-0.3.113]#

[root@iossd libaio-libaio-0.3.113]# make && make install

+ J# x5 t- e$ w* X! I安装libaio-devel包
  x3 C  n9 g0 R; }* V7 R# L& vyum install -y libaio-devel


[root@testssd ~]# tar -zxvf fio-2.1.10.tar.gz     解压fio
. c/ {- f# k: ]; P fio-2.1.10/

. {, S$ A9 K% t8 H" i: B[root@iossd ~]# cd fio-2.1.10
[root@iossd fio-2.1.10]#
. W* E( b2 ?$ E0 f
. q- \/ H# N) Z[root@test1hhd fio-2.1.10]# ./configure

7 Y0 M/ M7 |8 E: imake && make install

1 c7 I/ q6 L5 J5 Q
: J) Y1 I! K  w6 W$ U# @

) d. i9 h; Y- h# J1 O0 `这两个组件安装完成。
% q* P8 f& d" S% m( A$ N/ s接下来就是测试；



5 M8 v, h: i% I' z* M

admin

[root@iossd ~]# fio -ioengine=libaio -bs=16k -direct=1 -thread -rw=read -size=1G -filename=test.img -name="test" -iodepth=1 -time_based -runtime=60 -numjobs=16 -group_reporting
% x# I  `+ K- c& i5 h4 ^) Ctest: (g=0): rw=read, bs=16K-16K/16K-16K/16K-16K, ioengine=libaio, iodepth=1
...
fio-2.1.10
Starting 16 threads
test: Laying out IO file(s) (1 file(s) / 1024MB)
7 F& Z% K) O; Z* YJobs: 16 (f=16): [RRRRRRRRRRRRRRRR] [100.0% done] [157.2MB/0KB/0KB /s] [10.5K/0/0 iops] [eta 00m:00s]
: s; S! J& k/ S  xtest: (groupid=0, jobs=16): err= 0: pid=4764: Wed Jun 29 10:15:57 2022
  read : io=8908.1MB, bw=152038KB/s, iops=9502, runt= 60003msec
    slat (usec): min=6, max=9973, avg=20.19, stdev=17.11
. V3 n* i2 C9 e7 F( l    clat (usec): min=2, max=17223, avg=1660.75, stdev=1042.56
     lat (usec): min=243, max=17249, avg=1681.32, stdev=1043.64
- Q/ z3 L' z, M* C    clat percentiles (usec):
     |  1.00th=[  314],  5.00th=[  382], 10.00th=[  458], 20.00th=[  612],
) R- S! p4 a" s0 L3 z  E     | 30.00th=[  868], 40.00th=[ 1208], 50.00th=[ 1800], 60.00th=[ 2128],
     | 70.00th=[ 2256], 80.00th=[ 2416], 90.00th=[ 2736], 95.00th=[ 2960],
     | 99.00th=[ 3600], 99.50th=[ 5728], 99.90th=[10560], 99.95th=[13376],
# e; D1 M, t0 I" s- W; J- C     | 99.99th=[15808]
- P1 S& I9 \6 y/ n4 A    bw (KB  /s): min= 5301, max=36160, per=6.26%, avg=9512.46, stdev=4336.10
    lat (usec) : 4=0.01%, 250=0.01%, 500=13.05%, 750=12.37%, 1000=9.57%
    lat (msec) : 2=20.22%, 4=44.02%, 10=0.65%, 20=0.12%
3 q9 F, U" z4 g& ]  cpu          : usr=0.41%, sys=1.71%, ctx=570206, majf=0, minf=89
4 A5 j! p, v1 v6 |3 R" w  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
4 d+ o1 [, J2 E* v     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
) \# s% P/ c; q3 E1 [. M     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=570170/w=0/d=0, short=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1
* T+ _5 Y& B& o5 O' b# @
Run status group 0 (all jobs):
   READ: io=8908.1MB, aggrb=152037KB/s, minb=152037KB/s, maxb=152037KB/s, mint=60003msec, maxt=60003msec

Disk stats (read/write):
# Y8 i# i. }/ Y- s: T  q    dm-0: ios=568512/36, merge=0/0, ticks=939934/409, in_queue=941397, util=100.00%, aggrios=569340/30, aggrmerge=620/8, aggrticks=941323/312, aggrin_queue=942184, aggrutil=99.96%
  vda: ios=569340/30, merge=620/8, ticks=941323/312, in_queue=942184, util=99.96%

admin

[root@iohdd ~]# fio -ioengine=libaio -bs=16k -direct=1 -thread -rw=read -size=1G -filename=test.img -name="test" -iodepth=1 -time_based -runtime=60 -numjobs=16 -group_reporting  
6 ^- V$ m/ r& k  \test: (g=0): rw=read, bs=16K-16K/16K-16K/16K-16K, ioengine=libaio, iodepth=1
...
# G( V+ e9 t/ Y& k8 u9 ?, F. zfio-2.1.10
Starting 16 threads
Jobs: 16 (f=16): [RRRRRRRRRRRRRRRR] [100.0% done] [9206KB/0KB/0KB /s] [575/0/0 iops] [eta 00m:00s]
2 p$ }/ g& o5 M% Dtest: (groupid=0, jobs=16): err= 0: pid=5738: Wed Jun 29 10:19:49 2022
, |7 i) I- \. Z7 U' g  read : io=1405.7MB, bw=23977KB/s, iops=1498, runt= 60033msec
    slat (usec): min=8, max=4812, avg=22.80, stdev=22.62
3 J# t$ n; u" [$ e; H. ~    clat (usec): min=637, max=459963, avg=10605.96, stdev=26116.86
     lat (usec): min=669, max=459988, avg=10629.18, stdev=26117.45
0 L+ Z: Q- z; x$ b    clat percentiles (msec):
) w, o# b1 U3 b, c0 r: q     |  1.00th=[    3],  5.00th=[    3], 10.00th=[    3], 20.00th=[    3],
& P1 h/ C( f5 ^: q! ^- P     | 30.00th=[    3], 40.00th=[    3], 50.00th=[    3], 60.00th=[    3],
" J& u# O- `( C     | 70.00th=[    6], 80.00th=[   13], 90.00th=[   27], 95.00th=[   40],
     | 99.00th=[  151], 99.50th=[  212], 99.90th=[  310], 99.95th=[  371],
     | 99.99th=[  461]
# H. q! V' t  v    bw (KB  /s): min=   90, max= 5365, per=6.37%, avg=1527.61, stdev=1245.63
! j& V: A8 x) Q3 i4 K- ]1 s$ Y3 F$ n    lat (usec) : 750=0.01%, 1000=0.02%
) Q# r1 ^/ O9 V3 A' I' {8 W    lat (msec) : 2=0.91%, 4=67.27%, 10=10.94%, 20=6.75%, 50=11.29%
    lat (msec) : 100=1.50%, 250=1.12%, 500=0.20%
  cpu          : usr=0.07%, sys=0.41%, ctx=90095, majf=0, minf=94
# Q8 \. g  y! n, X! o  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=89962/w=0/d=0, short=r=0/w=0/d=0
4 \/ `; g5 W2 S     latency   : target=0, window=0, percentile=100.00%, depth=1
$ @0 a# H8 L6 W; |+ l0 [* `  X/ a4 \
Run status group 0 (all jobs):
4 J2 I3 {0 H/ r: H/ u   READ: io=1405.7MB, aggrb=23976KB/s, minb=23976KB/s, maxb=23976KB/s, mint=60033msec, maxt=60033msec
# N6 L, p/ K1 p9 d9 [9 P6 h
Disk stats (read/write):
    dm-0: ios=90013/7, merge=0/0, ticks=953955/1920, in_queue=962143, util=99.96%, aggrios=89860/8, aggrmerge=67/1, aggrticks=952305/1541, aggrin_queue=857719, aggrutil=87.74%
  vda: ios=89860/8, merge=67/1, ticks=952305/1541, in_queue=857719, util=87.74%

! l' t, t9 q# T; o9 M  F. Z
[root@iossd ~]# fio -ioengine=libaio -bs=16k -direct=1 -thread -rw=read -size=1G -filename=test.img -name="test" -iodepth=1 -time_based -runtime=60 -numjobs=16 -group_reporting
test: (g=0): rw=read, bs=16K-16K/16K-16K/16K-16K, ioengine=libaio, iodepth=1
, ?: n7 H; D% ]( ~+ u...
9 h+ i0 d7 @$ D* p6 Vfio-2.1.10
, w9 k" `2 ~% p2 l5 i4 t9 [Starting 16 threads
; _. D, l, n* m" u) }% jJobs: 16 (f=16): [RRRRRRRRRRRRRRRR] [100.0% done] [161.5MB/0KB/0KB /s] [10.4K/0/0 iops] [eta 00m:00s]
test: (groupid=0, jobs=16): err= 0: pid=4782: Wed Jun 29 10:19:47 2022
  read : io=7078.7MB, bw=120805KB/s, iops=7550, runt= 60002msec
    slat (usec): min=7, max=6772, avg=20.63, stdev=16.64
) r/ v" x( F% g; L+ T! ?+ f, w& [    clat (usec): min=231, max=122521, avg=2095.61, stdev=3593.03
     lat (usec): min=243, max=122542, avg=2116.64, stdev=3593.73
    clat percentiles (usec):
" w7 n# [1 D5 l( ]& y" T: O     |  1.00th=[  314],  5.00th=[  370], 10.00th=[  438], 20.00th=[  636],
+ Z* I9 B7 i" n0 h2 a9 r9 D) H     | 30.00th=[  852], 40.00th=[ 1160], 50.00th=[ 1960], 60.00th=[ 2192],
     | 70.00th=[ 2288], 80.00th=[ 2512], 90.00th=[ 3152], 95.00th=[ 4448],
     | 99.00th=[11840], 99.50th=[20608], 99.90th=[52992], 99.95th=[73216],
* z0 Q1 M2 n. b# s1 p: p     | 99.99th=[107008]
/ H) z* W- i, A0 t    bw (KB  /s): min= 1576, max=31072, per=6.26%, avg=7561.48, stdev=4405.82
    lat (usec) : 250=0.01%, 500=13.19%, 750=12.69%, 1000=9.41%
    lat (msec) : 2=15.69%, 4=43.22%, 10=4.34%, 20=0.91%, 50=0.42%
    lat (msec) : 100=0.11%, 250=0.01%
( _" H2 T4 A& A8 E0 r* r  cpu          : usr=0.34%, sys=1.38%, ctx=453066, majf=0, minf=90
/ s5 w& I9 }. H( D  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
( A0 {5 H( i6 z     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
4 R+ g& i- s6 L% g, r5 F) Y# o0 A     issued    : total=r=453033/w=0/d=0, short=r=0/w=0/d=0
4 I* h9 E2 {0 N) k( e     latency   : target=0, window=0, percentile=100.00%, depth=1

- g  Q1 X" H$ o, i4 BRun status group 0 (all jobs):
   READ: io=7078.7MB, aggrb=120804KB/s, minb=120804KB/s, maxb=120804KB/s, mint=60002msec, maxt=60002msec

Disk stats (read/write):
3 n2 K) s8 m+ Z    dm-0: ios=451274/3, merge=0/0, ticks=942542/17, in_queue=945715, util=100.00%, aggrios=452239/5, aggrmerge=599/0, aggrticks=944200/17, aggrin_queue=943292, aggrutil=99.67%
  vda: ios=452239/5, merge=599/0, ticks=944200/17, in_queue=943292, util=99.67%

admin

参数

参数名

说明

取值样例

name

定义测试任务名称

N/A

filename

测试对象，即待测试的磁盘设备名称。

N/A

; R6 d2 J. m- G0 B, ^( C

bs

每次请求的块大小。取值包括4k、8k及16k等。

4k

: u) C# x6 `  a0 \

bsrange

bsrange=512-2048 数据块的大小范围

N/A

size

I/O 测试的寻址空间。也可是百分数，比如size=20%，表示读/写的数据量占该设备总文件的20%的空间

100GB

. n4 t. y, W! g( A5 W) [

ioengine

I/O 引擎。推荐使用 Linux 的异步 I/O 引擎。

libaio

+ l0 o) b5 `# v- G0 |+ w2 D

iodepth

请求的 I/O 队列深度。此处定义的队列深度是指每个线程的队列深度，如果有多个线程测试，意味着每个线程都是此处定义的队列深度。fio总的I/O并发数=iodepth * numjobs。

1

numjobs

定义测试的并发线程数。

1

direct

定义是否使用direct I/O，可选值如下：值为0，表示使用buffered I/O值为1，表示使用direct I/O

1

rw

读写模式。取值包括顺序读（read）、顺序写（write）、随机读（randread）、随机写（randwrite）、混合随机读写（randrw）和混合顺序读写（rw，readwrite）。

read

. f: X  ^, G# e1 E# \$ D3 w$ v

rwmixwrite

rwmixwrite=30 在混合读写的模式下，写占30%

1 W* }! H4 ^) @+ k3 r1 Ctime_based

指定采用时间模式。无需设置该参数值，只要 FIO 基于时间来运行。

N/A

! B& L2 c+ R/ N: R6 n8 \

runtime

指定测试时长，即 FIO 运行时长。

600

, G# D0 m- M- I# V- q# W7 T

refill_buffers

FIO 将在每次提交时重新填充 I/O 缓冲区。默认设置是仅在初始时填充并重用该数据。

N/A

norandommap

在进行随机 I/O 时，FIO 将覆盖文件的每个块。若给出此参数，则将选择新的偏移量而不查看 I/O 历史记录。

N/A

randrepeat

随机序列是否可重复，True（1）表示随机序列可重复，False（0）表示随机序列不可重复。默认为 True（1）。

0

group_reporting

多个 job 并发时，打印整个 group 的统计值。

N/A

  b6 S5 k: ~3 V2 ]; ~1 C测试延迟

​ 队列深度为1，bs设置为4k，也就是模拟单个队列读写的延迟测试
$ O& f/ |7 Y$ T% f0 A
吞吐

​ 队列深度为32，bs设置为128k，测试最大能力去跑满整个磁盘带宽

iops
: @$ `, j" c; U7 w
1 j) Y" a/ B: c) t" d" ]" T ​ 队列深度为32，bs设置为4k，要在最短的时间内多去读磁盘

小文件通常测试随机读写，大文件通常测试顺序读写。
) @% v7 K* G5 X7 G
测试顺序读IOPS
+ M0 v/ L' B4 ?* Q1 j
8 h6 f) ~, k8 C. _3 G, N2 ?% R fio -name=Se_Read_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=read -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
测试顺序写IOPS
3 e6 D( }: T( I3 f2 R. @
. x, p8 a& H$ N7 a, d5 A fio -name=Se_Write_IOPS_Test -group_reporting  -direct=1 -iodepth=128 -rw=write -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
测试随机写IOPS

/ I& I# `, j1 t1 W. q0 [! R; w4 j fio -name=Rand_Write_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=randwrite -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
测试随机读IOPS
) W; r7 f# T) [
$ p0 l% O" {" g& P$ H6 P1 R fio -name=Rand_Read_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=randread -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
测试混合读写

fio -name=Read_Write_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=randrw -rwmixread=70 -refill_buffers -norandommap -randrepeat=0 -ioengine=libaio -bs=4k -size=10G -numjobs=1 -runtime=600 -ioscheduler=noop
4 ]. F) L: K6 S% q& s3 O测试写吞吐量

' ^2 b$ L/ {- a8 A/ S7 q. rfio -name=Write_BandWidth_Test -group_reporting -direct=1 -iodepth=32 -rw=write -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=1024k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
; a+ A; p& I5 }! \; _测试读吞吐量
# s, c9 d6 Y; a7 M2 ^* V( w8 S; N0 C$ W
* b: @# s8 G5 v3 C, Q5 Q6 Ifio -name=Read_BandWidth_Test -group_reporting -direct=1 -iodepth=32 -rw=read -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=1024k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
# l# A3 ~5 C! b" O% c测试结果输出指标
6 t; _" ^; W2 G" Z" \+ LIOPS：每秒读/写次数，单位为次（计数）。存储设备的底层驱动类型决定了不同的 IOPS。 --> iops
吞吐量：每秒的读写数据量，单位为MB/s。 --> bw
" U4 z* `2 S, l- G0 P时延：I/O 操作的发送时间到接收确认所经过的时间，单位为秒。 --> lat (msec)
runt：总运行时间
. }& e8 t  p1 l0 n1 ~- c! {$ K
( l" x8 j4 z$ _3 U