fio 测试工具添加libaio模块测试磁盘IO测试

admin

fio添加libaio模块测试磁盘IO测试
  @7 @+ C. G( f1 ~1 Z3 H/ M/ R
首先下载libaio安装包：
3 V+ I6 S6 N4 r: ehttps://pagure.io/libaio/releases
libaio-libaio-0.3.113.tar ...fio-2.1.10.tar.gz
8 l' A( F% v! ?' {  Y0 X; q


安装fio工具：
" y0 }) D+ e4 a& H$ s( L" Q安装gcc gcc-c++  make
" C% O7 a! X! g. b* S, o, A: X # yum install -y gcc gcc-c++ make
9 Y! c8 s. s+ n. P- M* v) M' C$ Z& ], M
: }1 j) M. D( u/ }* s' B
! U: b2 T2 v, q; _/ x4 i解压：
8 O% z9 Q3 y5 h

3 M$ A' u! }+ I8 e$ c: x
& b& u0 ~9 E, j1 w( O配置安装libaio：
& N3 H" L  L' c; Q( e5 s; {% p
2 e9 _, g0 ^- M9 o/ K解压：
tar -zxvf  libaio-libaio-0.3.113.tar.gz
  Q, w$ X/ s$ l6 p
[root@iossd ~]# cd libaio-libaio-0.3.113
, h0 q4 H, F1 D4 r+ E8 o% ?- y[root@iossd libaio-libaio-0.3.113]#
( k! p( h8 S+ I/ w9 @/ d
, X7 m  P9 r+ E8 ?% X" A[root@iossd libaio-libaio-0.3.113]# make && make install
* `& z) u* G8 Z+ _2 \$ l8 f8 ^8 J( l
安装libaio-devel包
yum install -y libaio-devel


7 P2 ?  Q$ ]  b0 l$ X& J. e9 t[root@testssd ~]# tar -zxvf fio-2.1.10.tar.gz     解压fio
fio-2.1.10/
5 s6 r+ E$ u+ @+ J. h8 w+ }& A
6 t( v. d; j* N3 N# d[root@iossd ~]# cd fio-2.1.10
[root@iossd fio-2.1.10]#
' w2 i* m: F- a/ m3 A7 l! J! ^
[root@test1hhd fio-2.1.10]# ./configure
" r4 p, a: W7 q9 V: O+ p  f2 d- U
make && make install

: w. o0 H  j% @' z/ f$ Q2 F& V* E

# v) c8 O; t# Y4 i; F4 j& F: }
2 Q' v( Q4 d: [6 ?0 i8 l这两个组件安装完成。
接下来就是测试；
: E" Z1 O' X% v, R! {! I) G4 b
. z8 \- E% t4 s7 L, G4 T$ @2 R$ ^
, Q5 Y+ d( P  e; L4 c1 R7 ~
$ U/ x6 l8 t) ~; @! K. Z

admin

[root@iossd ~]# fio -ioengine=libaio -bs=16k -direct=1 -thread -rw=read -size=1G -filename=test.img -name="test" -iodepth=1 -time_based -runtime=60 -numjobs=16 -group_reporting
( Q4 B2 R) F1 e0 _test: (g=0): rw=read, bs=16K-16K/16K-16K/16K-16K, ioengine=libaio, iodepth=1
# n1 k" S$ Y5 g" J% G, y...
fio-2.1.10
1 Q/ ?8 }3 e5 o( p7 iStarting 16 threads
test: Laying out IO file(s) (1 file(s) / 1024MB)
$ q4 n2 A$ Q' ]& w1 e; H+ CJobs: 16 (f=16): [RRRRRRRRRRRRRRRR] [100.0% done] [157.2MB/0KB/0KB /s] [10.5K/0/0 iops] [eta 00m:00s]
, b. D& f) N7 U' B$ x2 p. Ztest: (groupid=0, jobs=16): err= 0: pid=4764: Wed Jun 29 10:15:57 2022
* p% w6 ?1 F# _5 n) a- v$ i  read : io=8908.1MB, bw=152038KB/s, iops=9502, runt= 60003msec
    slat (usec): min=6, max=9973, avg=20.19, stdev=17.11
) F3 W& ~$ S" Y0 a) `    clat (usec): min=2, max=17223, avg=1660.75, stdev=1042.56
     lat (usec): min=243, max=17249, avg=1681.32, stdev=1043.64
9 K* H1 [  R! X/ E" a7 V5 d' t2 B    clat percentiles (usec):
) e- t- Z- Q1 b# {     |  1.00th=[  314],  5.00th=[  382], 10.00th=[  458], 20.00th=[  612],
     | 30.00th=[  868], 40.00th=[ 1208], 50.00th=[ 1800], 60.00th=[ 2128],
     | 70.00th=[ 2256], 80.00th=[ 2416], 90.00th=[ 2736], 95.00th=[ 2960],
4 I* a! j' b! O0 A0 o( e     | 99.00th=[ 3600], 99.50th=[ 5728], 99.90th=[10560], 99.95th=[13376],
1 U+ N. [# i! d! ~0 O- M1 G7 \7 T     | 99.99th=[15808]
7 `  @  v  v0 _/ `4 `2 S5 V    bw (KB  /s): min= 5301, max=36160, per=6.26%, avg=9512.46, stdev=4336.10
5 R* W& e+ M7 m- H9 C$ [    lat (usec) : 4=0.01%, 250=0.01%, 500=13.05%, 750=12.37%, 1000=9.57%
    lat (msec) : 2=20.22%, 4=44.02%, 10=0.65%, 20=0.12%
  cpu          : usr=0.41%, sys=1.71%, ctx=570206, majf=0, minf=89
5 `+ Z* O7 f; I1 u2 e* |  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
" T+ P3 c8 l; {5 ]  M8 o- W* M     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=570170/w=0/d=0, short=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
   READ: io=8908.1MB, aggrb=152037KB/s, minb=152037KB/s, maxb=152037KB/s, mint=60003msec, maxt=60003msec

2 r% ~8 m9 b! YDisk stats (read/write):
    dm-0: ios=568512/36, merge=0/0, ticks=939934/409, in_queue=941397, util=100.00%, aggrios=569340/30, aggrmerge=620/8, aggrticks=941323/312, aggrin_queue=942184, aggrutil=99.96%
8 S+ O1 Y1 q- R$ i2 g) \6 v  vda: ios=569340/30, merge=620/8, ticks=941323/312, in_queue=942184, util=99.96%

admin

[root@iohdd ~]# fio -ioengine=libaio -bs=16k -direct=1 -thread -rw=read -size=1G -filename=test.img -name="test" -iodepth=1 -time_based -runtime=60 -numjobs=16 -group_reporting  
6 g6 [# [: D2 wtest: (g=0): rw=read, bs=16K-16K/16K-16K/16K-16K, ioengine=libaio, iodepth=1
( x7 |& U# @6 ]! Z5 c! o0 e4 _...
fio-2.1.10
# f* _9 w, J8 R/ W! Z0 EStarting 16 threads
Jobs: 16 (f=16): [RRRRRRRRRRRRRRRR] [100.0% done] [9206KB/0KB/0KB /s] [575/0/0 iops] [eta 00m:00s]
3 N+ z" {5 P# p; b# y( h) H, Ytest: (groupid=0, jobs=16): err= 0: pid=5738: Wed Jun 29 10:19:49 2022
  read : io=1405.7MB, bw=23977KB/s, iops=1498, runt= 60033msec
    slat (usec): min=8, max=4812, avg=22.80, stdev=22.62
1 y0 }* d0 k8 y: s; r    clat (usec): min=637, max=459963, avg=10605.96, stdev=26116.86
     lat (usec): min=669, max=459988, avg=10629.18, stdev=26117.45
9 ~8 R8 o% _' w. N! R    clat percentiles (msec):
     |  1.00th=[    3],  5.00th=[    3], 10.00th=[    3], 20.00th=[    3],
- X: g( Z7 ~5 @( F7 \1 \     | 30.00th=[    3], 40.00th=[    3], 50.00th=[    3], 60.00th=[    3],
2 I$ A3 G! m6 X. B+ s/ o. K     | 70.00th=[    6], 80.00th=[   13], 90.00th=[   27], 95.00th=[   40],
     | 99.00th=[  151], 99.50th=[  212], 99.90th=[  310], 99.95th=[  371],
/ l' n- l# Q0 t2 N' E  }; w     | 99.99th=[  461]
    bw (KB  /s): min=   90, max= 5365, per=6.37%, avg=1527.61, stdev=1245.63
% y  D. c% z. Q" w2 _7 w1 W5 S! O    lat (usec) : 750=0.01%, 1000=0.02%
    lat (msec) : 2=0.91%, 4=67.27%, 10=10.94%, 20=6.75%, 50=11.29%
7 k  {/ p& g. _8 q- {* e    lat (msec) : 100=1.50%, 250=1.12%, 500=0.20%
( L  I$ @6 l$ I, w8 j1 W  cpu          : usr=0.07%, sys=0.41%, ctx=90095, majf=0, minf=94
9 w  [: m& H$ G8 |  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
3 X# t, Q' O  _7 z' a( G, E% N     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
7 F+ X# w6 k" q+ G     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=89962/w=0/d=0, short=r=0/w=0/d=0
9 o  k4 j6 W$ S5 e. `( v; }  w     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
" P; a# p, j* y" A1 B, q   READ: io=1405.7MB, aggrb=23976KB/s, minb=23976KB/s, maxb=23976KB/s, mint=60033msec, maxt=60033msec

Disk stats (read/write):
    dm-0: ios=90013/7, merge=0/0, ticks=953955/1920, in_queue=962143, util=99.96%, aggrios=89860/8, aggrmerge=67/1, aggrticks=952305/1541, aggrin_queue=857719, aggrutil=87.74%
+ p+ w, \& d7 h# r) e) \  vda: ios=89860/8, merge=67/1, ticks=952305/1541, in_queue=857719, util=87.74%

* R; d, K" Q5 n  M+ d
[root@iossd ~]# fio -ioengine=libaio -bs=16k -direct=1 -thread -rw=read -size=1G -filename=test.img -name="test" -iodepth=1 -time_based -runtime=60 -numjobs=16 -group_reporting
test: (g=0): rw=read, bs=16K-16K/16K-16K/16K-16K, ioengine=libaio, iodepth=1
6 L" `& Z( k* k( ^) b# Q* L...
fio-2.1.10
Starting 16 threads
* k$ ^' B) S0 ~! HJobs: 16 (f=16): [RRRRRRRRRRRRRRRR] [100.0% done] [161.5MB/0KB/0KB /s] [10.4K/0/0 iops] [eta 00m:00s]
test: (groupid=0, jobs=16): err= 0: pid=4782: Wed Jun 29 10:19:47 2022
  read : io=7078.7MB, bw=120805KB/s, iops=7550, runt= 60002msec
    slat (usec): min=7, max=6772, avg=20.63, stdev=16.64
6 e% a3 |2 b, a7 a, r1 x    clat (usec): min=231, max=122521, avg=2095.61, stdev=3593.03
5 j8 K3 z: \  ~4 g' B9 K( A     lat (usec): min=243, max=122542, avg=2116.64, stdev=3593.73
6 S7 x' Q! M8 b* _( U" w    clat percentiles (usec):
1 s. L; B% \. j+ y* I     |  1.00th=[  314],  5.00th=[  370], 10.00th=[  438], 20.00th=[  636],
     | 30.00th=[  852], 40.00th=[ 1160], 50.00th=[ 1960], 60.00th=[ 2192],
3 c2 j' y' c4 I4 S% M+ f5 ?     | 70.00th=[ 2288], 80.00th=[ 2512], 90.00th=[ 3152], 95.00th=[ 4448],
( \7 T+ K5 X$ f2 Z! S0 |4 p     | 99.00th=[11840], 99.50th=[20608], 99.90th=[52992], 99.95th=[73216],
1 h' m+ U8 g) j6 r: g     | 99.99th=[107008]
! J2 g6 H2 `7 [6 e6 R1 K% v1 n( b/ Q2 \    bw (KB  /s): min= 1576, max=31072, per=6.26%, avg=7561.48, stdev=4405.82
    lat (usec) : 250=0.01%, 500=13.19%, 750=12.69%, 1000=9.41%
    lat (msec) : 2=15.69%, 4=43.22%, 10=4.34%, 20=0.91%, 50=0.42%
- D( z5 E# W( B    lat (msec) : 100=0.11%, 250=0.01%
  {4 ]. ?5 C$ l3 D  cpu          : usr=0.34%, sys=1.38%, ctx=453066, majf=0, minf=90
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
  w1 T7 y4 \( L2 B/ P/ q     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=453033/w=0/d=0, short=r=0/w=0/d=0
3 j# ~2 n  i3 N+ o  _% N; ^     latency   : target=0, window=0, percentile=100.00%, depth=1
0 p0 t9 k, e, ]! ?7 F* i
& P$ J5 W: d- q# J  Y6 y2 |2 J) f' W) ]0 xRun status group 0 (all jobs):
   READ: io=7078.7MB, aggrb=120804KB/s, minb=120804KB/s, maxb=120804KB/s, mint=60002msec, maxt=60002msec

% y( B; ^9 C8 q5 G( A& MDisk stats (read/write):
    dm-0: ios=451274/3, merge=0/0, ticks=942542/17, in_queue=945715, util=100.00%, aggrios=452239/5, aggrmerge=599/0, aggrticks=944200/17, aggrin_queue=943292, aggrutil=99.67%
7 X( G) V  L% a, d/ i! l( O  vda: ios=452239/5, merge=599/0, ticks=944200/17, in_queue=943292, util=99.67%

admin

参数

参数名

说明

取值样例

name

定义测试任务名称

N/A

filename

测试对象，即待测试的磁盘设备名称。

N/A

, \0 h1 a5 b1 b* V6 U$ q

bs

每次请求的块大小。取值包括4k、8k及16k等。

4k

/ d' G( ?+ k* D( V+ P

bsrange

bsrange=512-2048 数据块的大小范围

N/A

  @0 ]) U" c/ V& w  X

size

I/O 测试的寻址空间。也可是百分数，比如size=20%，表示读/写的数据量占该设备总文件的20%的空间

100GB

% i( _' h& o# e. a8 ?. d

ioengine

I/O 引擎。推荐使用 Linux 的异步 I/O 引擎。

libaio

7 \4 d% a0 f, y6 M

iodepth

请求的 I/O 队列深度。此处定义的队列深度是指每个线程的队列深度，如果有多个线程测试，意味着每个线程都是此处定义的队列深度。fio总的I/O并发数=iodepth * numjobs。

1

9 ~% ~" u6 C% a5 f

numjobs

定义测试的并发线程数。

1

direct

定义是否使用direct I/O，可选值如下：值为0，表示使用buffered I/O值为1，表示使用direct I/O

1

/ }. ~( R% J, ~$ q+ y; o3 x/ Y

rw

读写模式。取值包括顺序读（read）、顺序写（write）、随机读（randread）、随机写（randwrite）、混合随机读写（randrw）和混合顺序读写（rw，readwrite）。

read

- `! U6 O+ l7 f5 d5 L

rwmixwrite

rwmixwrite=30 在混合读写的模式下，写占30%

time_based

指定采用时间模式。无需设置该参数值，只要 FIO 基于时间来运行。

N/A

/ n5 B  v  U1 M3 R+ O. i- w, M+ V

runtime

指定测试时长，即 FIO 运行时长。

600

refill_buffers

FIO 将在每次提交时重新填充 I/O 缓冲区。默认设置是仅在初始时填充并重用该数据。

N/A

norandommap

在进行随机 I/O 时，FIO 将覆盖文件的每个块。若给出此参数，则将选择新的偏移量而不查看 I/O 历史记录。

N/A

randrepeat

随机序列是否可重复，True（1）表示随机序列可重复，False（0）表示随机序列不可重复。默认为 True（1）。

0

( u- E) H$ ^  u( n/ G0 `: S

group_reporting

多个 job 并发时，打印整个 group 的统计值。

N/A

$ ]) x  {" S- y5 e  [& h$ a
# K9 R& x) t0 u. a$ @/ V' o+ A7 r测试延迟
  C* n9 y4 m/ S# ?- d
​ 队列深度为1，bs设置为4k，也就是模拟单个队列读写的延迟测试
* D; w8 b+ D! \, @# k% n' d. N3 j
" A! S3 w* T4 A9 s 吞吐
; J, b( Y+ }: A/ _- R. ~2 ~
​ 队列深度为32，bs设置为128k，测试最大能力去跑满整个磁盘带宽

iops

# w# c) K- b  ~3 c ​ 队列深度为32，bs设置为4k，要在最短的时间内多去读磁盘

9 l) R; g7 Q7 H0 b. y 小文件通常测试随机读写，大文件通常测试顺序读写。

2 \+ |3 I8 t$ r7 t# M( b3 k6 F 测试顺序读IOPS

0 Y3 D  o8 G) N7 m8 g# H5 N fio -name=Se_Read_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=read -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
测试顺序写IOPS

% @  V. f! K( B) X" h/ _ fio -name=Se_Write_IOPS_Test -group_reporting  -direct=1 -iodepth=128 -rw=write -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
% q! P! L. ]* v3 T' I3 T% T% W- A测试随机写IOPS
' p8 Q$ U* M+ @
fio -name=Rand_Write_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=randwrite -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
测试随机读IOPS

1 h6 G4 W# ^' y" H1 f fio -name=Rand_Read_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=randread -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=4k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
/ M5 y, Y) B7 P5 u测试混合读写

: I& d  x( I8 A2 B' ~& i  Tfio -name=Read_Write_IOPS_Test -group_reporting -direct=1 -iodepth=128 -rw=randrw -rwmixread=70 -refill_buffers -norandommap -randrepeat=0 -ioengine=libaio -bs=4k -size=10G -numjobs=1 -runtime=600 -ioscheduler=noop
测试写吞吐量

fio -name=Write_BandWidth_Test -group_reporting -direct=1 -iodepth=32 -rw=write -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=1024k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
测试读吞吐量
7 e( p& j/ P3 |) d
8 J3 Y0 r/ L0 h) Sfio -name=Read_BandWidth_Test -group_reporting -direct=1 -iodepth=32 -rw=read -ioengine=libaio -refill_buffers -norandommap -randrepeat=0 -bs=1024k -size=10G -numjobs=1 -runtime=600 -filename=/dev/vda
测试结果输出指标
9 b  B) |7 ~' ^3 o" C4 ZIOPS：每秒读/写次数，单位为次（计数）。存储设备的底层驱动类型决定了不同的 IOPS。 --> iops
吞吐量：每秒的读写数据量，单位为MB/s。 --> bw
  _1 `4 L3 }  F& C% L时延：I/O 操作的发送时间到接收确认所经过的时间，单位为秒。 --> lat (msec)
/ \3 W5 v% N- [! i) x1 n runt：总运行时间

5 ?6 Y4 B( w- d: [