openstack测试neutron qos小测试

admin

测试qos过程
+ U0 g: z2 ]' K; w0 a0 W测试环境介绍
7 d6 D3 g1 w1 D. m. p2 J/ }
9 ]; p5 I# d% G6 i& o) E1 h创建两个网络，每个网络下创建一台虚拟机，将两个网络绑在同一个路由器下面，通过iperf测试两台虚拟机之间的带宽。
0 V2 ]/ q3 s) \0 n
. H5 j3 ~) l( S6 I5 E2 x9 n+ G首先创建两个网络，分别是t2cloud_net1(172.160.1.0/24)和t2cloud_net2(172.160.2.0/24)，两个网络下各创建一台虚拟机，分别是qosvm1和qosvm2。
! F- Z+ u1 K5 Z3 `% f9 b
3 ~. i+ T  `! w接下来创建路由器router，将两个网络绑定在路由器下，路由器出口选择外部网络external_net。

( r9 _$ G+ ?" p& t/ N1 v' c网络拓扑如下


' c, C2 m0 W0 H, B) a接下来要做的就是查询虚拟机网卡对应port的信息，以qosvm1为例。

3 ^* k- z. w# S- S6 dneutron port-list |grep 172.160.1.


) [3 \+ _4 \; n* I172.160.1.1为网关地址，172.160.1.2和172.160.1.3为两个dhcp服务地址，172.160.1.4为qosvm1虚拟机地址。

查看虚拟机所在节点
  [7 j/ B# c' K2 o$ a! L
1 J* q7 J1 O! M" [& I0 j1 onova list--all |grep qos

nova show b40056c3-b9ce-4031-8125-96a7a79f74a2
- `: r& R2 q& z( j( j. C# |+ o1 F5 ?
可以看到qosvm1虚拟机在sr-computer-27计算节点上


8 v. y( E! g/ r  L& z登录到sr-computer-27计算节点上，查看网络对应的网桥和虚拟机网卡tap设备号（neutron中一个网络对应物理机上的一个网桥，虚拟机网卡对应网桥上一个tap设备）。

% r0 @, ~! ]& T; V9 @neutron net-list |grep t2cloud_net1
, U( A! c# u" N, X' k+ F/ O7 V5 m
brutl show

) S0 c2 t8 L% A9 D
1 K+ K( J8 z. X% Z( z查询路由器所在物理节点

6 ^) X0 @( J3 V* f! S5 U9 J; zneutron router-list|grep router
# p1 O: }/ \1 h' T! c
0 y# B) R( J6 [$ r# wneutron l3-agent-list-hosting-router 7aa3ebbe-34a3-47e8-ab06-2e7f89b6053f
5 X4 y9 q; f  Q4 o; o" u4 D, Z
$ Q# o5 y' P' j+ l% Q8 s. T, q9 m可以看到路由器在sr-compuer-28节点上

+ l5 Z) \# O! i$ p  R
qosvm2也采用上述方法来获取相关信息。
% Z. f0 l: ~0 b9 M" S) M9 I
总结一下上面查询的结果

" _; i* m% d( K$ Y# h; N; ~虚拟机qosvm1在计算节点sr-computer-27上，网卡对应tap设备tap9873a7ae-41，所在网络对应网桥为brq307fde1c-61，网桥出口vxlan-85。
8 i, e8 b. a) j3 L  A/ U
虚拟机qosvm2在计算节点sr-computer-32上，网卡对应tap设备tap0b55bd71-2f，所在网络对应网桥为brqf8fd20d0-e6，网桥出口vxlan-6。

( ?1 `0 a( {3 x) Q路由器router在节点sr-computer-28(计算+网络混合节点)上，对应名称为qrouter-7aa3ebbe-34a3-47e8-ab06-2e7f89b6053f，连接net1设备为tapa64b82b1-e4，连接net2设备为tap460865e7-03，暂时不考虑dhcp服务。
2 o  T) F* y7 x' k
根据查询结果，以下是简化的拓扑图

/ M+ n# u) Z( G8 B8 V) G
7 ]/ X9 q" b1 I0 u. u* U4 j' `5 }带宽测试
qosvm1如果与qosvm2通信，需要经过网络节点上的虚拟路由来转发

首先不做任何限制，用iperf来测试qosvm1和qosvm2之间的网络带宽，qosvm1（172.160.1.4）做client端，qosvm2（172.160.2.4）做server端。
1 K: E" u$ N5 [* Y) a" _
( Q, e) C( ?6 o% S$ A) N/ n& o在server端运行iperf -s
+ [! E3 V3 c% y$ H) n
然后client运行 iperf -c 172.16.2.4 -i 1 -t 5 –r
2 b/ d5 K, p9 _
实际测试中可以运行更长时间，得出一个更稳定的值


7 L: T# V; c& _不做任何限制的情况下，qosvm1对qosvm2的上传带宽为596Mbits/sec，下载带宽为693Mbits/sec
3 J5 z9 k4 B" f- V5 M
. B+ O0 w" J2 z$ \: X对计算节点sr-computer-27 上的tap9873a7ae-41设备进行限制，限制上传带宽100Mbps，下载带宽200Mbps
2 Z; _8 k2 t2 V% W8 Y/ I
8 J6 [. x  `3 U首先创建qos策略

neutron qos-policy-create  --shared t2cloud_qos
) s9 ]- s3 D3 N
7 A0 F) b! G% |" R7 Z2 e, [
然后创建对应规则，分别限制上传带宽和下载带宽
. U3 P+ ^  B9 T3 V. [( s
/ U$ _6 O9 p8 m- |& U, p8 `neutron qos-bandwidth-limit-rule-create --max-kbps=100000 --max-burst-kbps=100000 t2cloud_qos --direction ingress

- g& U, S1 v) pneutron qos-bandwidth-limit-rule-create --max-kbps=200000 --max-burst-kbps=200000 t2cloud_qos
2 p6 P5 w$ O) J/ U7 o

# q# X# Z! [# a0 q2 {需要注意的是，端口的ingress对应虚拟机的上传带宽，egress对应虚拟机的下载带宽

$ j; o5 S/ j/ o/ _6 y3 h将qos规则与虚拟机对应的port绑定
4 ^) b, c  r- E1 r$ p
) s5 I8 R% @5 S; @0 {neutron port-list |grep 172.160.1.4

neutron port-update --qos-policy 0be11a7d-97e3-4dd9-a74e-616e7bdf65c99873a7ae-41ad-4b30-8c3e-1167a7e1c3bd

9 [2 n  ^# w. ^2 i. rneutron port-show 9873a7ae-41ad-4b30-8c3e-1167a7e1c3bd

+ M& W3 U" P% K" T
因为neutron 的qos最终是通过linux tc来实现。可以使用tc命令查看设置是否生效

) S& p$ H, ]# ?' Ctc qdiscshow dev tap9873a7ae-41
$ k$ Y" |' B- ^
0 I1 y9 [+ [0 e' l1 ^' _$ itc filtershow dev tap9873a7ae-41 parent ffff:
" }5 e$ r+ B2 ^: [8 X

再次用iperf测试带宽

可以看出，稳定值基本限制在qos限制的范围内
( L. q! }# ]. o9 e1 H
  {0 B& |1 B0 l' T) i测试总结
以上测试了qos中最简单的场景，通过限制虚拟机网卡对应tap设备来限制虚拟机之间的通信带宽，过程中有过一些困惑和问题，现总结如下：
4 z1 G* t8 f/ ?0 \7 R! v4 g  [; @
- u* L, k) x* FIperf使用tcp测试带宽，短时间内的数据不是特别准确，特别是带宽上限的测试，因此尽可能测试时间长点，得出一个稳定的带宽值

关于max-kbps和max-burst-kbps的理解，max-kbps比较容易理解，就是最大带宽，max-burst-kbps在tc里面会转成字节单位burst，指的是令牌桶的大小，如果桶中有多余的令牌，允许短暂的突发流量通过，也就是说令牌桶越大，也就允许更多的突发流量通过。

2 ]# F5 e7 G4 zneutron还可以对一个网络设置qos1，这样所有创建在该网络下的虚拟机都会使用该qos1，如果对虚拟机再单独设置qos2，那么对于该虚拟机来说，只有qos2生效。目前对网络设置的qos只会作用于虚拟机对应的port，不会影响其他port(例如dhcp)。
: N1 [( [5 s' H# }/ X& y; g
& N9 c, W! W  w3 e' M4 _1 F. F