在CentOS7上配置Open vSwitch和VXLAN

rui

Contents [hide]

• 1 环境
  • 1.1 实验环境
  • 1.2 主机环境
    
• 2 Open vSwitch
  • 2.1 安装Open vSwitch
  • 2.2 启动Open vSwitch
  • 2.3 配置Open vSwitch
    - N* J: ^8 \8 s
• 3 虚拟机
  • 3.1 配置网络
    
• 4 配置VXLAN
• 5 测试
  • 5.1 node0内部vm间通信
  • 5.2 node0 vm和node1 vm通信
  • 5.3 node0 vm和node1 ovsbr0管理口通信
    5 o3 b9 e" i% U; g' A. G1 h
  
  

# Y! ^, l. ?5 a' b9 Z环境实验环境

主机环境

1 [color=rgb(49, 124, 197) !important]2 3 [color=rgb(49, 124, 197) !important]4

[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]yuwh[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(51, 51, 51) !important]$[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]uname[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]-a [color=rgb(0, 78, 208) !important]Linux node0[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]3.10.0[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]123.9.3.el7.x86_64[color=rgb(0, 111, 224) !important] [color=rgb(184, 92, 0) !important]#1 SMP Thu Nov 6 15:06:03 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux [color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]yuwh[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(51, 51, 51) !important]$[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]cat[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]etc[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]redhat[color=rgb(0, 111, 224) !important]-[color=rgb(0, 78, 208) !important]release ; G" z; V& s1 B4 V# z  c* e. L[color=rgb(0, 78, 208) !important]CentOS [color=rgb(0, 78, 208) !important]Linux release[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]7.0.1406[color=rgb(0, 111, 224) !important] [color=rgb(51, 51, 51) !important]([color=rgb(0, 45, 122) !important]Core[color=rgb(51, 51, 51) !important]) " d& P  v/ ?8 w 5 J2 d; f9 K( Y. l

/ k2 U3 R9 h# o/ D# w) O

( ^8 d2 B7 [% ~" I- |2 H; kOpen vSwitch安装Open vSwitch

1 [color=rgb(49, 124, 197) !important]2 3 + q3 G0 S, _8 L9 Z [color=rgb(49, 124, 197) !important]4 9 v- Q0 m: z9 x1 `4 u% G 5 [color=rgb(49, 124, 197) !important]6 9 q# U0 X, r. Y1 P 7 [color=rgb(49, 124, 197) !important]8 9   p" p  V/ j! t- D* N) m4 c7 K7 J [color=rgb(49, 124, 197) !important]10 11 . ~& y% I( g+ A( t% K, N5 b5 Q [color=rgb(49, 124, 197) !important]12 # g- X) e, I% y; g 13 , t4 Q0 Q! O  N& o3 _/ H5 C [color=rgb(49, 124, 197) !important]14 15 [color=rgb(49, 124, 197) !important]16 17 [color=rgb(49, 124, 197) !important]18

[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# yum -y install wget openssl-devel kernel-devel - ?6 G( H3 g) N4 z[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# yum groupinstall "Development Tools" [color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# yum -y install wget openssl-devel kernel-devel [color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# yum groupinstall "Development Tools" [color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# adduser ovswitch - P4 {* ]! j# X) \7 ^' d" X[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# su - ovswitch   \" E! _/ j0 ?3 j[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]ovswitch[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(51, 51, 51) !important]$[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]wget [color=rgb(0, 45, 122) !important]http[color=rgb(0, 111, 224) !important]:[color=rgb(255, 128, 0) !important]//openvswitch.org/releases/openvswitch-2.3.0.tar.gz . I9 d0 ]% \- p5 m/ m[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]ovswitch[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(51, 51, 51) !important]$[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]tar [color=rgb(0, 78, 208) !important]xfz [color=rgb(0, 45, 122) !important]openvswitch[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]2.3.0.tar.gz [color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]ovswitch[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(51, 51, 51) !important]$[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]mkdir[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]-[color=rgb(0, 45, 122) !important]p[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]rpmbuild[color=rgb(0, 111, 224) !important]/SOURCES [color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]ovswitch[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(51, 51, 51) !important]$[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]cp [color=rgb(0, 45, 122) !important]openvswitch[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]2.3.0.tar.gz[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]rpmbuild[color=rgb(0, 111, 224) !important]/SOURCES 去除Nicira提供的[color=rgb(0, 45, 122) !important]openvswitch[color=rgb(0, 111, 224) !important]-kmod依赖包，创建新的spec文件 2 d& Z$ p& e# e" f. ]; Q[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]ovswitch[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(51, 51, 51) !important]$[color=rgb(0, 111, 224) !important] sed[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]'s/openvswitch-kmod, //g'[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]openvswitch[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]2.3.0[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]rhel[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]openvswitch[color=rgb(0, 78, 208) !important].spec[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]>[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]openvswitch[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]2.3.0[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]rhel[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]openvswitch_no_kmod[color=rgb(0, 78, 208) !important].spec % ~% n$ f, V, d  d# m( O! L[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]ovswitch[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(51, 51, 51) !important]$[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]rpmbuild[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]-[color=rgb(0, 45, 122) !important]bb[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]--[color=rgb(0, 78, 208) !important]without [color=rgb(0, 45, 122) !important]check[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]openvswitch[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]2.3.0[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]rhel[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]openvswitch_no_kmod[color=rgb(0, 78, 208) !important].spec [color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]ovswitch[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(51, 51, 51) !important]$[color=rgb(0, 111, 224) !important] exit 4 J1 h$ t" [. H# u( e+ U[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# yum localinstall /home/ovswitch/rpmbuild/RPMS/x86_64/openvswitch-2.3.0-1.x86_64.rpm 9 Q) w, F# E% K- N安装完成，验证一下： [color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# rpm -qf `which ovs-vsctl` - ]2 e6 U: |) y7 T) s[color=rgb(0, 45, 122) !important]openvswitch[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]2.3.0[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]1.x86_64 + [' j) X3 U' l8 P; v$ l( K

, K1 L7 y1 Y5 N& R1 M1 ]2 N6 q启动Open vSwitch

SELinux会影响Open vSwitch的运行，比如报错：
error: /etc/openvswitch/conf.db: failed to lock lockfile (No such file or directory)原因是没有权限修改/etc/openvswitch的owner
如果环境允许可用关掉SELinux；想保持enabled需要做如下修改:

1 [color=rgb(49, 124, 197) !important]2 : `/ z, i2 J0 q3 v; I( b8 ^ 3 [color=rgb(49, 124, 197) !important]4 5 ( D8 q' V/ x+ b2 i; j& I  c

[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# mkdir /etc/openvswitch 8 B+ n4 W! _9 u% d& T; \[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# semanage fcontext -a -t openvswitch_rw_t "/etc/openvswitch(/.*)?" [color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# restorecon -Rv /etc/openvswitch 5 s$ q9 m( K$ M$ J启动服务： [color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# systemctl start openvswitch.service . r) @( H( E$ C" X- i

5 m3 H2 ~/ m& a1 N

查看结果：
3 v  r' q( w1 }5 m* z/ R[root@node0 ~]# systemctl -l status openvswitch.service
8 {) `* v6 [  k

配置Open vSwitch

/ r: Q# B( p" s+ X+ x

1 * ]( _$ h4 C1 R1 O9 \

[color=rgb(0, 45, 122) !important]ovs[color=rgb(0, 111, 224) !important]-[color=rgb(0, 78, 208) !important]vsctl [color=rgb(0, 45, 122) !important]add[color=rgb(0, 111, 224) !important]-[color=rgb(0, 78, 208) !important]br [color=rgb(0, 45, 122) !important]ovsbr0 ) X+ N4 d0 S0 j' E/ j

. _  S7 Y; W  R1 o6 _
/ {% ^. m- {9 v1 T' M4 y" `6 y* |

去掉NetworkManager

1 ) i  |# u* t7 l+ l3 o8 ` [color=rgb(49, 124, 197) !important]2 4 }4 m! L+ N+ `7 z6 K- i( `' v

[color=rgb(0, 78, 208) !important]systemctl [color=rgb(0, 78, 208) !important]stop [color=rgb(0, 45, 122) !important]NetworkManager[color=rgb(0, 78, 208) !important].service [color=rgb(0, 78, 208) !important]systemctl [color=rgb(0, 78, 208) !important]disable [color=rgb(0, 45, 122) !important]NetworkManager[color=rgb(0, 78, 208) !important].service 6 q: M3 o2 |3 X

改用network.services,修改/etc/sysconfig/network-scripts/下的配置文件
/etc/sysconfig/network-scripts/ifcfg-mgmt0

' y/ ~9 V, a9 k$ A

1 [color=rgb(49, 124, 197) !important]2 / p& g; {( V! N( } 3 [color=rgb(49, 124, 197) !important]4 5 3 {( s7 k! ^5 c [color=rgb(49, 124, 197) !important]6 * i: y. X2 j" h" ^! q% R! B 7 5 c" |9 j, B( x( T [color=rgb(49, 124, 197) !important]8 # h1 i/ d& {4 _' q 9 [color=rgb(49, 124, 197) !important]10 ( b* `9 g- {. @) D 7 Z) B8 \. R7 k4 ?; x4 P; a' q

DEVICE[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]mgmt0 ONBOOT[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]yes DEVICETYPE[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]ovs ' n5 V5 d5 c4 Z) W( Z( CTYPE[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]OVSIntPort # [0 r( W9 S" t9 ~: E* P+ E9 ~OVS_BRIDGE[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]ovsbr0 9 `+ a, I: Z9 t+ nUSERCTL[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]no ! @% N& F  r$ EBOOTPROTO[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]none   t' i4 C1 H2 ]# WHOTPLUG[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]no 1 g, r& \+ h: xIPADDR0[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]10.0.0.2 9 X' f& L( F0 v; b+ T7 D7 B* S6 |PREFIX0[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]23

/etc/sysconfig/network-scripts/ifcfg-ovsbr0

4 H+ X0 A6 p6 w# \$ C

1 [color=rgb(49, 124, 197) !important]2 3 4 m% [" v6 e8 Y1 U2 }( _ [color=rgb(49, 124, 197) !important]4 4 B/ ?6 g  N0 r7 O$ U$ m 5 + `7 g' ]* p  `( I$ g' U [color=rgb(49, 124, 197) !important]6

DEVICE[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]ovsbr0 ONBOOT[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]yes ' n7 J3 I' W, t1 I6 N8 cDEVICETYPE[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]ovs TYPE[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]OVSBridge : s4 W4 @& S3 R# dHOTPLUG[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]no USERCTL[color=rgb(0, 111, 224) !important]=no , Y2 _' I( T& @7 ~5 \: _- L

# T) c- c/ ^1 R" D* ^1 r

/etc/sysconfig/network-scripts/ifcfg-enp2s0f0

1 [color=rgb(49, 124, 197) !important]2 : y, F; }/ ^9 E: j( w" l 3 [color=rgb(49, 124, 197) !important]4 5 [color=rgb(49, 124, 197) !important]6 7 [color=rgb(49, 124, 197) !important]8 1 l* o( X, K1 b, c6 d$ D 9 , M3 z$ j  t( E# J) J7 m/ a" I [color=rgb(49, 124, 197) !important]10 , J: B4 i& |2 ~6 {3 k, L 11 [color=rgb(49, 124, 197) !important]12 " l- N6 n8 ^8 \3 S 13 2 q7 o( U' g0 q' H% I+ ?% j% Z [color=rgb(49, 124, 197) !important]14 15 . s8 d# P0 E' g0 B' H [color=rgb(49, 124, 197) !important]16 17 [color=rgb(49, 124, 197) !important]18 19 ! y+ B6 ?+ ], b% h

TYPE[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]Ethernet BOOTPROTO[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]none DEFROUTE[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]yes : L. w8 ]9 X8 `- u' N" I* t, c1 EIPV4_FAILURE_FATAL[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]no IPV6INIT[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]yes - ~- {1 x1 f$ O' KIPV6_AUTOCONF[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]yes ) ^; @8 ~; c; U& C. U9 I7 TIPV6_DEFROUTE[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]yes IPV6_FAILURE_FATAL[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]no ; d4 ^( J' |5 U; C! F) vNAME[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]enp2s0f0 ; g( [1 i4 ?, o: t6 e* G3 W" N# _% `UUID[color=rgb(0, 111, 224) !important]=d81f76d3[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]7163[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]42d3[color=rgb(0, 111, 224) !important]-bc07[color=rgb(0, 111, 224) !important]-[color=rgb(0, 78, 208) !important]d936a8536d17 3 I9 y7 z( S+ W% C0 r% }: E% AONBOOT[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]yes ) @0 ^1 B9 t' b) }/ C# u; u5 AIPADDR[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]192.168.3.4 + i! h, x& ?2 F3 ]PREFIX[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]23 GATEWAY[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]192.168.3.1 ! ~1 E, ], M* c) l- g  x( ADNS1[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]8.8.8.8 DNS2[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]4.4.4.4 2 _, z9 I/ A8 y" T8 b! R, e8 ~HWADDR[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]10[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]51[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]72[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]37[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]76[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]04 8 O" J8 l! e- n- }: UIPV6_PEERDNS[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]yes IPV6_PEERROUTES[color=rgb(0, 111, 224) !important]=yes + s$ V# Z4 J' g/ i5 U

  r8 w" }$ o0 p9 M
# s! t' |! {) c" W  k1 d+ b虚拟机配置网络

libvirt 默认会启用virbr0来作为虚拟机的网桥并启动DHCPD；删除该网桥，使用ovs bridge来替代：

( J/ c* D1 v& K$ s( D8 \* r1 Q

1 + l& q4 z7 n2 f/ } * b8 x4 Y/ T: [" U$ j& F1 k$ B7 @

[color=rgb(0, 78, 208) !important]virsh [color=rgb(0, 45, 122) !important]net[color=rgb(0, 111, 224) !important]-[color=rgb(0, 78, 208) !important]destroy [color=rgb(128, 0, 128) !important]default 1 p( i) m. P6 a % V. ~  Q1 n# G" s  \* x  O

* H) C6 L* Z+ o6 b8 `. R
8 y2 j9 R% f4 |: p8 q

vi /etc/libvirt/qemu/CentOS7.xml

1 z& @& T0 ~: B4 y' h) S

1 [color=rgb(49, 124, 197) !important]2 3 [color=rgb(49, 124, 197) !important]4 5 [color=rgb(49, 124, 197) !important]6 7 [color=rgb(49, 124, 197) !important]8 9

[color=rgb(0, 111, 224) !important]    [color=rgb(128, 0, 128) !important]<interface [color=rgb(0, 78, 208) !important]type[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'bridge'[color=rgb(128, 0, 128) !important]> $ z  s5 ^9 E3 Y! i- q' I& Q( R      [color=rgb(128, 0, 128) !important]<mac [color=rgb(0, 78, 208) !important]address[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'52:54:00:18:16:99'[color=rgb(128, 0, 128) !important]/> 9 j# D& V; H; _- @: p      [color=rgb(128, 0, 128) !important]<source [color=rgb(0, 78, 208) !important]bridge[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'ovsbr0'[color=rgb(128, 0, 128) !important]/>       [color=rgb(128, 0, 128) !important]<virtualport [color=rgb(0, 78, 208) !important]type[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'openvswitch'[color=rgb(128, 0, 128) !important]>         [color=rgb(128, 0, 128) !important]<parameters [color=rgb(0, 78, 208) !important]interfaceid[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'9beb90bc-20a1-4937-901d-805dd6bba190'[color=rgb(128, 0, 128) !important]/> 6 I  C  l0 o  Q+ I4 d: E) y* J      [color=rgb(128, 0, 128) !important]</virtualport> , y1 P+ E- f3 n- }( T      [color=rgb(128, 0, 128) !important]<model [color=rgb(0, 78, 208) !important]type[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'virtio'[color=rgb(128, 0, 128) !important]/>       [color=rgb(128, 0, 128) !important]<address [color=rgb(0, 78, 208) !important]type[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'pci'[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]domain[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'0x0000'[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bus[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'0x00'[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]slot[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'0x03'[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]function[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'0x0'[color=rgb(128, 0, 128) !important]/>   g7 E7 s6 r. L% e7 C1 D  a& g    [color=rgb(128, 0, 128) !important]</interface> . ?3 F6 K' S2 r0 C0 \* k- K

' [  Q  L; _9 p

或者通过virt-manager来配置

配置VXLAN

在ovsbr0中添加接口vxlan0
) V8 H2 u! O( d& j1 Onode0上的配置：注意remote_ip node1的ip：192.168.3.5。

1

[color=rgb(0, 45, 122) !important]ovs[color=rgb(0, 111, 224) !important]-[color=rgb(0, 78, 208) !important]vsctl [color=rgb(0, 45, 122) !important]add[color=rgb(0, 111, 224) !important]-[color=rgb(0, 78, 208) !important]port [color=rgb(0, 78, 208) !important]ovsbr0 [color=rgb(0, 45, 122) !important]vxlan0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]--[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]set [color=rgb(128, 0, 128) !important]interface[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]vxlan0 [color=rgb(128, 0, 128) !important]type[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]vxlan [color=rgb(0, 45, 122) !important]options[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]remote_ip[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]192.168.3.5 # y  r2 w$ W, N0 w$ e  m

$ u% F$ K4 \  F

启动两个虚拟机后的配置：

1 8 x5 _0 {, s5 X4 }; H% G1 A( v [color=rgb(49, 124, 197) !important]2 3 . L/ s- V5 H" w [color=rgb(49, 124, 197) !important]4 ( k. K+ x4 C! j 5 [color=rgb(49, 124, 197) !important]6 7 [color=rgb(49, 124, 197) !important]8 / [: _7 K' E' t0 y 9 [color=rgb(49, 124, 197) !important]10 1 O' S7 |% B! Q* \! A/ B% G 11 8 ]& a5 J3 O+ e  `- n2 w [color=rgb(49, 124, 197) !important]12 9 g2 P. y  g1 q4 F7 x: m 13 , ~' T, g. N: m) Q. D) _ [color=rgb(49, 124, 197) !important]14 15 [color=rgb(49, 124, 197) !important]16 7 M- N9 i. v2 |5 u. a+ l7 m: v 17 9 O9 k  t; I% }! w0 t, y5 \ [color=rgb(49, 124, 197) !important]18 19 [color=rgb(49, 124, 197) !important]20 21 [color=rgb(49, 124, 197) !important]22 23 & b+ Y2 s7 `4 Z$ @ [color=rgb(49, 124, 197) !important]24 , h+ ~5 I& D1 Q$ h& P0 S 25 - `$ M& V( G0 i" i5 x  ` [color=rgb(49, 124, 197) !important]26 ; l! v/ p6 I: l) `$ E1 ^ 27 8 j; I; t% d/ j/ P! |  U5 n- R [color=rgb(49, 124, 197) !important]28 29 [color=rgb(49, 124, 197) !important]30 31 3 P$ `/ V. r5 Y" n6 l [color=rgb(49, 124, 197) !important]32 - F9 [* F0 @" ^  y: K9 j$ A 33 " V. d. T9 }5 D: e5 @8 p# G* y$ X [color=rgb(49, 124, 197) !important]34 35 8 M) G) c0 v/ i5 K  ] [color=rgb(49, 124, 197) !important]36 8 X; r7 w+ w) h0 @& R$ |/ m% c: Q6 C 37 # j5 u9 c1 d4 T1 ` [color=rgb(49, 124, 197) !important]38 ( u9 r- X9 v  T' n- i6 v/ X 39 [color=rgb(49, 124, 197) !important]40 41 [color=rgb(49, 124, 197) !important]42 43 [color=rgb(49, 124, 197) !important]44 45 ! }5 B  R  r; i1 ^; U! R: Z [color=rgb(49, 124, 197) !important]46 2 }' |; |" L/ p2 [$ z$ s; o$ c" w 47 [color=rgb(49, 124, 197) !important]48 49 , [1 d# I% g# W1 t# I) C' a* { [color=rgb(49, 124, 197) !important]50 51 . P9 }4 a( l. q [color=rgb(49, 124, 197) !important]52   }# x; W& R0 i; g 7 ~" `6 E- r0 k5 O3 o# i0 \- |

[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 78, 208) !important]node0 [color=rgb(0, 45, 122) !important]samba[color=rgb(51, 51, 51) !important][color=rgb(255, 128, 0) !important]#  ovs-vsctl show ! H8 N, T  ?. w[color=rgb(0, 45, 122) !important]b15949b6[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]9d9f[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]4b14[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]9fd9[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]277d2b203376 % A$ C4 W# C' \* l5 \! X[color=rgb(0, 111, 224) !important]    Bridge[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"ovsbr0" [color=rgb(0, 111, 224) !important]        Port[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"mgmt0" * F; b* A' o/ j  q, c: g8 H- X. T[color=rgb(0, 111, 224) !important]            [color=rgb(128, 0, 128) !important]Interface[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"mgmt0" ) P, R( b" M# M[color=rgb(0, 111, 224) !important]                [color=rgb(128, 0, 128) !important]type[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]internal 9 y2 ]  Z% y3 c7 s0 C9 s" F2 U[color=rgb(0, 78, 208) !important]        Port[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"vnet0" [color=rgb(0, 111, 224) !important]            [color=rgb(128, 0, 128) !important]Interface[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"vnet0" [color=rgb(0, 111, 224) !important]        Port[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"vxlan0" 1 [+ ], _0 H$ R[color=rgb(0, 111, 224) !important]            [color=rgb(128, 0, 128) !important]Interface[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"vxlan0" 2 S% r7 X7 x" ?1 ~( I[color=rgb(0, 111, 224) !important]                [color=rgb(128, 0, 128) !important]type[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]vxlan [color=rgb(0, 78, 208) !important]                [color=rgb(0, 45, 122) !important]options[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(51, 51, 51) !important]{[color=rgb(0, 45, 122) !important]remote_ip[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]"192.168.3.5"[color=rgb(51, 51, 51) !important]} [color=rgb(0, 111, 224) !important]        Port[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"ovsbr0" 7 _5 i3 N) R9 s0 O' K/ _[color=rgb(0, 111, 224) !important]            [color=rgb(128, 0, 128) !important]Interface[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"ovsbr0" [color=rgb(0, 111, 224) !important]                [color=rgb(128, 0, 128) !important]type[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]internal [color=rgb(0, 78, 208) !important]        Port[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"vnet1" 3 |$ G$ w& {1 M7 f[color=rgb(0, 111, 224) !important]            [color=rgb(128, 0, 128) !important]Interface[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"vnet1" [color=rgb(0, 111, 224) !important]    [color=rgb(0, 45, 122) !important]ovs_version[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"2.3.0" ( W1 \5 E8 N% }4 k4 v0 u4 H3 G- @[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(255, 128, 0) !important]# ip addr 5 I" f; q9 E7 |% y: ?! p4 |9 P[color=rgb(206, 0, 0) !important]1[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]lo[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]<[color=rgb(0, 45, 122) !important]LOOPBACK[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]UP[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]LOWER_UP[color=rgb(0, 111, 224) !important]>[color=rgb(0, 111, 224) !important] mtu[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]65536[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]qdisc [color=rgb(0, 78, 208) !important]noqueue [color=rgb(0, 78, 208) !important]state [color=rgb(0, 78, 208) !important]UNKNOWN 3 j7 R7 U; L2 P2 P) A[color=rgb(0, 78, 208) !important]    [color=rgb(128, 0, 128) !important]link[color=rgb(0, 111, 224) !important]/loopback[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important] brd[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00 [color=rgb(0, 111, 224) !important]    inet[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]127.0.0.1[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]8[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(0, 78, 208) !important]host [color=rgb(0, 78, 208) !important]lo [color=rgb(0, 78, 208) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]    [color=rgb(0, 45, 122) !important]inet6[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]::[color=rgb(206, 0, 0) !important]1[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]128[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(0, 78, 208) !important]host ( ^) r0 t0 X$ l% F2 A8 Y[color=rgb(0, 78, 208) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft forever [color=rgb(206, 0, 0) !important]2[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]enp2s0f0[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]<[color=rgb(0, 45, 122) !important]BROADCAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]MULTICAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]UP[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]LOWER_UP[color=rgb(0, 111, 224) !important]>[color=rgb(0, 111, 224) !important] mtu[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1500[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]qdisc [color=rgb(0, 78, 208) !important]mq [color=rgb(0, 78, 208) !important]state [color=rgb(0, 78, 208) !important]UP qlen[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1000 [color=rgb(0, 111, 224) !important]    [color=rgb(128, 0, 128) !important]link[color=rgb(0, 111, 224) !important]/ether[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]51[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]72[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]37[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]76[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]04[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]brd [color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 78, 208) !important]ff [color=rgb(0, 78, 208) !important]    inet[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]192.168.3.4[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]23[color=rgb(0, 111, 224) !important] brd[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]192.168.3.255[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(0, 78, 208) !important]global [color=rgb(0, 78, 208) !important]enp2s0f0 . u& I% P' R' ?( C' o3 S0 ?# s[color=rgb(0, 78, 208) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft [color=rgb(0, 78, 208) !important]forever 4 H% p9 c1 G5 P[color=rgb(0, 78, 208) !important]    [color=rgb(0, 78, 208) !important]inet6 [color=rgb(0, 45, 122) !important]fe80[color=rgb(0, 111, 224) !important]::[color=rgb(206, 0, 0) !important]1251[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]72ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]fe37[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]7604[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(128, 0, 128) !important]link ! H  f7 f- r$ {: r* `5 m[color=rgb(0, 111, 224) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft forever 8 G/ V6 j7 j5 G& G0 ][color=rgb(206, 0, 0) !important]8[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ovs[color=rgb(0, 111, 224) !important]-[color=rgb(0, 45, 122) !important]system[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]<[color=rgb(0, 45, 122) !important]BROADCAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]MULTICAST[color=rgb(0, 111, 224) !important]>[color=rgb(0, 111, 224) !important] mtu[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1500[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]qdisc [color=rgb(0, 78, 208) !important]noop [color=rgb(0, 78, 208) !important]state [color=rgb(0, 78, 208) !important]DOWN [color=rgb(0, 78, 208) !important]    [color=rgb(128, 0, 128) !important]link[color=rgb(0, 111, 224) !important]/ether[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]02[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]32[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]3a[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]73[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]15[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]08[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]brd [color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff [color=rgb(0, 111, 224) !important]/[color=rgb(0, 111, 224) !important]/删掉了不相干部分 [color=rgb(206, 0, 0) !important]48[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ovsbr0[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]<[color=rgb(0, 45, 122) !important]BROADCAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]MULTICAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]UP[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]LOWER_UP[color=rgb(0, 111, 224) !important]>[color=rgb(0, 111, 224) !important] mtu[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1500[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]qdisc [color=rgb(0, 78, 208) !important]noqueue [color=rgb(0, 78, 208) !important]state [color=rgb(0, 78, 208) !important]UNKNOWN , @* y( g/ ~8 K8 S# ~2 O[color=rgb(0, 78, 208) !important]    [color=rgb(128, 0, 128) !important]link[color=rgb(0, 111, 224) !important]/[color=rgb(0, 78, 208) !important]ether [color=rgb(0, 45, 122) !important]fe[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]45[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]84[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ec[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]7c[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]43[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]brd [color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 78, 208) !important]ff 5 s# ~/ h: P1 h5 V$ [[color=rgb(0, 78, 208) !important]    [color=rgb(0, 78, 208) !important]inet6 [color=rgb(0, 45, 122) !important]fe80[color=rgb(0, 111, 224) !important]::[color=rgb(0, 45, 122) !important]fc45[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]84ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]feec[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]7c43[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(128, 0, 128) !important]link [color=rgb(0, 111, 224) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft forever [color=rgb(206, 0, 0) !important]49[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]mgmt0[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]<[color=rgb(0, 45, 122) !important]BROADCAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]MULTICAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]UP[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]LOWER_UP[color=rgb(0, 111, 224) !important]>[color=rgb(0, 111, 224) !important] mtu[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1500[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]qdisc [color=rgb(0, 78, 208) !important]noqueue [color=rgb(0, 78, 208) !important]state [color=rgb(0, 78, 208) !important]UNKNOWN ; k$ r9 n! ?! d; E; A[color=rgb(0, 78, 208) !important]    [color=rgb(128, 0, 128) !important]link[color=rgb(0, 111, 224) !important]/[color=rgb(0, 78, 208) !important]ether [color=rgb(0, 45, 122) !important]d6[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]c5[color=rgb(0, 111, 224) !important]:[color=rgb(128, 0, 128) !important]ed[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]c4[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]aa[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]45[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]brd [color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 78, 208) !important]ff [color=rgb(0, 78, 208) !important]    inet[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.2[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]23[color=rgb(0, 111, 224) !important] brd[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.1.255[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(0, 78, 208) !important]global [color=rgb(0, 78, 208) !important]mgmt0 [color=rgb(0, 78, 208) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]    [color=rgb(0, 78, 208) !important]inet6 [color=rgb(0, 45, 122) !important]fe80[color=rgb(0, 111, 224) !important]::[color=rgb(0, 45, 122) !important]d4c5[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]edff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]fec4[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]aa45[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(128, 0, 128) !important]link 7 ]# k$ v3 `) Z# `6 ^3 b0 T[color=rgb(0, 111, 224) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft forever + e: s1 S/ o# X% {6 N[color=rgb(206, 0, 0) !important]51[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]vnet1[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]<[color=rgb(0, 45, 122) !important]BROADCAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]MULTICAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]UP[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]LOWER_UP[color=rgb(0, 111, 224) !important]>[color=rgb(0, 111, 224) !important] mtu[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1500[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]qdisc [color=rgb(0, 78, 208) !important]pfifo_fast [color=rgb(0, 78, 208) !important]master [color=rgb(0, 45, 122) !important]ovs[color=rgb(0, 111, 224) !important]-[color=rgb(0, 78, 208) !important]system [color=rgb(0, 78, 208) !important]state [color=rgb(0, 78, 208) !important]UNKNOWN qlen[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]500 [color=rgb(0, 111, 224) !important]    [color=rgb(128, 0, 128) !important]link[color=rgb(0, 111, 224) !important]/[color=rgb(0, 78, 208) !important]ether [color=rgb(0, 45, 122) !important]fe[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]54[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]13[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]04[color=rgb(0, 111, 224) !important]:[color=rgb(0, 78, 208) !important]d8 [color=rgb(0, 78, 208) !important]brd [color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 78, 208) !important]ff 2 [: h& b. i, C# w0 W[color=rgb(0, 78, 208) !important]    [color=rgb(0, 78, 208) !important]inet6 [color=rgb(0, 45, 122) !important]fe80[color=rgb(0, 111, 224) !important]::[color=rgb(0, 45, 122) !important]fc54[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]fe13[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]4d8[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(128, 0, 128) !important]link [color=rgb(0, 111, 224) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft forever ( y9 [" T6 V/ G3 f% S/ [[color=rgb(206, 0, 0) !important]52[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]vnet0[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]<[color=rgb(0, 45, 122) !important]BROADCAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]MULTICAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]UP[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]LOWER_UP[color=rgb(0, 111, 224) !important]>[color=rgb(0, 111, 224) !important] mtu[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1500[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]qdisc [color=rgb(0, 78, 208) !important]pfifo_fast [color=rgb(0, 78, 208) !important]master [color=rgb(0, 45, 122) !important]ovs[color=rgb(0, 111, 224) !important]-[color=rgb(0, 78, 208) !important]system [color=rgb(0, 78, 208) !important]state [color=rgb(0, 78, 208) !important]UNKNOWN qlen[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]500 : G2 d4 y; s' D- k[color=rgb(0, 111, 224) !important]    [color=rgb(128, 0, 128) !important]link[color=rgb(0, 111, 224) !important]/[color=rgb(0, 78, 208) !important]ether [color=rgb(0, 45, 122) !important]fe[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]54[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]18[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]16[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]99[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]brd [color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 78, 208) !important]ff $ u# l8 w- O& W; E[color=rgb(0, 78, 208) !important]    [color=rgb(0, 78, 208) !important]inet6 [color=rgb(0, 45, 122) !important]fe80[color=rgb(0, 111, 224) !important]::[color=rgb(0, 45, 122) !important]fc54[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]fe18[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]1699[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(128, 0, 128) !important]link ! s" l. u& B  d! {9 _/ }[color=rgb(0, 111, 224) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft [color=rgb(0, 45, 122) !important]forever % F3 o, y% o1 e/ Z6 L; J  X

5 W: V; b9 N& k5 ~" j5 _" }

测试

以上配置，只列出了node0的操作过程；node1作同样配置，ip不同而已。

node0内部vm间通信

vm1 ping vm2:

1 [color=rgb(49, 124, 197) !important]2 3 1 z. t& _" E' K6 F0 m7 C [color=rgb(49, 124, 197) !important]4 # ?. Z% r6 R! P0 G; ?( j. N 5 [color=rgb(49, 124, 197) !important]6 7 [color=rgb(49, 124, 197) !important]8 / W" f" z9 ^; Z* x! e7 {3 Q3 r 9 [color=rgb(49, 124, 197) !important]10 9 Q. U6 t/ X* \+ @) E 11 [color=rgb(49, 124, 197) !important]12 13 # A4 m7 a. b1 L) S& J [color=rgb(49, 124, 197) !important]14 9 E: Y8 Q% H  y! s 15 9 o, f7 ?5 q0 ]* ?3 _ [color=rgb(49, 124, 197) !important]16 3 e( E* r  @  e- s2 V/ } 17 [color=rgb(49, 124, 197) !important]18 8 p  j+ [5 s5 a3 T: o3 l4 Y 19 . {9 j- o/ b( V- t; e: q [color=rgb(49, 124, 197) !important]20 21 6 Z9 Q. R5 g( ]& X2 N2 q [color=rgb(49, 124, 197) !important]22 , g7 |9 c3 p' L8 y  S $ U# A4 t$ o) {( b0 ]. ]; o

[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0_0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(255, 128, 0) !important]# ip addr 2 _0 G9 Z+ W0 [2 o0 D# A[color=rgb(206, 0, 0) !important]1[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]lo[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]<[color=rgb(0, 45, 122) !important]LOOPBACK[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]UP[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]LOWER_UP[color=rgb(0, 111, 224) !important]>[color=rgb(0, 111, 224) !important] mtu[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]65536[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]qdisc [color=rgb(0, 78, 208) !important]noqueue [color=rgb(0, 78, 208) !important]state [color=rgb(0, 78, 208) !important]UNKNOWN [color=rgb(0, 78, 208) !important]    [color=rgb(128, 0, 128) !important]link[color=rgb(0, 111, 224) !important]/loopback[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important] brd[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00 * `( j+ N) `$ U, i9 q[color=rgb(0, 111, 224) !important]    inet[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]127.0.0.1[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]8[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(0, 78, 208) !important]host [color=rgb(0, 78, 208) !important]lo * W: \* t8 ]0 X! G( A- i[color=rgb(0, 78, 208) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft [color=rgb(0, 78, 208) !important]forever 5 W) ]- y0 A, j- z# D[color=rgb(0, 78, 208) !important]    [color=rgb(0, 45, 122) !important]inet6[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]::[color=rgb(206, 0, 0) !important]1[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]128[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(0, 78, 208) !important]host 9 F+ j. _, R8 v7 C, V7 q[color=rgb(0, 78, 208) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft forever [color=rgb(206, 0, 0) !important]2[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]eth0[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]<[color=rgb(0, 45, 122) !important]BROADCAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]MULTICAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]UP[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]LOWER_UP[color=rgb(0, 111, 224) !important]>[color=rgb(0, 111, 224) !important] mtu[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1500[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]qdisc [color=rgb(0, 78, 208) !important]pfifo_fast [color=rgb(0, 78, 208) !important]state [color=rgb(0, 78, 208) !important]UP qlen[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1000 [color=rgb(0, 111, 224) !important]    [color=rgb(128, 0, 128) !important]link[color=rgb(0, 111, 224) !important]/ether[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]52[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]54[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]18[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]16[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]99[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]brd [color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 78, 208) !important]ff ; n- P2 R, @, ], h[color=rgb(0, 78, 208) !important]    inet[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.3[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]24[color=rgb(0, 111, 224) !important] brd[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.255[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(0, 78, 208) !important]global [color=rgb(0, 78, 208) !important]eth0 [color=rgb(0, 78, 208) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft [color=rgb(0, 78, 208) !important]forever 1 h8 l& S" _" f& ~, k[color=rgb(0, 78, 208) !important]    [color=rgb(0, 78, 208) !important]inet6 [color=rgb(0, 45, 122) !important]fe80[color=rgb(0, 111, 224) !important]::[color=rgb(206, 0, 0) !important]5054[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]fe18[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]1699[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(128, 0, 128) !important]link [color=rgb(0, 111, 224) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft forever 6 j4 I: A/ v$ {& G[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0_0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(255, 128, 0) !important]# ping 10.0.0.4 PING[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.4[color=rgb(0, 111, 224) !important] [color=rgb(51, 51, 51) !important]([color=rgb(206, 0, 0) !important]10.0.0.4[color=rgb(51, 51, 51) !important])[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]56[color=rgb(51, 51, 51) !important]([color=rgb(206, 0, 0) !important]84[color=rgb(51, 51, 51) !important])[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes [color=rgb(0, 78, 208) !important]of [color=rgb(0, 45, 122) !important]data[color=rgb(51, 51, 51) !important]. 2 c( `9 _# a2 S1 k( l[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes from[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.4[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]icmp_seq[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]1[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ttl[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]0.545[color=rgb(0, 111, 224) !important] ms ; b9 J! U/ d3 C; Y# O. z, X' Y[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes from[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.4[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]icmp_seq[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]2[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ttl[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]0.235[color=rgb(0, 111, 224) !important] ms [color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes from[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.4[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]icmp_seq[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]3[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ttl[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]0.223[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ms $ i( a- @) e3 e" _[color=rgb(0, 111, 224) !important]^[color=rgb(0, 45, 122) !important]C [color=rgb(0, 111, 224) !important]--[color=rgb(0, 111, 224) !important]-[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.4[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]ping [color=rgb(0, 45, 122) !important]statistics[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]--[color=rgb(0, 111, 224) !important]- " I: }0 Y5 c* ~5 k3 Q[color=rgb(206, 0, 0) !important]3[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]packets [color=rgb(0, 45, 122) !important]transmitted[color=rgb(51, 51, 51) !important],[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]3[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]received[color=rgb(51, 51, 51) !important],[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]0[color=rgb(0, 111, 224) !important]%[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]packet [color=rgb(0, 45, 122) !important]loss[color=rgb(51, 51, 51) !important],[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1999ms # g3 r4 W6 F6 i. D+ ?1 y3 Q$ k[color=rgb(0, 78, 208) !important]rtt [color=rgb(0, 45, 122) !important]min[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]avg[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]max[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]mdev[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]=[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]0.223[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]0.334[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]0.545[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]0.149[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ms

! A: ?& `- S1 t

wireshark抓包,物理网卡上没有对应的流量，vnet0上的包是普通的ICMP包

node0 vm和node1 vm通信

vm1 ping vm3:

1   C' `4 C  y* Z [color=rgb(49, 124, 197) !important]2 3 [color=rgb(49, 124, 197) !important]4 5 [color=rgb(49, 124, 197) !important]6 7 # C# e1 I: M, V. R$ W7 v7 o0 z; W [color=rgb(49, 124, 197) !important]8

[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0_0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(255, 128, 0) !important]# ping 10.0.0.34 # b( x1 G% }( d+ k" |PING[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.34[color=rgb(0, 111, 224) !important] [color=rgb(51, 51, 51) !important]([color=rgb(206, 0, 0) !important]10.0.0.34[color=rgb(51, 51, 51) !important])[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]56[color=rgb(51, 51, 51) !important]([color=rgb(206, 0, 0) !important]84[color=rgb(51, 51, 51) !important])[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes [color=rgb(0, 78, 208) !important]of [color=rgb(0, 45, 122) !important]data[color=rgb(51, 51, 51) !important]. 0 C# I+ V" A/ C: Y[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes from[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.34[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]icmp_seq[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]1[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ttl[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]1.62[color=rgb(0, 111, 224) !important] ms 2 b5 Z+ z2 N3 Q" @% J[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes from[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.34[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]icmp_seq[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]2[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ttl[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]0.383[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ms 3 f% i3 @& V! H; v, U9 x/ S- _[color=rgb(0, 111, 224) !important]^[color=rgb(0, 45, 122) !important]C + C9 @1 _: r- _6 u( n1 h2 P[color=rgb(0, 111, 224) !important]--[color=rgb(0, 111, 224) !important]-[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.34[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]ping [color=rgb(0, 45, 122) !important]statistics[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]--[color=rgb(0, 111, 224) !important]- + ?- x: B4 U" m[color=rgb(206, 0, 0) !important]2[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]packets [color=rgb(0, 45, 122) !important]transmitted[color=rgb(51, 51, 51) !important],[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]2[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]received[color=rgb(51, 51, 51) !important],[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]0[color=rgb(0, 111, 224) !important]%[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]packet [color=rgb(0, 45, 122) !important]loss[color=rgb(51, 51, 51) !important],[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1001ms [color=rgb(0, 78, 208) !important]rtt [color=rgb(0, 45, 122) !important]min[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]avg[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]max[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]mdev[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]=[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]0.383[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]1.003[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]1.623[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]0.620[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ms $ n* G' _" V, j  Y/ c7 U  e

2 y( p1 G( d  O7 g' v+ N& a
8 k0 q. V; ]0 n! k

vnet0上抓到的报文：普通ICMP包
1 i. F0 X7 I# C
! Z( j! X% \2 Q5 @+ @物理网卡上抓到的报文:vxlan封装的ICMP包 frame 18

5 j# Q. E8 Z1 ^+ xvxlan格式

2 ~( N& d3 b5 v- D, _# Z+ Mvxlan报文解码
, S. Y, Z* t$ A% B# ?7 N
: U" U& F; u$ v6 R; \! X# y: _& {用新版本wireshark（1.12.2）查看 frame 18
. z  F. p' E; J

node0 vm和node1 ovsbr0管理口通信

1 [color=rgb(49, 124, 197) !important]2 3 # c7 e) |1 E3 u2 f. o [color=rgb(49, 124, 197) !important]4 # T) w4 H: u3 n; K/ [ 5 [color=rgb(49, 124, 197) !important]6 7 [color=rgb(49, 124, 197) !important]8 : r, V; {# B5 v8 ~# q' \ 9 4 x- i/ [- A" u8 i

[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0_0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(255, 128, 0) !important]# ping 10.0.0.32 PING[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.32[color=rgb(0, 111, 224) !important] [color=rgb(51, 51, 51) !important]([color=rgb(206, 0, 0) !important]10.0.0.32[color=rgb(51, 51, 51) !important])[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]56[color=rgb(51, 51, 51) !important]([color=rgb(206, 0, 0) !important]84[color=rgb(51, 51, 51) !important])[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes [color=rgb(0, 78, 208) !important]of [color=rgb(0, 45, 122) !important]data[color=rgb(51, 51, 51) !important]. [color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes from[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.32[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]icmp_seq[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]1[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ttl[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]1.68[color=rgb(0, 111, 224) !important] ms ) a* [  q; }8 @/ t: V[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes from[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.32[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]icmp_seq[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]2[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ttl[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]0.422[color=rgb(0, 111, 224) !important] ms [color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes from[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.32[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]icmp_seq[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]3[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ttl[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]0.288[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ms [color=rgb(0, 111, 224) !important]^[color=rgb(0, 45, 122) !important]C ) ?/ u" y! ~, M2 R, _[color=rgb(0, 111, 224) !important]--[color=rgb(0, 111, 224) !important]-[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.32[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]ping [color=rgb(0, 45, 122) !important]statistics[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]--[color=rgb(0, 111, 224) !important]- " L* q' e8 D0 z$ t4 B/ \[color=rgb(206, 0, 0) !important]3[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]packets [color=rgb(0, 45, 122) !important]transmitted[color=rgb(51, 51, 51) !important],[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]3[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]received[color=rgb(51, 51, 51) !important],[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]0[color=rgb(0, 111, 224) !important]%[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]packet [color=rgb(0, 45, 122) !important]loss[color=rgb(51, 51, 51) !important],[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]2001ms + [: J9 }+ c( w# Z! P1 T0 A5 K[color=rgb(0, 78, 208) !important]rtt [color=rgb(0, 45, 122) !important]min[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]avg[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]max[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]mdev[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]=[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]0.288[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]0.796[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]1.680[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]0.627[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ms " p# h4 ~6 B: h& ^, d

8 q% M+ b. c, Z& i1 k3 L
7 q( W5 X/ h' Y* ^9 E4 Y
7 r5 j/ V$ `1 Z5 i& Y; e0 v& p