在CentOS7上配置Open vSwitch和VXLAN

rui

Contents [hide]

• 1 环境
  • 1.1 实验环境
  • 1.2 主机环境
    ) `  F' Z1 v" N+ ?! b6 i
• 2 Open vSwitch
  • 2.1 安装Open vSwitch
  • 2.2 启动Open vSwitch
  • 2.3 配置Open vSwitch
    
• 3 虚拟机
  • 3.1 配置网络
    
• 4 配置VXLAN
• 5 测试
  • 5.1 node0内部vm间通信
  • 5.2 node0 vm和node1 vm通信
  • 5.3 node0 vm和node1 ovsbr0管理口通信
    
  
  

7 _- I0 b, ~7 }环境实验环境

主机环境
1 Q8 w  h4 x8 e2 Z
6 c6 \, D0 `  d0 X. b; I# z

1 [color=rgb(49, 124, 197) !important]2 % m+ h+ Z6 T% S+ t% }; } 3 [color=rgb(49, 124, 197) !important]4 3 k. x% Y6 D5 `" g

[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]yuwh[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(51, 51, 51) !important]$[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]uname[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]-a [color=rgb(0, 78, 208) !important]Linux node0[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]3.10.0[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]123.9.3.el7.x86_64[color=rgb(0, 111, 224) !important] [color=rgb(184, 92, 0) !important]#1 SMP Thu Nov 6 15:06:03 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux [color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]yuwh[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(51, 51, 51) !important]$[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]cat[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]etc[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]redhat[color=rgb(0, 111, 224) !important]-[color=rgb(0, 78, 208) !important]release [color=rgb(0, 78, 208) !important]CentOS [color=rgb(0, 78, 208) !important]Linux release[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]7.0.1406[color=rgb(0, 111, 224) !important] [color=rgb(51, 51, 51) !important]([color=rgb(0, 45, 122) !important]Core[color=rgb(51, 51, 51) !important]) 7 a- B9 V+ ^1 b& h0 ~

5 R. A" t' Y3 \' KOpen vSwitch安装Open vSwitch

1 [color=rgb(49, 124, 197) !important]2 ) W' z6 H" H. x! n6 B3 m5 m 3 [color=rgb(49, 124, 197) !important]4 5 [color=rgb(49, 124, 197) !important]6 7 [color=rgb(49, 124, 197) !important]8 9 [color=rgb(49, 124, 197) !important]10 11 [color=rgb(49, 124, 197) !important]12 13 [color=rgb(49, 124, 197) !important]14 + b# d' {( r) U6 W 15 ! S" @- L/ j/ J5 N" l2 ?3 I; A [color=rgb(49, 124, 197) !important]16 17 [color=rgb(49, 124, 197) !important]18 + W& z5 R* q: C6 ` 1 o* `- ]+ S4 D( M+ H

[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# yum -y install wget openssl-devel kernel-devel [color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# yum groupinstall "Development Tools" [color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# yum -y install wget openssl-devel kernel-devel [color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# yum groupinstall "Development Tools" [color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# adduser ovswitch [color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# su - ovswitch 1 i* |& {6 `  @, f: x[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]ovswitch[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(51, 51, 51) !important]$[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]wget [color=rgb(0, 45, 122) !important]http[color=rgb(0, 111, 224) !important]:[color=rgb(255, 128, 0) !important]//openvswitch.org/releases/openvswitch-2.3.0.tar.gz [color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]ovswitch[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(51, 51, 51) !important]$[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]tar [color=rgb(0, 78, 208) !important]xfz [color=rgb(0, 45, 122) !important]openvswitch[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]2.3.0.tar.gz ' [  d* B" j) @' R5 J- u( {0 {[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]ovswitch[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(51, 51, 51) !important]$[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]mkdir[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]-[color=rgb(0, 45, 122) !important]p[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]rpmbuild[color=rgb(0, 111, 224) !important]/SOURCES ! s3 B7 u9 g( S, v$ P* X  x[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]ovswitch[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(51, 51, 51) !important]$[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]cp [color=rgb(0, 45, 122) !important]openvswitch[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]2.3.0.tar.gz[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]rpmbuild[color=rgb(0, 111, 224) !important]/SOURCES 去除Nicira提供的[color=rgb(0, 45, 122) !important]openvswitch[color=rgb(0, 111, 224) !important]-kmod依赖包，创建新的spec文件 - P7 H; @. u* g' G; p[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]ovswitch[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(51, 51, 51) !important]$[color=rgb(0, 111, 224) !important] sed[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]'s/openvswitch-kmod, //g'[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]openvswitch[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]2.3.0[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]rhel[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]openvswitch[color=rgb(0, 78, 208) !important].spec[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]>[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]openvswitch[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]2.3.0[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]rhel[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]openvswitch_no_kmod[color=rgb(0, 78, 208) !important].spec 2 ^" e, s9 ^. m: s( L6 r1 o3 j[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]ovswitch[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(51, 51, 51) !important]$[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]rpmbuild[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]-[color=rgb(0, 45, 122) !important]bb[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]--[color=rgb(0, 78, 208) !important]without [color=rgb(0, 45, 122) !important]check[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]openvswitch[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]2.3.0[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]rhel[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]openvswitch_no_kmod[color=rgb(0, 78, 208) !important].spec 9 d3 H$ ^- g5 E. c8 a& n[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]ovswitch[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(51, 51, 51) !important]$[color=rgb(0, 111, 224) !important] exit   F, |+ m) n# V1 G# S& i( p1 `[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# yum localinstall /home/ovswitch/rpmbuild/RPMS/x86_64/openvswitch-2.3.0-1.x86_64.rpm 安装完成，验证一下： [color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# rpm -qf `which ovs-vsctl` + |5 W8 f' ^7 N  w' a/ R[color=rgb(0, 45, 122) !important]openvswitch[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]2.3.0[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]1.x86_64 4 `+ r+ U" |/ y7 r5 n7 D9 N( Z ' j8 C! s" k/ S

# E9 E- z, H% j  I$ Q, n; I
- w( D& Y# {  L" p  C1 f* I
启动Open vSwitch

SELinux会影响Open vSwitch的运行，比如报错：
error: /etc/openvswitch/conf.db: failed to lock lockfile (No such file or directory)原因是没有权限修改/etc/openvswitch的owner
如果环境允许可用关掉SELinux；想保持enabled需要做如下修改:

) q( Q: x! `7 P9 Z

1 [color=rgb(49, 124, 197) !important]2 6 H2 C0 \+ s- k 3 [color=rgb(49, 124, 197) !important]4 5 8 Z- }7 E5 W. q, g3 Z , n" j* J2 s- N( S

[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# mkdir /etc/openvswitch - M& h9 g2 m" p: r& F[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# semanage fcontext -a -t openvswitch_rw_t "/etc/openvswitch(/.*)?" 9 R- Y* U7 T* E# `- r$ n[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# restorecon -Rv /etc/openvswitch 4 n& Q8 K. N8 q2 n' b0 r3 R( p4 a启动服务： [color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(184, 92, 0) !important]# systemctl start openvswitch.service

查看结果：
: y1 p4 E1 e3 o4 q[root@node0 ~]# systemctl -l status openvswitch.service

配置Open vSwitch
/ j' ~. v0 Y! a' c7 T
4 c+ R; F+ E' ^6 J$ P- \

1 3 \' M4 d. x8 }% U 9 K  c: Y! Y; g) m# h

[color=rgb(0, 45, 122) !important]ovs[color=rgb(0, 111, 224) !important]-[color=rgb(0, 78, 208) !important]vsctl [color=rgb(0, 45, 122) !important]add[color=rgb(0, 111, 224) !important]-[color=rgb(0, 78, 208) !important]br [color=rgb(0, 45, 122) !important]ovsbr0 8 u8 E# [% L3 p% e2 \' K

- L& o  t2 b; @# C. l8 t( }2 t

去掉NetworkManager

1 [color=rgb(49, 124, 197) !important]2 4 B0 b- j5 T! j! e6 G+ d) u , D0 \# I- \2 {1 C6 X0 Z

[color=rgb(0, 78, 208) !important]systemctl [color=rgb(0, 78, 208) !important]stop [color=rgb(0, 45, 122) !important]NetworkManager[color=rgb(0, 78, 208) !important].service 1 }2 v( L9 u! P% w3 i[color=rgb(0, 78, 208) !important]systemctl [color=rgb(0, 78, 208) !important]disable [color=rgb(0, 45, 122) !important]NetworkManager[color=rgb(0, 78, 208) !important].service 2 v) w6 z6 d: U

$ z( A) X( w# v/ Q; T

改用network.services,修改/etc/sysconfig/network-scripts/下的配置文件
/etc/sysconfig/network-scripts/ifcfg-mgmt0

1 [color=rgb(49, 124, 197) !important]2 5 h1 P6 K" u  G$ A: G  f- z6 d# j 3 4 |7 P% K# o6 ^ [color=rgb(49, 124, 197) !important]4 5 [color=rgb(49, 124, 197) !important]6 . ?$ g9 P4 R6 U4 B  h. ?* ]2 @ 7 . c- ?0 O# |, D0 K: z; @  X. Q7 J [color=rgb(49, 124, 197) !important]8 9 [color=rgb(49, 124, 197) !important]10 1 i, b. a2 ~$ J5 g

DEVICE[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]mgmt0 ONBOOT[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]yes / a0 t; }! Q. tDEVICETYPE[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]ovs 5 |! n8 _, s  k' `0 L% s$ u8 uTYPE[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]OVSIntPort + W  e; [& T: ]OVS_BRIDGE[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]ovsbr0 , q4 e$ B" F- QUSERCTL[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]no $ p1 M; C2 c* ?" _. zBOOTPROTO[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]none 4 _3 l5 B. P2 ]! t- kHOTPLUG[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]no IPADDR0[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]10.0.0.2 4 _% R* ^& W% M0 n( n4 j4 t% S, D8 ]* MPREFIX0[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]23 ! X8 j1 V( A, V0 i/ p6 l

, Y5 L& S& u4 q* I, ]# h5 y# T* U3 d

/etc/sysconfig/network-scripts/ifcfg-ovsbr0

1 8 R) x  \/ Y  j( n$ F; z. A [color=rgb(49, 124, 197) !important]2 / ]" h, j1 T* R2 r 3 - L  Z* r# V6 C/ ?( u6 C [color=rgb(49, 124, 197) !important]4 ! V: w0 h$ X7 `! | 5 [color=rgb(49, 124, 197) !important]6

DEVICE[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]ovsbr0 : S) a1 \3 m' f6 YONBOOT[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]yes . {9 o5 t9 t8 U6 _- bDEVICETYPE[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]ovs TYPE[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]OVSBridge HOTPLUG[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]no USERCTL[color=rgb(0, 111, 224) !important]=no   M! v3 `* ?8 Y, t& r% V$ V( L; A ) g! m) D( S- I. k2 L( Y

  ?1 y# N$ o! b' d( m4 Z
# U/ v+ N& C$ Q/ z

/etc/sysconfig/network-scripts/ifcfg-enp2s0f0

+ h3 d: K2 h+ Q  n, t( o

1   H8 r# c/ }; B0 Y. z [color=rgb(49, 124, 197) !important]2 5 {7 J9 Z2 O; D* Y  ?% P& c 3 [color=rgb(49, 124, 197) !important]4 5 - ]5 K/ n) ?' C/ t [color=rgb(49, 124, 197) !important]6 % S( p2 `- {9 J 7 [color=rgb(49, 124, 197) !important]8 & E' H9 G9 \8 \# }, P 9 1 f( o8 n8 A2 ?) a [color=rgb(49, 124, 197) !important]10 6 k# v' p+ q! }5 C$ ^! x$ y" @ 11 1 Q  V' I9 g% @ [color=rgb(49, 124, 197) !important]12 13 [color=rgb(49, 124, 197) !important]14 / X/ p  P( @7 j' ~6 j 15 [color=rgb(49, 124, 197) !important]16 17 8 s5 D, W7 |4 m8 p' a3 T3 k [color=rgb(49, 124, 197) !important]18 19 ; S" Y) d$ o6 S  b8 _# x

TYPE[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]Ethernet BOOTPROTO[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]none DEFROUTE[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]yes IPV4_FAILURE_FATAL[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]no 2 Q, y+ x0 s" i' B, V5 rIPV6INIT[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]yes IPV6_AUTOCONF[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]yes 4 n% ?9 i2 x7 X9 }2 AIPV6_DEFROUTE[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]yes IPV6_FAILURE_FATAL[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]no NAME[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]enp2s0f0 4 }* b8 P" l& ^" ?9 pUUID[color=rgb(0, 111, 224) !important]=d81f76d3[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]7163[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]42d3[color=rgb(0, 111, 224) !important]-bc07[color=rgb(0, 111, 224) !important]-[color=rgb(0, 78, 208) !important]d936a8536d17 ONBOOT[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]yes " K$ l' x0 M- W  n+ yIPADDR[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]192.168.3.4 PREFIX[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]23 4 Z$ s  C) Y- ?/ UGATEWAY[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]192.168.3.1 ! M. M/ S5 b! x( y9 B+ E8 x4 CDNS1[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]8.8.8.8 DNS2[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]4.4.4.4 9 `1 e+ k7 H# h" C" t: BHWADDR[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]10[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]51[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]72[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]37[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]76[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]04 6 M8 }: q9 @; t  G' NIPV6_PEERDNS[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]yes " `/ v. e9 m( o- ?IPV6_PEERROUTES[color=rgb(0, 111, 224) !important]=yes

7 I' {" Z% i- n4 R) U虚拟机配置网络

libvirt 默认会启用virbr0来作为虚拟机的网桥并启动DHCPD；删除该网桥，使用ovs bridge来替代：

1 ! r, o+ u) d+ _' Y/ J . M( f9 J- E- a6 Y) c3 X, X2 _: z

[color=rgb(0, 78, 208) !important]virsh [color=rgb(0, 45, 122) !important]net[color=rgb(0, 111, 224) !important]-[color=rgb(0, 78, 208) !important]destroy [color=rgb(128, 0, 128) !important]default + O$ H! [2 C5 ~+ T6 O 6 o. U$ s9 D3 J* p5 ^

- S( r' h! \( R
6 j3 A! h+ _4 s

vi /etc/libvirt/qemu/CentOS7.xml

% {4 {0 W) ^! f0 P

1 / L5 k; Y* `/ V+ f3 Q' B2 o [color=rgb(49, 124, 197) !important]2 # \; M# X& a) B! s( z; Q 3 & @. N2 E  ?. l' y: F: l) [ [color=rgb(49, 124, 197) !important]4 7 r/ h2 u6 Z; q3 Y9 t; p; @( K 5 ! m! e4 G# J7 g$ B [color=rgb(49, 124, 197) !important]6 7 + S6 b- t$ z9 A7 B [color=rgb(49, 124, 197) !important]8 - }& J! R+ d" `  p 9 " a8 M1 T! I6 S5 E9 v1 a$ [

[color=rgb(0, 111, 224) !important]    [color=rgb(128, 0, 128) !important]<interface [color=rgb(0, 78, 208) !important]type[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'bridge'[color=rgb(128, 0, 128) !important]> 6 _% S( X& U- h" W9 i+ n# s0 ?      [color=rgb(128, 0, 128) !important]<mac [color=rgb(0, 78, 208) !important]address[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'52:54:00:18:16:99'[color=rgb(128, 0, 128) !important]/>       [color=rgb(128, 0, 128) !important]<source [color=rgb(0, 78, 208) !important]bridge[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'ovsbr0'[color=rgb(128, 0, 128) !important]/>       [color=rgb(128, 0, 128) !important]<virtualport [color=rgb(0, 78, 208) !important]type[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'openvswitch'[color=rgb(128, 0, 128) !important]> % h$ M6 T) H3 ~# D        [color=rgb(128, 0, 128) !important]<parameters [color=rgb(0, 78, 208) !important]interfaceid[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'9beb90bc-20a1-4937-901d-805dd6bba190'[color=rgb(128, 0, 128) !important]/>       [color=rgb(128, 0, 128) !important]</virtualport> & c' q, H/ b2 o' P+ j      [color=rgb(128, 0, 128) !important]<model [color=rgb(0, 78, 208) !important]type[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'virtio'[color=rgb(128, 0, 128) !important]/> - |/ t' S1 n. a- w      [color=rgb(128, 0, 128) !important]<address [color=rgb(0, 78, 208) !important]type[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'pci'[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]domain[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'0x0000'[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bus[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'0x00'[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]slot[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'0x03'[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]function[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]'0x0'[color=rgb(128, 0, 128) !important]/>     [color=rgb(128, 0, 128) !important]</interface>

或者通过virt-manager来配置

配置VXLAN

在ovsbr0中添加接口vxlan0
node0上的配置：注意remote_ip node1的ip：192.168.3.5。

6 }3 q! ?6 D0 T) r# \) B  ]  ~7 H

1 8 P' `, b2 d7 @) o+ d

[color=rgb(0, 45, 122) !important]ovs[color=rgb(0, 111, 224) !important]-[color=rgb(0, 78, 208) !important]vsctl [color=rgb(0, 45, 122) !important]add[color=rgb(0, 111, 224) !important]-[color=rgb(0, 78, 208) !important]port [color=rgb(0, 78, 208) !important]ovsbr0 [color=rgb(0, 45, 122) !important]vxlan0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]--[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]set [color=rgb(128, 0, 128) !important]interface[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]vxlan0 [color=rgb(128, 0, 128) !important]type[color=rgb(0, 111, 224) !important]=[color=rgb(0, 78, 208) !important]vxlan [color=rgb(0, 45, 122) !important]options[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]remote_ip[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]192.168.3.5

+ `5 |# h% p* a  W; y1 N: {

启动两个虚拟机后的配置：

1 : K# N, x& u9 M! N5 n& K" _ [color=rgb(49, 124, 197) !important]2 & S. t; Z# r! J/ m8 L& ] 3 [color=rgb(49, 124, 197) !important]4 - Z, I) P. @) K9 z0 n3 i 5 [color=rgb(49, 124, 197) !important]6 2 I' ]2 b/ k" b 7 $ T( R/ G8 E) x) L7 |) y/ { [color=rgb(49, 124, 197) !important]8 9 # e& B9 I! ?# s [color=rgb(49, 124, 197) !important]10 ( M( G' K& L, y, I  ^% z5 T 11 [color=rgb(49, 124, 197) !important]12 2 j8 {$ n/ O/ I% o 13 [color=rgb(49, 124, 197) !important]14 + K% N( Z( }( T0 ]7 u9 } 15 [color=rgb(49, 124, 197) !important]16 17 6 F! C- G( n% _7 g! B( S [color=rgb(49, 124, 197) !important]18 " l0 G) u/ N2 p# X( U, ]3 k- g" B 19 - {; p9 E- f  B [color=rgb(49, 124, 197) !important]20 8 ~3 e5 X9 u# _0 l, R/ ?9 `5 a 21 . r' _! T6 W! j/ v- V" I+ ] [color=rgb(49, 124, 197) !important]22 23 # z/ @: G* ]8 \: _. r1 O) a+ F [color=rgb(49, 124, 197) !important]24 25 6 h2 p+ w2 j2 w. d# U) Q [color=rgb(49, 124, 197) !important]26 27 1 U! ]: U6 k/ |* W [color=rgb(49, 124, 197) !important]28 2 t) |* K1 o0 V+ @+ z3 T2 W 29 [color=rgb(49, 124, 197) !important]30 31 [color=rgb(49, 124, 197) !important]32 ( R! a: G( ~% P4 E+ E  X 33 [color=rgb(49, 124, 197) !important]34 % l$ r( D" j! x/ Q* c 35 $ d- `# I! ^3 T. ? [color=rgb(49, 124, 197) !important]36 * q4 r# P3 }5 W. o4 V7 D 37 ' I: E. N' T5 j% B: n# j! ? [color=rgb(49, 124, 197) !important]38 39 [color=rgb(49, 124, 197) !important]40 4 g' ]  W# S# G# H/ M8 k 41 [color=rgb(49, 124, 197) !important]42 & h2 X' @( T- |; w: j 43 [color=rgb(49, 124, 197) !important]44 $ ?' W6 `* {3 `+ A+ q 45 [color=rgb(49, 124, 197) !important]46 47 # H+ Y5 J$ {% [( d* ^* r! E: { [color=rgb(49, 124, 197) !important]48 $ w* k" ]% U( C3 c. A$ C 49 3 [9 M$ y8 o! e1 u& A; a7 \ [color=rgb(49, 124, 197) !important]50 51 * X! J- v- {+ H: U, S9 |7 S) H8 ?; \ [color=rgb(49, 124, 197) !important]52 6 X2 j) y; t! H* P# O& F

[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 78, 208) !important]node0 [color=rgb(0, 45, 122) !important]samba[color=rgb(51, 51, 51) !important][color=rgb(255, 128, 0) !important]#  ovs-vsctl show [color=rgb(0, 45, 122) !important]b15949b6[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]9d9f[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]4b14[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]9fd9[color=rgb(0, 111, 224) !important]-[color=rgb(206, 0, 0) !important]277d2b203376 [color=rgb(0, 111, 224) !important]    Bridge[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"ovsbr0" [color=rgb(0, 111, 224) !important]        Port[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"mgmt0" ' E5 o, V* z7 B1 s6 k, J& L[color=rgb(0, 111, 224) !important]            [color=rgb(128, 0, 128) !important]Interface[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"mgmt0" 1 \" J# ]1 O5 C5 M2 E) s[color=rgb(0, 111, 224) !important]                [color=rgb(128, 0, 128) !important]type[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]internal [color=rgb(0, 78, 208) !important]        Port[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"vnet0" ) V5 n$ \* T: q/ b$ s! M[color=rgb(0, 111, 224) !important]            [color=rgb(128, 0, 128) !important]Interface[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"vnet0" [color=rgb(0, 111, 224) !important]        Port[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"vxlan0" [color=rgb(0, 111, 224) !important]            [color=rgb(128, 0, 128) !important]Interface[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"vxlan0" + j$ _* s4 E# `# z+ n0 f8 n[color=rgb(0, 111, 224) !important]                [color=rgb(128, 0, 128) !important]type[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]vxlan # Z! V+ [" R( g# y: L# Q$ w+ Q[color=rgb(0, 78, 208) !important]                [color=rgb(0, 45, 122) !important]options[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(51, 51, 51) !important]{[color=rgb(0, 45, 122) !important]remote_ip[color=rgb(0, 111, 224) !important]=[color=rgb(0, 128, 0) !important]"192.168.3.5"[color=rgb(51, 51, 51) !important]} [color=rgb(0, 111, 224) !important]        Port[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"ovsbr0" [color=rgb(0, 111, 224) !important]            [color=rgb(128, 0, 128) !important]Interface[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"ovsbr0" [color=rgb(0, 111, 224) !important]                [color=rgb(128, 0, 128) !important]type[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]internal   S3 `6 l$ G3 a! s[color=rgb(0, 78, 208) !important]        Port[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"vnet1" # g' p# k7 E, k- \4 t[color=rgb(0, 111, 224) !important]            [color=rgb(128, 0, 128) !important]Interface[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"vnet1" : E0 R- W8 c# n; i# ?! ]# n[color=rgb(0, 111, 224) !important]    [color=rgb(0, 45, 122) !important]ovs_version[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 128, 0) !important]"2.3.0" [color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(255, 128, 0) !important]# ip addr 8 s2 t9 T+ s4 H( _8 `[color=rgb(206, 0, 0) !important]1[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]lo[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]<[color=rgb(0, 45, 122) !important]LOOPBACK[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]UP[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]LOWER_UP[color=rgb(0, 111, 224) !important]>[color=rgb(0, 111, 224) !important] mtu[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]65536[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]qdisc [color=rgb(0, 78, 208) !important]noqueue [color=rgb(0, 78, 208) !important]state [color=rgb(0, 78, 208) !important]UNKNOWN [color=rgb(0, 78, 208) !important]    [color=rgb(128, 0, 128) !important]link[color=rgb(0, 111, 224) !important]/loopback[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important] brd[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00 [color=rgb(0, 111, 224) !important]    inet[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]127.0.0.1[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]8[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(0, 78, 208) !important]host [color=rgb(0, 78, 208) !important]lo [color=rgb(0, 78, 208) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]    [color=rgb(0, 45, 122) !important]inet6[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]::[color=rgb(206, 0, 0) !important]1[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]128[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(0, 78, 208) !important]host - U. x! j) P- [/ `8 h* f[color=rgb(0, 78, 208) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft forever [color=rgb(206, 0, 0) !important]2[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]enp2s0f0[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]<[color=rgb(0, 45, 122) !important]BROADCAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]MULTICAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]UP[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]LOWER_UP[color=rgb(0, 111, 224) !important]>[color=rgb(0, 111, 224) !important] mtu[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1500[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]qdisc [color=rgb(0, 78, 208) !important]mq [color=rgb(0, 78, 208) !important]state [color=rgb(0, 78, 208) !important]UP qlen[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1000 - f1 [: c% _+ q[color=rgb(0, 111, 224) !important]    [color=rgb(128, 0, 128) !important]link[color=rgb(0, 111, 224) !important]/ether[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]51[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]72[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]37[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]76[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]04[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]brd [color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 78, 208) !important]ff 6 @4 m" V8 p. }8 O3 E; B* F' |1 K[color=rgb(0, 78, 208) !important]    inet[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]192.168.3.4[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]23[color=rgb(0, 111, 224) !important] brd[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]192.168.3.255[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(0, 78, 208) !important]global [color=rgb(0, 78, 208) !important]enp2s0f0 ( @" Q+ ]) P# \- c* i[color=rgb(0, 78, 208) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft [color=rgb(0, 78, 208) !important]forever 4 I" `: g9 y8 I' Z# ^[color=rgb(0, 78, 208) !important]    [color=rgb(0, 78, 208) !important]inet6 [color=rgb(0, 45, 122) !important]fe80[color=rgb(0, 111, 224) !important]::[color=rgb(206, 0, 0) !important]1251[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]72ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]fe37[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]7604[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(128, 0, 128) !important]link ( l, n. Y# M7 @! Y2 P" `[color=rgb(0, 111, 224) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft forever / n& a" U0 l2 T7 H! W# O[color=rgb(206, 0, 0) !important]8[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ovs[color=rgb(0, 111, 224) !important]-[color=rgb(0, 45, 122) !important]system[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]<[color=rgb(0, 45, 122) !important]BROADCAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]MULTICAST[color=rgb(0, 111, 224) !important]>[color=rgb(0, 111, 224) !important] mtu[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1500[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]qdisc [color=rgb(0, 78, 208) !important]noop [color=rgb(0, 78, 208) !important]state [color=rgb(0, 78, 208) !important]DOWN 0 T$ o  s6 c- v7 B3 n  N4 L3 n- x[color=rgb(0, 78, 208) !important]    [color=rgb(128, 0, 128) !important]link[color=rgb(0, 111, 224) !important]/ether[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]02[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]32[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]3a[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]73[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]15[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]08[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]brd [color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff 8 x+ ^& o6 S: Y; o[color=rgb(0, 111, 224) !important]/[color=rgb(0, 111, 224) !important]/删掉了不相干部分 [color=rgb(206, 0, 0) !important]48[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ovsbr0[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]<[color=rgb(0, 45, 122) !important]BROADCAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]MULTICAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]UP[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]LOWER_UP[color=rgb(0, 111, 224) !important]>[color=rgb(0, 111, 224) !important] mtu[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1500[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]qdisc [color=rgb(0, 78, 208) !important]noqueue [color=rgb(0, 78, 208) !important]state [color=rgb(0, 78, 208) !important]UNKNOWN 0 [( \' b$ t9 ]$ ]1 y' z6 ~8 P[color=rgb(0, 78, 208) !important]    [color=rgb(128, 0, 128) !important]link[color=rgb(0, 111, 224) !important]/[color=rgb(0, 78, 208) !important]ether [color=rgb(0, 45, 122) !important]fe[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]45[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]84[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ec[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]7c[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]43[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]brd [color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 78, 208) !important]ff [color=rgb(0, 78, 208) !important]    [color=rgb(0, 78, 208) !important]inet6 [color=rgb(0, 45, 122) !important]fe80[color=rgb(0, 111, 224) !important]::[color=rgb(0, 45, 122) !important]fc45[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]84ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]feec[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]7c43[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(128, 0, 128) !important]link [color=rgb(0, 111, 224) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft forever [color=rgb(206, 0, 0) !important]49[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]mgmt0[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]<[color=rgb(0, 45, 122) !important]BROADCAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]MULTICAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]UP[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]LOWER_UP[color=rgb(0, 111, 224) !important]>[color=rgb(0, 111, 224) !important] mtu[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1500[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]qdisc [color=rgb(0, 78, 208) !important]noqueue [color=rgb(0, 78, 208) !important]state [color=rgb(0, 78, 208) !important]UNKNOWN [color=rgb(0, 78, 208) !important]    [color=rgb(128, 0, 128) !important]link[color=rgb(0, 111, 224) !important]/[color=rgb(0, 78, 208) !important]ether [color=rgb(0, 45, 122) !important]d6[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]c5[color=rgb(0, 111, 224) !important]:[color=rgb(128, 0, 128) !important]ed[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]c4[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]aa[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]45[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]brd [color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 78, 208) !important]ff [color=rgb(0, 78, 208) !important]    inet[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.2[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]23[color=rgb(0, 111, 224) !important] brd[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.1.255[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(0, 78, 208) !important]global [color=rgb(0, 78, 208) !important]mgmt0 $ L6 y; R9 r7 ^, V[color=rgb(0, 78, 208) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft [color=rgb(0, 78, 208) !important]forever ! Y! S4 n4 O* A[color=rgb(0, 78, 208) !important]    [color=rgb(0, 78, 208) !important]inet6 [color=rgb(0, 45, 122) !important]fe80[color=rgb(0, 111, 224) !important]::[color=rgb(0, 45, 122) !important]d4c5[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]edff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]fec4[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]aa45[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(128, 0, 128) !important]link [color=rgb(0, 111, 224) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft forever [color=rgb(206, 0, 0) !important]51[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]vnet1[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]<[color=rgb(0, 45, 122) !important]BROADCAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]MULTICAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]UP[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]LOWER_UP[color=rgb(0, 111, 224) !important]>[color=rgb(0, 111, 224) !important] mtu[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1500[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]qdisc [color=rgb(0, 78, 208) !important]pfifo_fast [color=rgb(0, 78, 208) !important]master [color=rgb(0, 45, 122) !important]ovs[color=rgb(0, 111, 224) !important]-[color=rgb(0, 78, 208) !important]system [color=rgb(0, 78, 208) !important]state [color=rgb(0, 78, 208) !important]UNKNOWN qlen[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]500 [color=rgb(0, 111, 224) !important]    [color=rgb(128, 0, 128) !important]link[color=rgb(0, 111, 224) !important]/[color=rgb(0, 78, 208) !important]ether [color=rgb(0, 45, 122) !important]fe[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]54[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]13[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]04[color=rgb(0, 111, 224) !important]:[color=rgb(0, 78, 208) !important]d8 [color=rgb(0, 78, 208) !important]brd [color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 78, 208) !important]ff [color=rgb(0, 78, 208) !important]    [color=rgb(0, 78, 208) !important]inet6 [color=rgb(0, 45, 122) !important]fe80[color=rgb(0, 111, 224) !important]::[color=rgb(0, 45, 122) !important]fc54[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]fe13[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]4d8[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(128, 0, 128) !important]link , O8 a: S2 O0 Z[color=rgb(0, 111, 224) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft forever 0 d. d, h. M. K! U) e: A* z[color=rgb(206, 0, 0) !important]52[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]vnet0[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]<[color=rgb(0, 45, 122) !important]BROADCAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]MULTICAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]UP[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]LOWER_UP[color=rgb(0, 111, 224) !important]>[color=rgb(0, 111, 224) !important] mtu[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1500[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]qdisc [color=rgb(0, 78, 208) !important]pfifo_fast [color=rgb(0, 78, 208) !important]master [color=rgb(0, 45, 122) !important]ovs[color=rgb(0, 111, 224) !important]-[color=rgb(0, 78, 208) !important]system [color=rgb(0, 78, 208) !important]state [color=rgb(0, 78, 208) !important]UNKNOWN qlen[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]500 [color=rgb(0, 111, 224) !important]    [color=rgb(128, 0, 128) !important]link[color=rgb(0, 111, 224) !important]/[color=rgb(0, 78, 208) !important]ether [color=rgb(0, 45, 122) !important]fe[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]54[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]18[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]16[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]99[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]brd [color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 78, 208) !important]ff 3 K) H2 Z# h5 y/ W8 U9 a[color=rgb(0, 78, 208) !important]    [color=rgb(0, 78, 208) !important]inet6 [color=rgb(0, 45, 122) !important]fe80[color=rgb(0, 111, 224) !important]::[color=rgb(0, 45, 122) !important]fc54[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]fe18[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]1699[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(128, 0, 128) !important]link ! Q# k& g* W( g& N[color=rgb(0, 111, 224) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft [color=rgb(0, 45, 122) !important]forever 6 g2 D! {! J, i  T" a% f% k* l

5 d$ w9 ]9 f: Q7 k* I& x, X测试

以上配置，只列出了node0的操作过程；node1作同样配置，ip不同而已。

node0内部vm间通信

vm1 ping vm2:

* n8 l2 S/ u1 |: n! E; Z- d5 i2 w

1 4 i+ m9 s9 y, B [color=rgb(49, 124, 197) !important]2 3 ; {1 }4 I$ n1 Z. g0 E$ F [color=rgb(49, 124, 197) !important]4 7 t3 q7 a( U5 }/ d4 I4 m/ @# ~ 5 [color=rgb(49, 124, 197) !important]6 9 |  p0 y9 I# F6 r- q1 b 7 [color=rgb(49, 124, 197) !important]8 ) {- a* C% s$ t3 L 9 [color=rgb(49, 124, 197) !important]10 0 i- m6 A) R* Y5 C: l2 S: j/ F, H 11 & N( h3 x1 N% K7 s) `" S [color=rgb(49, 124, 197) !important]12 13 [color=rgb(49, 124, 197) !important]14 ! M2 `% N  X: o 15 [color=rgb(49, 124, 197) !important]16 17 , ?/ N7 V) W8 o: W; f9 F0 M [color=rgb(49, 124, 197) !important]18 19 ' y. M) i  Q" w2 H# p& D7 S3 | [color=rgb(49, 124, 197) !important]20 21 [color=rgb(49, 124, 197) !important]22

[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0_0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(255, 128, 0) !important]# ip addr ' d/ b  C5 @: G* i[color=rgb(206, 0, 0) !important]1[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]lo[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]<[color=rgb(0, 45, 122) !important]LOOPBACK[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]UP[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]LOWER_UP[color=rgb(0, 111, 224) !important]>[color=rgb(0, 111, 224) !important] mtu[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]65536[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]qdisc [color=rgb(0, 78, 208) !important]noqueue [color=rgb(0, 78, 208) !important]state [color=rgb(0, 78, 208) !important]UNKNOWN [color=rgb(0, 78, 208) !important]    [color=rgb(128, 0, 128) !important]link[color=rgb(0, 111, 224) !important]/loopback[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important] brd[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00 * \! d. B2 u9 {7 |/ T[color=rgb(0, 111, 224) !important]    inet[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]127.0.0.1[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]8[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(0, 78, 208) !important]host [color=rgb(0, 78, 208) !important]lo [color=rgb(0, 78, 208) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]    [color=rgb(0, 45, 122) !important]inet6[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]::[color=rgb(206, 0, 0) !important]1[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]128[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(0, 78, 208) !important]host [color=rgb(0, 78, 208) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft forever [color=rgb(206, 0, 0) !important]2[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]eth0[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]<[color=rgb(0, 45, 122) !important]BROADCAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]MULTICAST[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]UP[color=rgb(51, 51, 51) !important],[color=rgb(0, 45, 122) !important]LOWER_UP[color=rgb(0, 111, 224) !important]>[color=rgb(0, 111, 224) !important] mtu[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1500[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]qdisc [color=rgb(0, 78, 208) !important]pfifo_fast [color=rgb(0, 78, 208) !important]state [color=rgb(0, 78, 208) !important]UP qlen[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1000 [color=rgb(0, 111, 224) !important]    [color=rgb(128, 0, 128) !important]link[color=rgb(0, 111, 224) !important]/ether[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]52[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]54[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]00[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]18[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]16[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]99[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]brd [color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 78, 208) !important]ff [color=rgb(0, 78, 208) !important]    inet[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.3[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]24[color=rgb(0, 111, 224) !important] brd[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.255[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(0, 78, 208) !important]global [color=rgb(0, 78, 208) !important]eth0 & B% E5 m$ G0 _; I$ v0 k7 h9 k[color=rgb(0, 78, 208) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft [color=rgb(0, 78, 208) !important]forever & r. |9 l$ u7 `; T6 a  R[color=rgb(0, 78, 208) !important]    [color=rgb(0, 78, 208) !important]inet6 [color=rgb(0, 45, 122) !important]fe80[color=rgb(0, 111, 224) !important]::[color=rgb(206, 0, 0) !important]5054[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]ff[color=rgb(0, 111, 224) !important]:[color=rgb(0, 45, 122) !important]fe18[color=rgb(0, 111, 224) !important]:[color=rgb(206, 0, 0) !important]1699[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]scope [color=rgb(128, 0, 128) !important]link [color=rgb(0, 111, 224) !important]       [color=rgb(0, 78, 208) !important]valid_lft [color=rgb(0, 78, 208) !important]forever [color=rgb(0, 78, 208) !important]preferred_lft forever & \+ A# Z% @- I1 |7 ]/ C" @- b[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0_0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(255, 128, 0) !important]# ping 10.0.0.4 PING[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.4[color=rgb(0, 111, 224) !important] [color=rgb(51, 51, 51) !important]([color=rgb(206, 0, 0) !important]10.0.0.4[color=rgb(51, 51, 51) !important])[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]56[color=rgb(51, 51, 51) !important]([color=rgb(206, 0, 0) !important]84[color=rgb(51, 51, 51) !important])[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes [color=rgb(0, 78, 208) !important]of [color=rgb(0, 45, 122) !important]data[color=rgb(51, 51, 51) !important]. [color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes from[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.4[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]icmp_seq[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]1[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ttl[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]0.545[color=rgb(0, 111, 224) !important] ms [color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes from[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.4[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]icmp_seq[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]2[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ttl[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]0.235[color=rgb(0, 111, 224) !important] ms [color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes from[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.4[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]icmp_seq[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]3[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ttl[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]0.223[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ms , h4 G% N2 D3 A2 P[color=rgb(0, 111, 224) !important]^[color=rgb(0, 45, 122) !important]C [color=rgb(0, 111, 224) !important]--[color=rgb(0, 111, 224) !important]-[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.4[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]ping [color=rgb(0, 45, 122) !important]statistics[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]--[color=rgb(0, 111, 224) !important]- [color=rgb(206, 0, 0) !important]3[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]packets [color=rgb(0, 45, 122) !important]transmitted[color=rgb(51, 51, 51) !important],[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]3[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]received[color=rgb(51, 51, 51) !important],[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]0[color=rgb(0, 111, 224) !important]%[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]packet [color=rgb(0, 45, 122) !important]loss[color=rgb(51, 51, 51) !important],[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1999ms [color=rgb(0, 78, 208) !important]rtt [color=rgb(0, 45, 122) !important]min[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]avg[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]max[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]mdev[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]=[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]0.223[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]0.334[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]0.545[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]0.149[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ms 2 d# m. ^0 V( L# b' B # n$ n7 L& M" k8 \

6 g8 V' K5 Z/ n+ {, O

wireshark抓包,物理网卡上没有对应的流量，vnet0上的包是普通的ICMP包
7 }; S8 Y$ l4 I; k! n/ S* T

node0 vm和node1 vm通信

$ E' l4 j, a' G( S& e/ G2 ^vm1 ping vm3:

- s$ M& M/ o4 G) l: B

1 3 S5 g( l4 ^& x, r [color=rgb(49, 124, 197) !important]2 3 [color=rgb(49, 124, 197) !important]4 0 O" \+ {4 x" N/ O 5 [color=rgb(49, 124, 197) !important]6 + R" {! k, B# k  ^2 t; u! S' \$ _ 7 [color=rgb(49, 124, 197) !important]8   Q( |9 N0 L7 X7 O- c

[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0_0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(255, 128, 0) !important]# ping 10.0.0.34 PING[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.34[color=rgb(0, 111, 224) !important] [color=rgb(51, 51, 51) !important]([color=rgb(206, 0, 0) !important]10.0.0.34[color=rgb(51, 51, 51) !important])[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]56[color=rgb(51, 51, 51) !important]([color=rgb(206, 0, 0) !important]84[color=rgb(51, 51, 51) !important])[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes [color=rgb(0, 78, 208) !important]of [color=rgb(0, 45, 122) !important]data[color=rgb(51, 51, 51) !important]. [color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes from[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.34[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]icmp_seq[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]1[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ttl[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]1.62[color=rgb(0, 111, 224) !important] ms [color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes from[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.34[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]icmp_seq[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]2[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ttl[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]0.383[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ms 4 x" h* B  V+ s6 @) D[color=rgb(0, 111, 224) !important]^[color=rgb(0, 45, 122) !important]C [color=rgb(0, 111, 224) !important]--[color=rgb(0, 111, 224) !important]-[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.34[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]ping [color=rgb(0, 45, 122) !important]statistics[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]--[color=rgb(0, 111, 224) !important]- [color=rgb(206, 0, 0) !important]2[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]packets [color=rgb(0, 45, 122) !important]transmitted[color=rgb(51, 51, 51) !important],[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]2[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]received[color=rgb(51, 51, 51) !important],[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]0[color=rgb(0, 111, 224) !important]%[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]packet [color=rgb(0, 45, 122) !important]loss[color=rgb(51, 51, 51) !important],[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]1001ms [color=rgb(0, 78, 208) !important]rtt [color=rgb(0, 45, 122) !important]min[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]avg[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]max[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]mdev[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]=[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]0.383[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]1.003[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]1.623[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]0.620[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ms

4 W3 r/ {$ ]) D7 h

vnet0上抓到的报文：普通ICMP包
) x, u1 [6 r4 u; r, d
5 o$ f0 n, j6 q! \6 z物理网卡上抓到的报文:vxlan封装的ICMP包 frame 18

! r' B7 r4 l: p- \7 dvxlan格式
6 k: ?7 u" Y$ H2 }( U5 ?
5 j* {3 ^* a4 B9 ~, ~vxlan报文解码

用新版本wireshark（1.12.2）查看 frame 18
3 z% J: a7 M) W4 u1 ?2 \+ B7 N

node0 vm和node1 ovsbr0管理口通信

1 . p: P" [! G" d+ _8 s2 Y [color=rgb(49, 124, 197) !important]2 ' h+ v1 r2 I  t* a  E7 f9 p+ k 3 9 N. ]$ o. D$ f: r' Q [color=rgb(49, 124, 197) !important]4 5 $ \* f# K3 |" O# { [color=rgb(49, 124, 197) !important]6 7 [color=rgb(49, 124, 197) !important]8 ( @) U+ O5 \" m2 v 9

[color=rgb(51, 51, 51) !important][[color=rgb(0, 45, 122) !important]root[color=rgb(51, 51, 51) !important]@[color=rgb(0, 45, 122) !important]node0_0[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]~[color=rgb(51, 51, 51) !important][color=rgb(255, 128, 0) !important]# ping 10.0.0.32 PING[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.32[color=rgb(0, 111, 224) !important] [color=rgb(51, 51, 51) !important]([color=rgb(206, 0, 0) !important]10.0.0.32[color=rgb(51, 51, 51) !important])[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]56[color=rgb(51, 51, 51) !important]([color=rgb(206, 0, 0) !important]84[color=rgb(51, 51, 51) !important])[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes [color=rgb(0, 78, 208) !important]of [color=rgb(0, 45, 122) !important]data[color=rgb(51, 51, 51) !important]. / y  I- r) r. s4 d0 M# m  y[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes from[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.32[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]icmp_seq[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]1[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ttl[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]1.68[color=rgb(0, 111, 224) !important] ms $ }; Q1 G9 D6 ^) c/ b) k3 F* ][color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes from[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.32[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]icmp_seq[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]2[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ttl[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]0.422[color=rgb(0, 111, 224) !important] ms - \# |' a9 B7 C[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]bytes from[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.32[color=rgb(0, 111, 224) !important]:[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]icmp_seq[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]3[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ttl[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]64[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important]=[color=rgb(206, 0, 0) !important]0.288[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ms % j/ U) Z3 m" [$ `- V[color=rgb(0, 111, 224) !important]^[color=rgb(0, 45, 122) !important]C 5 B% C0 @6 a9 b' t: d4 p/ o8 V[color=rgb(0, 111, 224) !important]--[color=rgb(0, 111, 224) !important]-[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]10.0.0.32[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]ping [color=rgb(0, 45, 122) !important]statistics[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]--[color=rgb(0, 111, 224) !important]- 2 b1 [; N1 r& f* p' M3 T- l* I[color=rgb(206, 0, 0) !important]3[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]packets [color=rgb(0, 45, 122) !important]transmitted[color=rgb(51, 51, 51) !important],[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]3[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]received[color=rgb(51, 51, 51) !important],[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]0[color=rgb(0, 111, 224) !important]%[color=rgb(0, 111, 224) !important] [color=rgb(0, 78, 208) !important]packet [color=rgb(0, 45, 122) !important]loss[color=rgb(51, 51, 51) !important],[color=rgb(0, 111, 224) !important] [color=rgb(128, 0, 128) !important]time[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]2001ms [color=rgb(0, 78, 208) !important]rtt [color=rgb(0, 45, 122) !important]min[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]avg[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]max[color=rgb(0, 111, 224) !important]/[color=rgb(0, 45, 122) !important]mdev[color=rgb(0, 111, 224) !important] [color=rgb(0, 111, 224) !important]=[color=rgb(0, 111, 224) !important] [color=rgb(206, 0, 0) !important]0.288[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]0.796[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]1.680[color=rgb(0, 111, 224) !important]/[color=rgb(206, 0, 0) !important]0.627[color=rgb(0, 111, 224) !important] [color=rgb(0, 45, 122) !important]ms 3 I; v; r2 o0 f+ L

- ]$ M0 W* a& a# X. D' X! l
1 O$ ^' H- X- |$ I