|
|
楼主 |
发表于 2021-6-1 08:51:37
|
显示全部楼层
一、OVS概念
' w( Y# }* N! C# H4 u5 ^使用OpenStack neutron+vxlan部署模式下网络节点OVS网桥作为例子
8 F, ^2 F, k; p" Aovs-vsctl show4 ^/ D3 B8 T3 z0 J; D& a! s* d
e44abab7-2f65-4efd-ab52-36e92d9f0200' W$ S$ `! m, P& e. z
Manager "ptcp:6640:127.0.0.1"0 v5 Z( |7 h* z0 c: V3 Z
is_connected: true
( n# c' K5 Z' x$ L Bridge br-ext+ O( O; j9 l2 K f/ z
Controller "tcp:127.0.0.1:6633"
7 a' r& w4 r8 g6 a& C is_connected: true; }6 {- o9 e! i- S' \ e
fail_mode: secure
5 K4 _8 W- ^( u4 z Port br-ext
% q( ~# K- r1 W# [# o z8 C9 l0 \ Interface br-ext
* |5 f2 ^8 u9 b) p type: internal
, x5 l0 g. r: A/ h5 e Port "eth1" E5 C; P9 y D- P# L2 M
Interface "eth1"
; g9 c. A* }. z Port phy-br-ext
5 Y. @( {. d3 Q5 X Interface phy-br-ext
" |8 e/ L, `9 S5 V$ { type: patch
, }# f- j2 C2 u; s options: {peer=int-br-ext}
# k, P7 h8 k) ]- R# [ Bridge br-tun
3 P+ k) E' j1 A2 z Controller "tcp:127.0.0.1:6633"
8 ?: B$ k5 j. d) a. G% d is_connected: true
! q& \8 ^9 X, J/ H fail_mode: secure+ n& R7 k4 {6 M6 Y$ y3 e7 h4 M# ?
Port br-tun
* Y- W' _2 R$ V3 ^! } Interface br-tun
: ]! T; q; f; V8 w type: internal0 x6 e) _9 R* q" h) q% F& E W
Port patch-int# A+ L) x% S8 Q# E% ]
Interface patch-int; J& n% o) M* { N0 V$ Y* k
type: patch
3 O. o1 _. g) A" G3 { options: {peer=patch-tun}: j4 a' P. ^ [) ]
Port "vxlan-080058ca"
+ x4 v2 z' @$ k Interface "vxlan-080058ca"
, O5 N, p0 q4 d6 M5 N7 Q type: vxlan7 h8 g, k& H# r& P6 K
options: {df_default="true", in_key=flow, local_ip="8.0.88.201", out_key=flow, remote_ip="8.0.88.202"}
7 E9 ^ w2 N( F5 ?, d+ ]0 y% D2 B Bridge br-int) R* Z. y6 `& }5 v* Z9 p
Controller "tcp:127.0.0.1:6633"- S6 [ T; R6 U% T
is_connected: true/ N: J- e5 \4 K' T
fail_mode: secure
5 V7 \) G8 Z4 G7 r Port "qr-11591618-c4"' i3 K3 g, u5 _, [
tag: 3* z3 j: `2 N# |# N; _
Interface "qr-11591618-c4"" Y e N+ w7 b# k0 A
type: internal
+ i! \8 X( `: u6 E Port patch-tun
1 B7 H) W: T+ H! F) ]' b% G Interface patch-tun
% m( j" ]8 R& F) q9 A2 { type: patch
# Z1 I" b% ^8 ? options: {peer=patch-int}
\: b, x3 k' j& D2 r5 y4 D9 I Port int-br-ext
$ u. e u' o8 y Interface int-br-ext: k |' L1 Q: C. `3 P
type: patch& h) Y+ A$ l( u9 W% X
options: {peer=phy-br-ext}' M' e5 _1 U' w8 {
; N6 ]5 @9 c) c3 w
1、Bridge/ a) X8 H9 Z4 R
Bridge代表一个以太网交换机(Switch)，一个主机中可以创建一个或者多个Bridge。Bridge的功能是根据一定规则，把从端口收到的数据包转发到另一个或多个端口，上面例子中有三个Bridge，br-tun，br-int，br-ext3 B: O# s) m& _. N" H
添加一个网桥br0
?' S: L( ?4 W' F! e: Z6 S- Oovs-vsctl add-br br0
2 t& g5 F8 ]& v5 L1
7 }; T6 C# `1 M4 t网桥的fail-mode设置8 S& `5 i5 |- \; s) a5 q; C
standalone：该模式下，没有运行controller的情况下，OVS会自动调整为普通交换机模式，像物理交换机一样，此时可能会有环路产生的问题。如果有controller的情况，OVS会自动变成openflow交换机+ J+ p; r# O4 I" U
secure： 该模式下，无论有没有controller，OVS都会作为openflow交换机运行，也就是所有网桥上的端口，等待controller或者用户添加flow到OVS来进行通信。
% c: O' f& `* v A- |+ j' f! b2、Port
1 _" X3 B! B3 F3 e$ F p9 o7 H端口Port与物理交换机的端口概念类似，Port是OVS Bridge上创建的一个虚拟端口，每个Port都隶属于一个Bridge。Port有以下几种类型' O5 B1 O& ^9 m0 L: {2 L8 h. @
1）Normal
) v8 J- B9 l0 |+ e% o* ]可以把操作系统中已有的网卡(物理网卡em1/eth0,或虚拟机的虚拟网卡tapxxx)挂载到ovs上，ovs会生成一个同名Port处理这块网卡进出的数据包。此时端口类型为Normal。. K% K! j1 |1 M3 C
如下，主机中有一块物理网卡eth1，把其挂载到OVS网桥br-ext上，OVS会自动创建同名Port eth1。# \+ Q: U( t; C7 b- P! q/ E
ovs-vsctl add-port br-ext eth1 //Bridge br-ext中出现port “eth1”# F1 e5 u/ m8 j N$ S2 _
1
0 z3 c- T( G' ~$ m0 n7 _9 ~5 d有一点要注意的是，挂载到OVS上的网卡设备不支持分配IP地址，因此若之前eth1配置有IP地址，挂载到OVS之后IP地址将不可访问。这里的网卡设备不只包括物理网卡，也包括主机上创建的虚拟网卡。9 P/ \' X; u0 S1 d9 W$ Z
2）Internal
' C6 a( J/ }3 l5 s5 CInternal类型是OVS内部创建的虚拟网卡接口，每创建一个Port，OVS会自动创建一个同名接口(Interface)挂载到新创建的Port上。接口的概念下面会提到。
' T6 q( @; O9 O) M- z下面创建一个网桥br0，并创建一个internal类型的Port p02 v* H/ L" y9 h a$ y
ovs-vsctl add-br br01 `) o8 l7 z4 J" p
ovs-vsctl add-port br0 p0 -- set Interface p0 type=internal4 k6 S7 m7 z) @* h, m8 v% s
1
0 k; p, N/ j. [' P4 H) k2
; j8 q# _! x; c; F查看结果6 b& D8 [) I5 y% k `: T
//查看网桥br0' O5 b/ ]) t" W3 x8 j2 B9 k
ovs-vsctl show br0- M9 P' O2 D4 N6 \# G
Bridge "br0"
& k9 m- O5 G8 \% [ fail_mode:secure
# K* S/ Y D6 S, M& v6 Z! Z1 M: P Port "p0"$ A. b6 w0 N/ P4 T- F$ ]" }
Interface "p0"- j K) G$ W" S$ P8 d, m$ S
type:internal
0 |* b3 @* W+ M Port "br0"* ?) L4 {/ ?5 M) s
Interface "br0"0 x5 r! y( U' ]$ i7 k% b' `
type:internal
3 i T) G- q" Q# [+ O; p0 z( B( h
) \6 ~* ]# o* l. i可以看到有两个Port。当ovs创建一个新网桥时，默认会创建一个与网桥同名的Internal Port。在OVS中，只有”internal”类型的设备才支持配置IP地址信息，因此我们可以为br0接口配置一个IP地址，当然p0也可以配置IP地址
$ p, t; q% }9 p$ [+ @8 P/ e) {1 [7 W! X, Oip addr add 192.168.10.11/24 dev br0
6 |3 i' O1 H! bip link set br0 up+ ?5 ~5 I6 |! I; }
//添加默认路由& }% h% W6 e ]4 ^+ l5 R
ip route add default via 192.168.10.1 dev br0
1 j; \6 F$ ?/ Z! b: ?2 }/ e# V2 r' w I' B3 G
上面两种Port类型区别在于，Internal类型会自动创建接口(Interface)，而Normal类型是把主机中已有的网卡接口添加到OVS中
# [( w4 |8 O2 G) X( V" V8 g3）Patch. `5 @. S; d* M2 h
当主机中有多个ovs网桥时，可以使用Patch Port把两个网桥连起来。Patch Port总是成对出现，分别连接在两个网桥上，从一个Patch Port收到的数据包会被转发到另一个Patch Port，类似于Linux系统中的veth。使用Patch连接的两个网桥跟一个网桥没什么区别，OpenStack Neutron中使用到了Patch Port。上面网桥br-ext中的Port phy-br-ext与br-int中的Port int-br-ext是一对Patch Port
0 V' | t6 R4 E# i可以使用ovs-vsctl创建patch设备，如下创建两个网桥br0,br1，然后使用一对Patch Port连接它们" P( Y T% e: I$ m5 \
ovs-vsctl add-br br0( P) m# g1 N* q5 M5 o8 [0 V# s1 M
ovs-vsctl add-br br1. a5 Y3 n/ c7 z$ w3 N
ovs-vsctl \
$ S* y+ v7 \! a-- add-port br0 patch0 --set interface patch0 type=patch options:peer=patch1 \
$ o% r# X8 V% k% B9 t" T3 }-- add-port br1 patch1 --set interface patch1 type=patch options:peer=patch0
. v$ `* F: ]- W$ r( k0 s2 T# E6 p5 k
7 t& X ~0 C" \8 e+ j. t" {+ G结果如下' H( P2 O Y5 N" H2 a4 A4 S1 N
ovs-vsctl show* f+ i7 ~1 t* s) L4 u6 N
Bridge "br0"$ V5 b0 n( k/ O9 O# \. B1 v# j' X3 I: ?
Port "br0"3 p7 i$ `3 H. O" y, m
Interface "br0"+ j) l3 C. C+ K. |, h
type:internal( j$ Z6 E* u( O: t
Port "patch0") V% m2 R* P$ I1 J6 W
Interface "patch0"
' {8 X4 j1 a9 b7 ]; K6 P: b type:patch
3 \( Y! k2 L: s5 y" X k options:{peer="patch1"}( h3 H2 ~1 Z1 o& f
Bridge "br1"
5 q k$ d) Y1 Y) F Port "br1"
1 [' i4 A2 V. G" M: ^% t: ^/ j6 ^ Interface "br1"
1 R, ?% [- S: g0 L type:internal' e/ g, R; J D, ?8 N1 [
Port "patch1"
) e4 A9 Y- g; W9 j Interface "patch1"
) p9 |! M" ]0 y9 A9 K) O type:patch4 y; M4 F! d) |8 f+ n+ L9 h! O
options:{peer="patch0"}0 [+ s# g/ b1 D7 Z3 o: y2 m
$ |* h; C8 |2 z4）Tunnel
+ O! A6 A- [4 j3 x5 D- B# ~OVS中支持添加隧道(Tunnel)端口，常见隧道技术有两种gre或vxlan。隧道技术是在现有的物理网络之上构建一层虚拟网络，上层应用只与虚拟网络相关，以此实现的虚拟网络比物理网络配置更加灵活，并能够实现跨主机的L2通信以及必要的租户隔离。不同隧道技术其大体思路均是将以太网报文使用隧道协议封装，然后使用底层IP网络转发封装后的数据包，其差异性在于选择和构造隧道的协议不同。Tunnel在OpenStack中用作实现大二层网络以及租户隔离，以应对公有云大规模，多租户的复杂网络环境。/ Z- Y" C9 w: d( M
OpenStack是多节点结构，同一子网的虚拟机可能被调度到不同计算节点上，因此需要有隧道技术来保证这些同子网不同节点上的虚拟机能够二层互通，就像他们连接在同一个交换机上，同时也要保证能与其它子网隔离。
: ~, ^0 D- l0 e2 B8 WOVS在计算和网络节点上建立隧道Port来连接各节点上的网桥br-int，这样所有网络和计算节点上的br-int互联形成了一个大的虚拟的跨所有节点的逻辑网桥(内部靠tunnel id或VNI隔离不同子网)，这个逻辑网桥对虚拟机和qrouter是透明的，它们觉得自己连接到了一个大的br-int上。从某个计算节点虚拟机发出的数据包会被封装进隧道通过底层网络传输到目的主机然后解封装。- X" ?! i, p+ y
上面网桥br-tun中Port "vxlan-080058ca"就是一个vxlan类型tunnel端口。下面使用两台主机测试创建vxlan隧道5 L! v6 ] S$ z
//主机192.168.7.21上! n2 T$ F5 V& e) n
ovs-vsctl add-br br-vxlan
8 X% s! P/ x7 y2 T' L. N: @1 @6 ~//主机192.168.7.23上
8 p: `( M9 Z c+ Tovs-vsctl add-br br-vxlan f% x9 _% L$ f+ a: i
//主机192.168.7.21上添加连接到7.23的Tunnel Port
; X k. Z' ^$ B' u& T+ sovs-vsctl add-port br-vxlan tun0 --set Interface tun0 type=vxlan options:remote_ip=192.168.7.23
. C7 q9 [$ e. I//主机192.168.7.23上添加连接到7.21的Tunnel Port
- s8 p: x- N* Y4 K( _ C3 Kovs-vsctl add-port br-vxlan tun0 --set Interface tun0 type=vxlan options:remote_ip=192.168.7.217 ^* ^7 Z. S$ [ s$ U( R% @; H9 h$ f# S
- A" J) @6 ] A0 l; p
然后，两个主机上桥接到br-vxlan的虚拟机就像连接到同一个交换机一样，可以实现跨主机的L2连接，同时又完全与物理网络隔离。9 _! Y4 Q; ~! j
3、Interface
: O7 V: ~+ O& \! DInterface是连接到Port的网络接口设备，是OVS与外部交换数据包的组件，在通常情况下，Port和Interface是一对一的关系，只有在配置Port为 bond模式后，Port和Interface是一对多的关系。这个网络接口设备可能是创建Internal类型Port时OVS自动生成的虚拟网卡，也可能是系统的物理网卡或虚拟网卡(TUN/TAP)挂载在ovs上。 OVS中只有”Internal”类型的网卡接口才支持配置IP地址
6 P0 d% _/ p+ p/ J; o' JInterface是一块网络接口设备，负责接收或发送数据包，Port是OVS网桥上建立的一个虚拟端口，Interface挂载在Port上。一个接口就是操作系统的一块网卡
0 k* Z4 v: p+ R当Open vSwitch创建一个新网桥时，默认会创建一个与网桥同名的Internal Port，同时也创建一个与Port同名的Interface。三位一体，所以操作系统里就多了一块网卡，但是状态是down的。: i# s, m2 _/ a% E/ V6 f
4、Controller
6 c( O3 G+ P2 j' q; z1 |& k: f5 t% LOpenFlow控制器。OVS可以同时接受一个或者多个OpenFlow控制器的管理。主要作用是下发流表(Flow Tables)到OVS，控制OVS数据包转发规则。控制器与OVS通过网络连接，不一定要在同一主机上9 ?: w' Z- r D, ?5 p- c0 ?7 u
可以看到上面实例中三个网桥br-int,br-ext,br-tun都连接到控制器Controller "tcp:127.0.0.1:6633上
3 S5 J- A6 {( u: ] m9 t4 D5、Datapath! T# h9 i% n E' D9 a7 s) U1 z
OVS内核模块，负责执行数据交换。由于流可能非常复杂，对每个进来的数据包都去尝试匹配所有流，效率会非常低，所以有了datapath这个东西。Datapath是流的一个缓存，会把流的执行结果保存起来，当下次遇到匹配到同一条流的数据包，直接通过datapath处理。考虑到转发效率，datapath完全是在内核态实现的，并且默认的超时时间非常短，大概只有3秒左右。
4 G( j- |. d8 e4 X R0 V二、open vswitch常用操作' ?# {1 I& l4 l" A
1、ovs-vsctl- T3 w4 \6 e$ v, T E2 f7 i
ovs-vsctl是一个管理或配置ovs-vswitchd的高级命令行工具，高级是说其操作对用户友好，封装了对数据库的操作细节。它是管理OVS最常用的命令，除了配置flows之外，其它大部分操作比如Bridge/Port/Interface/Controller/Database/Vlan等都可以完成
, R0 W) `9 e3 c- x. W. b添加网桥br0
( w6 R7 I) ~ ]1 ~' |ovs-vsctl add-br br0) D2 p: F$ Y! v P
列出所有网桥
2 Z# P; p h8 o# {7 _ovs-vsctl list-br" u8 ]+ T- Z; z1 N
添加一个Port p1到网桥br0: b) O7 Q7 ]1 f N ]: c+ R/ m
ovs-vsctl add-port br0 p16 B- N; M5 O$ D1 K
查看网络br0上所有Port6 j: ]/ P& `/ I) ?; O
ovs-vsctl list-ports br0$ m+ ~5 s d! T1 Q7 ^+ M
获取br0网桥的Openflow控制器地址，没有控制器则返回空
, A* G. | i' vovs-vsctl get-controller br0
$ Z4 Q- O! s' X# x' B( ~设置OpenFlow控制器，控制器地址为192.168.1.10，端口为6633
" C! |0 g& w& N/ ~! E6 l1 Novs-vsctl set-controller br0 tcp:192.168.1.10:6633
( A2 t4 `8 G+ w& a0 H移除controller
4 ?& A5 Q" P: _& p! |ovs-vsctl del-controller br0
8 W( s9 l- ]- p& v. p删除网桥br0
8 N5 ?/ Z* m+ e# n: Wovs-vsctl del-br br0
3 h7 s e+ e3 m3 G0 R设置端口p1的vlan tag为100; u% b c1 k! _- b' Y+ {
ovs-vsctl set Port p1 tag=100
/ I. @0 S6 j- G' C; v9 z: _设置端口p0类型为internal7 z$ n6 [2 f$ x, u ~
ovs-vsctl set Interface p0 type=internal$ ^. a/ w0 U: T9 Y2 U2 y2 ]# K
添加vlan10端口，并设置vlan tag为10，Port类型为Internal: f2 o$ D8 O4 |9 ^9 m7 [
ovs-vsctl add-port br0 vlan10 tag=10 --set Interface vlan10 type=internal# n- K+ ^- x5 D M" m0 R) O
添加隧道端口gre0，类型为gre，远端IP为1.2.3.4
/ w( B, c0 g. X' a% a9 wovs-vsctl add-port br0 gre0 --set Interface gre0 type=gre options:remote_ip=1.2.3.4
( x& V% L4 ]2 R6 J) N+ d" L
0 N- K# V5 y" N8 q9 B2、ovsdb-tool
2 f3 m H, h9 i \ovsdb-tool是一个专门管理OVS数据库文件的工具，不常用，它不直接与ovsdb-server进程通信% v2 U4 G4 j2 Y0 e9 t% Q
//可以使用此工具创建并初始化database文件! }+ x6 t; Q* Z `
ovsdb-tool create [db][schema]. B! Y( l8 `/ B+ _7 r" |0 E' J" r
//可以使用ovsdb-client get-schema [database]获取某个数据库的schema（json格式）5 S% f: o8 S' u4 _# k
//可以查看数据库更改记录，具体到操作命令，这个比较有用
5 ?6 V1 D% q- a1 T/ E- T* k/ Povsdb-tool show-log -m
4 {/ }5 W; e' S a+ vrecord 48: 2017-01-07 03:34:15.147 "ovs-vsctl: ovs-vsctl --timeout=5 -- --if-exists del-port tapcea211ae-10"
3 k- ]4 N% M0 ] table Interface row "tapcea211ae-10" (151f66b6):- w2 X) _" u$ `+ t0 W
delete row' B* @3 ] i4 ~+ d( t
table Port row "tapcea211ae-10" (cc9898cd):
/ Q& k5 X F* Z' s delete row
" D+ i; i* \0 Y table Bridge row "br-int" (fddd5e27):
& C* `# d+ P. c2 Y$ j table Open_vSwitch row a9fc1666 (a9fc1666):
% A, X4 o4 s+ r& Nrecord 49: 2017-01-07 04:18:23.671 "ovs-vsctl: ovs-vsctl --timeout=5 -- --if-exists del-port tap5b4345ea-d5 -- add-port br-int tap5b4345ea-d5 -- set Interface tap5b4345ea-d5 "external-ids:attached-mac=\"fa:16:3e:50:1b:5b\"" -- set Interface tap5b4345ea-d5 "external-ids:iface-id=\"5b4345ea-d5ea-4285-be99-0e4cadf1600a\"" -- set Interface tap5b4345ea-d5 "external-ids:vm-id=\"0aa2d71e-9b41-4c88-9038-e4d042b6502a\"" -- set Interface tap5b4345ea-d5 external-ids:iface-status=active"
. L( m% d& s8 {2 g table Port insert row "tap5b4345ea-d5" (4befd532):
/ P. A6 i* |6 [5 y0 O9 h table Interface insert row "tap5b4345ea-d5" (b8a5e830):
1 T+ v" f8 B* P( l* ? table Bridge row "br-int" (fddd5e27):
Q3 k$ v2 J$ D/ V( S table Open_vSwitch row a9fc1666 (a9fc1666):4 @) y) L5 |7 y8 V5 V/ t
.../ X) C/ c' ]% a9 k5 Y8 f- j/ w
8 d; L( d$ \% a$ X* `4 ?, y
3、ovsdb-client& J7 `; Q9 ?+ }+ q$ V
ovsdb-client是ovsdb-server进程的命令行工具，主要是从正在运行的ovsdb-server中查询信息，操作的是数据库相关
+ [" o! U( T1 U5 c//列出主机上的所有databases，默认只有一个库Open_vSwitch
9 ?* r4 s6 {% g) ` Qovsdb-client list-dbs
; L/ T; Z! n; T4 B4 Y. i//获取指定数据库的schema信息# F+ V% X, N4 \0 ?# f9 t
ovsdb-client get-schema [DATABASE]* X" a ]7 J9 h
//列出指定数据库的所有表
* G1 M. D W& N/ Z* g! U" j. v+ X- X0 \ovsdb-client list-tables [DATABASE]
9 p& y9 ~ O9 ]3 ^( Q+ p7 K//dump指定数据库所有数据,默认dump所有table数据，如果指定table，只dump指定table数据
5 e# l4 {0 W( N# k$ F- uovsdb-client dump [DATABASE] [TABLE]: ?; u' T' }- E2 ?9 C/ _& n
//监控指定数据库中的指定表记录改变 $ |0 x: J8 s/ s; H0 z; N
ovsdb-client monitor DATABASE TABLE
9 h3 T$ M$ F1 H6 U# U, b- C- b& b/ k4 V$ O/ Q
4、ovs-ofctl
" U1 s% @! k6 K! Aovs-ofctl是专门管理配置OpenFlow交换机的命令行工具，我们可以用它手动配置OVS中的OpenFlow flows，注意其不能操作datapath flows和”hidden” flows
! `$ Z# w9 L7 `6 ]1 b# T//查看br-tun中OpenFlow flows. S5 H, n$ {. }' ~0 F
ovs-ofctl dump-flows br-tun
! |& x, S9 Q: X: Z6 N: F//查看br-tun端口信息
_3 {; A% k' {ovs-ofctl show br-tun
) S/ n' ]3 U, b0 v& M7 }& ^//添加新的flow：对于从端口p0进入交换机的数据包，如果它不包含任何VLAN tag，则自动为它添加VLAN tag 101
0 o2 A, n$ R' Hovs-ofctl add-flow br0 "priority=3,in_port=100,dl_vlan=0xffff,actions=mod_vlan_vid:101,normal"
2 Y# o2 B- T2 r' ^+ t! Z//对于从端口3进入的数据包，若其vlan tag为100，去掉其vlan tag，并从端口1发出 ' w4 Z0 E- r2 V/ V3 C+ j( H5 u
ovs-ofctl add-flow br0 in_port=3,dl_vlan=101,actions=strip_vlan,output:16 E0 E `) j) |4 X
//添加新的flow: 修改从端口p1收到的数据包的源地址为9.181.137.1,show 查看p1端口ID为100
# G/ A4 R' r9 G: s2 E8 T& l! w2 hovs-ofctl add-flow br0 "priority=1 idle_timeout=0,in_port=100,actions=mod_nw_src:9.181.137.1,normal"8 q: V7 q, b; m2 U `
//添加新的flow: 重定向所有的ICMP数据包到端口 p2- Z$ P: E( G/ ~ U
ovs-ofctl add-flow br0 idle_timeout=0,dl_type=0x0800,nw_proto=1,actions=output:102
+ S9 `% n( |! r- Z E9 n//删除编号为 100 的端口上的所有流表项
. s8 S! b' A1 m8 O, r4 H% yovs-ofctl del-flows br0 "in_port=100" + n/ p. r( D0 i- i- M
/ N5 i" E0 l4 C" A; G2 ^
三、使用open vswitch构建虚拟网络
1 B6 M; ` M5 {1、构建物理机和物理机相互连接的网络# q5 w( @# p/ H8 P
在安装open vswitch的主机上有两块网卡，分别为eth0、eth1，把这两块网卡挂接到open vswitch的网桥上，然后有两台物理机host1、host2分别连接到eth0和eth1上，实现这两台物理机的通信。构建结果图如下：
9 l! ~) K- _: p6 l在这里插入图片描述) Z3 u/ ?/ k. K9 o% p. h% p
执行以下命令：1 [8 ?4 h$ @' T0 r( C: g
ovs-vsctl add-br br0 //建立一个名为br0的open vswitch网桥
! q. R' q! N+ b7 K B4 q6 |! Kovs-vsctl add-port br0 eth0 //把eth0挂接到br0中. ~% \' _. e) ^. C" r
ovs-vsctl add-port br0 eth1 //把eth1挂接到br0中' I- g+ p; b. I6 O6 \
& }( N1 ~ ~ R. N) ^8 E5 F2、构建虚拟机与虚拟机相连的网络
# j7 h$ [% B# G在安装open vswitch的主机上安装两个虚拟机，把两个虚拟机的网卡都挂接在open vswitch的网桥上，实现两台虚拟机的通信，构建结果图如下：" {, M/ y( w ]
在这里插入图片描述
# H8 q" S+ B4 y4 O# B. V- o执行以下命令：
! ]( t0 a2 M1 O& ]ovs-vsctl add-br br0 //建立一个名为br0的open vswitch网桥8 @: Z) ?( ], t2 ]
1
( U4 f8 p( n+ Q) \/ W/ }0 v如果使用vbox或virt-manager把bridge设置为br0即可，如果使用cli kvm则先创建两个文件，用于虚拟网卡的添加与删除。假设这两个文件分别为/etc/ovs-ifup和/etc/ovs-ifdown，则向这两个文件中写入以下内容：% a2 i, g9 l$ \. L1 ?! w# ~
/etc/ovs-ifup
8 ?* H: y: S" h D+ ]#!/bin/sh
9 a' F: [- R/ Nswitch='br0'1 ^% L! T$ [6 y1 C6 b7 F# Y2 t2 K
/sbin/ifconfig $1 0.0.0.0 up
( Y! Q: M9 s2 C9 Uovs-vsctl add-port $(switch) $11 K( s$ d8 Z+ u
5 _% O# e% d* _' {( U0 H9 Q
/etc/ovs-ifdown
7 z7 G0 I9 N. O( A#!/bin/sh
2 K, x p, ]% D2 ?( Kswitch='br0'& W$ a" P$ Q4 J
/sbin/ifconfig $1 0.0.0.0 down
9 E) }2 t( `* e$ o; eovs-vsctl del-port $(switch) $1# E; R) R# R! A. f% |; A
' W" K8 I# A: f/ A1 _0 j使用以下命令建立虚拟机
+ q2 t4 G5 F0 l/ Y1 pkvm -m 512 -net nic,macaddr=00:11:22:33:44:55 \
, g, v, M' N- d( Z-net tap,script=/etc/ovs-ifup,downscript=/etc/ovs-ifdown \4 z9 w5 F) v. ]: C! q. U# X8 {. e
-drive file=/path/to/disk-image,boot=on + C% P* g: V$ p6 F
kvm -m 512 -net nic,macaddr=11:22:33:44:55:66 \
6 K; G3 T- @/ Y& o& {# `8 `-net tap,script=/etc/ovs-ifup,downscript=/etc/ovs-ifdown-drive \
& V. |# a9 m2 E- }file=/path/to/disk-image,boot=on' ~9 @4 |' [6 c$ G" W
; M! ~: e* B% B& y+ M3、构建虚拟机与物理机相连的网络
; J$ B- W- ?6 p* q8 D在装有open vswitch的主机上有一个物理网卡eth0，一台主机通过网线和eth0相连，在open vswitch的主机上还装有一台虚拟机，把此虚拟机和连接到eth0的主机挂接到同一个网桥上，实现两者之间的通信，构建结果图如下：
V! m) r" r' g& j在这里插入图片描述3 u) [# v8 ^- d1 ^" Q/ n6 _
执行命令：
9 @ I( S9 M& o* H: U$ X: q& I/ W, |ovs-vsctl add-br br0 //建立一个名为br0的open vswitch网桥) K# Z1 T' W, y* b$ I5 l
ovs-vsctl add-port br0 eth0 //把eth0挂接到br0中5 G- W& C9 S7 P4 k7 n
kvm -m 512 -net nic,macaddr=00.11.22.33.44.55-net \; x1 F3 y0 ~* g0 i9 \+ W$ Z8 G$ v% j
tap,script=/etc/ovs-ifup,downscript=/etc/ovs-ifdown-drive \
6 O+ L! ?8 B# B rfile=/path/to/disk-image,boot=on //ovs-ifup和ovs-ifdown和上一节相同
) K; Z( b: p) d. X" x" e$ _4 o8 Z g# t, t' E1 x- @
4、构建网桥和网桥相连的网络
& M" q; _# e! ^. T0 o" ?: g& J以上操作都是将多个主机（物理机或虚拟机）连接到同一个网桥上，实现它们之间的通信，但是要构建复杂的网络，就需要多个网桥，在装有open vswitch的主机上建立两个网桥，实现它们之间的连接，构建结果如下：
$ b% z. F: [. A' ?) m6 ~在这里插入图片描述
- k7 J* E5 S: I: k, u执行命令： b# Q; _9 ^& {# J3 @
ovs-vsctl add-br br0 //添加一个名为br0的网桥
& k1 B) `( A2 m- [. [ovs-vsctl add-br br1 //添加一个名为br1的网桥
9 `0 ]4 h/ v5 m) O6 [3 s4 ~) Fovs-vsctl add-port br0 patch-to-br1 //为br0添加一个虚拟端口
) D1 x4 ]2 u C# U/ Z" P, novs-vsctl set interface patch-to-br1 type=patch //把patch-to-br1的类型设置为patch
5 P6 _$ J( }2 j7 kovs-vsctl set interface patch-to-br1 options:peer=patch-to-br0 //把对端网桥和此网桥连接的端口名称设置为patch-to-br0
8 p/ ^$ ~7 D. b& o' E8 \9 J/ Sovs-vsctl add-port br1 patch-to-br0 //为br0添加一个虚拟端口
+ S- D! I K- @3 d/ z1 Fovs-vsctl set interface patch-to-br0 type=patch //把patch-to-br0的类型设置为patch2 {; Q' ^9 f) D
ovs-vsctl set interface patch-to-br0 options:peer=patch-to-br1 //把对端网桥和此网桥连接的端口名称设置为patch-to-br1/ ?3 B/ o3 o6 _( f" }- |3 T B
1
: x1 h1 Y4 Y" x2 ~0 R E+ v+ u) O$ M( u ~0 a! O
5、在不同的主机之间构建网桥之间的连接
1 l3 |9 R/ o/ u2 d5 U0 I0 S在两台机器上分别安装上open vswitch并创建网桥，分别为两个网桥添加物理网卡，然后通过网线连接两个网桥，实现两个网桥之间的互通。构建结果图如下：
! }) a0 q. D; Z; G7 x' S) d/ ^在这里插入图片描述% Q- J8 o$ ^3 R9 V. }
执行命令：
9 r# @) e Q! F$ H( M, b7 bhost14 u- f9 {0 T6 z' `7 T; l4 x
ovs-vsctl add-br br0 //添加名为br0的网桥: r2 u5 \, T% f( P9 ^% L. n
ovs-vsctl add-port br0 eth0 //把eth0挂接到br0上* |+ J& V$ e( q
6 d) h1 w2 ^( u- K# f
" G% w) ?5 m- E$ I+ Z% v
host2
5 W$ }( z, e5 n0 ]: @/ Y* Povs-vsctl add-br br0 //添加名为br0的网桥
# p& Q9 H$ {& J9 e, W. Vovs-vsctl add-port br0 eth0 //把eth0挂接到br0上( U" R8 ^! P! r) s# u$ K, H5 l
8 o. I7 k+ W0 @# D# ~9 D( Q
然后使用网线把host1的eth0和host2的eth0相连即可。
5 o, S2 m- W& m* R! t使用上边五种方法的组合就可以构建出各种复杂的网络，为各种实验提供网络的支持。+ r3 S' |. k; \4 U/ C7 j
四、OVS中的各种流（flows）9 u6 c( c! r& d& l$ T4 g+ p
flows是OVS进行数据转发策略控制的核心数据结构，区别于Linux Bridge是个单纯基于MAC地址学习的二层交换机，flows的存在使OVS作为一款SDN交换机成为云平台网络虚拟机化主要组件; E! i2 o2 a! _. p$ o
OVS中有多种flows存在，用于不同目的，但最主要的还是OpenFlow flows这种，文中未明确说明的flows都是指OpenFlow flows
) ]7 o5 g$ d9 v% T0 y0 x& D1、OpenFlow flows, V5 b+ q3 m- q7 \4 \, P9 b
OVS中最重要的一种flows，Controller控制器下发的就是这种flows，OVS架构部分已经简单介绍过，关于OpenFlow 的具体使用，会在另一篇文章中说明. \3 G1 M! ?9 N! k P! L
2、“hidden” flows
) m9 w; V1 q1 U F; k: V9 o, FOVS在使用OpenFlow flows时，需要与OpenFlow控制器建立TCP连接，若此TCP连接不依赖OVS，即没有OVS依然可以建立连接，此时就是out-of-band control模式，这种模式下不需要"hidden" flows。
1 U2 r/ }( T) S但是在in-band control模式下，TCP连接的建立依赖OVS控制的网络，但此时OVS依赖OpenFLow控制器下发的flows才能正常工作，没法建立TCP连接也就无法下发flows，这就产生矛盾了，因此需要存在一些"hidden" flows，这些"hidden" flows保证了TCP连接能够正常建立。关于in-band control详细介绍，参考OVS官方文档Design Decisions In Open vSwitch 中In-Band Control部分，“hidden” flows优先级高于OpenFlow flows，它们不需要手动设置。可以使用ovs-appctl查看这些flows，下面命令输出内容包括OpenFlow flows,"hidden" flows, C. I2 x6 c3 w/ J5 o+ e- ?- r
ovs-appctl bridge/dump-flows<br>& A* x3 \2 ~* o4 R. Y% z( A
2 v# A, z* J A. r. C" d
3、datapath flows
' B/ ^* M' Y$ n1 Y2 Zdatapath flows是datapath内核模块维护的flows，由内核模块维护意味着我们并不需要去修改管理它。与OpenFlow flows不同的是，它不支持优先级，并且只有一个表，这些特点使它非常适合做缓存。与OpenFlow一样的是它支持通配符，也支持指令集(多个action)+ z0 P$ _: u0 X$ @8 C) B
datapath flows可以来自用户空间ovs-vswitchd缓存，也可以是datapath内核模块进行MAC地址学习到的flows，这取决与OVS是作为SDN交换机，还是像Linux Bridge那样只是一个简单基于MAC地址学习的二层交换机+ c0 p7 }. h; \
4、管理flows的命令行工具9 ]" J6 v: m& n/ A* Y
我们可以修改和配置的是OpenFlow flows。datapath flow和"hidden" flows由OVS自身管理，我们不必去修改它。当然，调试场景下还是可以使用工具修改的# Q4 W l W' q9 r! L4 {* ^
介绍下上面三种flows管理工具，不具体说明，具体使用可以查看相关man手册+ T' F# A* y& c
ovs-ofctl dump-flows <br> 打印指定网桥内的所有OpenFlow flows，可以存在多个流表(flow tables)，按表顺序显示。不包括"hidden" flows。这是最常用的查看flows命令，当然这条命令对所有OpenFlow交换机都有效，不单单是OVS
% s& P1 y1 N2 m; novs-appctl bridge/dump-flows <br> 打印指定网桥内所有OpenFlow flows，包括"hidden" flows，in-band control模式下排错可以用到
2 P. q9 j( o! _$ @4 d. `! T9 g, Qovs-dpctl dump-flows [dp] 打印内核模块中datapath flows，[dp]可以省略，默认主机中只有一个datapath system@ovs-system man手册可以找到非常详细的用法说明，注意ovs-ofctl管理的是OpenFlow flows
7 w7 s7 T2 [/ F5 E) ?, k' n! g* F |
|
发表于 2021-5-31 12:38:02