Neutron Linux Bridge + VLAN/VXLAN 虚拟网络

admin

修改配置文件
controller节点

) J9 v. k+ ]! q/etc/neutron/plugins/ml2/ml2_conf.ini

[ml2]
: _" ?: q4 s! V0 j" j  u! etype_drivers = flat,vxlan
tenant_network_types = vxlan
mechanism_drivers = openvswitch,l2population
extension_drivers = port_security
, x0 h& I1 w; D! o7 H
[ml2_type_vxlan]
+ X" E4 k$ Y+ x/ M& l6 p) E* r5 }vni_ranges = 1001:2000

[securitygroup]
& h; d5 x. ~5 cenable_ipset = true

/etc/neutron/l3_agent.ini
- E4 u+ Z7 s9 m/ G4 a4 A$ I9 z
* L3 i: }+ {4 ^) y! K6 _[DEFAULT]
; A" b! g. g& Rexternal_network_bridge = br-ex
interface_driver = neutron.agent.linux.interface.OVSInterfaceDriver
# b+ V9 G8 k8 R2 Z9 |% m5 r
/etc/neutron/dhcp_agent.ini
9 H- c5 l( `7 `: X, e. L4 B
[DEFAULT]
! F4 P3 e+ L( b/ \interface_driver = neutron.agent.linux.interface.OVSInterfaceDriver
dhcp_driver = neutron.agent.linux.dhcp.Dnsmasq
enable_isolated_metadata = True
; b" ]* {/ n) U
/etc/neutron/plugins/ml2/openvswitch_agent.ini

$ @( ^6 Q: u! p5 b9 ?[ovs]
bridge_mappings =
tunnel_bridge = br-tun
local_ip = 10.10.10.10
- v. z$ V% L" v; j! s8 n4 u
[agent]
3 w. t) x: P/ D% D) ~& V- otunnel_types = vxlan
+ b4 y( z9 f3 r' @- Gl2_population = True

[securitygroup]
5 O; x  g( ^* B  d' w1 ifirewall_driver = neutron.agent.linux.iptables_firewall.OVSHybridIptablesFirewallDriver
enable_security_group = true
# `* _1 x3 g7 Y1 E' s& x& i/ A3 l
6 D% U) W8 S4 J& wcompute1节点

& z. _6 R- l& b- e/ u/etc/neutron/plugins/ml2/openvswitch_agent.ini
" V- p2 n3 b; X) j9 U/ ?$ O
. N) B  n) Y- ]$ q3 t! e[ovs]
bridge_mappings =
7 v4 U) T1 W; L4 }tunnel_bridge = br-tun
local_ip = 10.10.10.11

4 T0 K3 _/ S) x2 t[agent]
, q# o- u( M- l- Etunnel_types = vxlan
l2_population = True
" A3 H) ^9 |3 ~; B
[securitygroup]
2 e1 H- j2 p1 _0 K* `firewall_driver = neutron.agent.linux.iptables_firewall.OVSHybridIptablesFirewallDriver
enable_security_group = true

2 H" o) v# i% b1 @- C3 D" A* jcompute2节点

% O. v- n0 G& W% m7 O) J[ovs]
0 _6 n5 r3 p: Q8 Ibridge_mappings =
3 K0 A. M+ R) x1 N' B7 z. Ytunnel_bridge = br-tun
local_ip = 10.10.10.12

[agent]
tunnel_types = vxlan
l2_population = True
3 q2 [, Q' I) X8 N+ O
[securitygroup]
firewall_driver = neutron.agent.linux.iptables_firewall.OVSHybridIptablesFirewallDriver
enable_security_group = true
7 T" N. T' D% m/ e
6 N. s, @5 e! ]2 J! ?/ ]5 T重启网络相关服务。
5 g) A5 J& y8 X. V/ d/ d
再次查看网络服务信息
$ D9 r2 f- h/ J1 F! H: e3 P————————————————
( _; E* ]8 X, D* q0 `/ j

admin

虽然大部分的OpenStack 部署环境中，都会使用 Open vSwitch 来作为虚拟交换机来实现二层网络功能，但是Neutron 仍然支持使用 Linux bridge 作为虚拟交换机来实现二层网络。本文就此做些分析和说明。
同时要指出的是，OpenStack 官方已经把 linux bridge 实现标记为 legacy 的了，文档从 2016 年后也没怎么更新了。这是因为，linux bridge 和 OVS 相比，只支持基本的网络功能即二层交换，但不支持VLAN 标签和隧道。因此，linux bridge agent 利用linux 内核功能（VLAN 子接口和 VXLAN 接口）来实现VLAN 标签和隧道。

1. 测试环境
1 u# K3 i* N% I" v  {2 R, y* |; [以下面的环境为例（网络节点上）：
（1）linux bridge

$ D( Z. }/ A( Q" E2 t4 ]2 w6 R4 Lroot@controller:/home/sammy# brctl show
2 j: \' ]3 I) x5 Y0 H  xbridge name     bridge id               STP enabled     interfaces
8 y' ^" |: Y: L5 ]brq85925305-b4          8000.563534c8d02d       no              tap0bb8efeb-10
                                                        tap798c87d1-a2
                                                        vxlan-25
) J6 e/ t5 G8 b& }5 D& g* zbrq96609bfa-0e          8000.0050569c4d94       no              ens224
; ]) P7 a+ \8 ?7 E% P                                                        tap60dbdc2f-a0
: B# f& C) x; D& G: }brq971ffda2-e5          8000.a6acb08e4fd6       no              tapb1eaae00-e5
                                                        tapf70543dd-0f
                                                        vxlan-10
5 G& I% O. Q! V6 p, {
8 X( |3 w1 X8 X& E: T6 J（2）OpenStack 网络和 network namespace：
$ v! s5 |/ Y5 L
/ L6 s: G$ j5 w' j) y- c" ]7 aroot@controller:/home/sammy# neutron net-list
+--------------------------------------+---------+-----------------------------------------------------+
$ `8 h$ W8 X, R5 c3 v4 `5 d| id                                   | name    | subnets                                             |
+--------------------------------------+---------+-----------------------------------------------------+
2 W0 ~8 \6 X! r# {! @6 j| 96609bfa-0e22-4bb7-8dba-6ef532ea6076 | extnet  | afa7d205-3026-439f-aca7-295a9f9b2a71 10.62.227.0/24 |
& \% x/ f' \  L, A| 971ffda2-e567-40a0-a2c8-b31a577fd4d3 | appnet  | 4c68eacb-bf3e-408a-a941-94e93eddb22b 11.0.0.0/24    |
|                                      |         | 3d596991-de8f-4ae4-8913-89426a8abbd7 10.0.0.0/24    |
  X, f) S% }  n% d. K& L| 85925305-b477-4cc6-9654-67d9bf1e7cd8 | appnet2 | 4575c7f1-7f08-4917-9904-ec65af38619b 20.0.0.0/24    |
2 N" J& H7 S' |$ L+--------------------------------------+---------+-----------------------------------------------------+
root@controller:/home/sammy# ip netns
% Q  n6 H7 l$ S% R% ?" m: N$ i% Zqdhcp-85925305-b477-4cc6-9654-67d9bf1e7cd8 (id: 2)
. W7 T3 ]+ Q" @1 `8 fqdhcp-971ffda2-e567-40a0-a2c8-b31a577fd4d3 (id: 1)
. ^8 }. ~' ^# }qrouter-39a77439-8a28-49c1-bf97-ac931510631b (id: 0)

（3）示意图：

- f7 T0 ~  \! j& G（4）说明：
•        qdhcp 和 qrouter 都是 linux network namespace 实例
•        qdhcp network namespace 的数量等于启用了 DHCP 的 Neutron network 的数量。
o        当一个 network 中存在至少一个 subnet 启用了 DHCP 之后，会有一个 qdhcp network namespace 被创建出来；
o        当一个 network 中多个 subnet 启用了 DHCP 时，它们共用一个 qdhcp，以及 dnsmasq。
o        其 name 使用 network id，比如 qdhcp-85925305-b477-4cc6-9654-67d9bf1e7cd8
•        qrouter network namespace 的数目等于 router 的数目，也就是说，系统中一共有几个 router，那么就存在几个 qrouter network namespace
; R6 [: a" `/ y- Q) r3 K•        brq linux bridge 的数目等于 neutron network 的数目，其 name 是 network id 的前几位，比如 brq96609bfa-0e
8 E& x, v; P% H; b+ M. e. r•        一个 network 的 qdhcp network namespace 和其 brq linux bridge 一定有连接
•        qrouter 之内的 network interface 分两种，一种是 qr 开头的，每个连接到 router 之上的 subnet 都有一个；还有一个是 qg，每个连接到 router 的 external subnetwork 有一个
•        qrouter 的每个 network interface 都通过 veth 连接到所在网络的 qbr linux bridge 上
/ n# l% |5 g2 R, `8 U•        qbr linux bridge 连连接两种物理设备，一种是 vxlan interface，每个 tenant network 有一个，另一种是在 physical network 对应的物理网卡上创建的子接口（sub-interface）
' F- n5 K2 n! E. h, v6 `, j( O) [•        对于 physical network 的 qbr 来说，用户可以指定它，并且在linuxbridge_agent.ini 中通过 bridge_mappings = List of <physical_network>:<physical_bridge> 进行配置；也可以不指定，此时 agent 会创建它。当同时配置了 physical bridge 和 physical interface 时，前者优先。
: k; g- Q( i9 Q: A/ k* ]7 F+ U如果 external network 中有多个 subnet 的话：
6 e* m8 ~6 M& Q0 S2 C* I2 K% g3 W（1）每个 qrouter 只允许有一个 External Gateway，也就是说它只有一个 qg network interface。当 external network 添加多个 subnet 之后，只有第一个被当作 external subnet，其余的都会被当作 internal subnet。
（2）在 qrouter 的路由表之中，
) ]+ C; }; F8 J8 m1 O5 w) e
7 [$ X) V+ y0 B& {( L2 d% groot@controller:/home/sammy# ip netns exec qrouter-39a77439-8a28-49c1-bf97-ac931510631b route
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
default         10.62.227.1     0.0.0.0         UG    0      0        0 qg-e09fce07-cd
10.0.0.0        *               255.255.255.0   U     0      0        0 qr-b1eaae00-e5
10.62.227.0     *               255.255.255.0   U     0      0        0 qg-e09fce07-cd
; N- o; }+ Q7 m! u4 L6 M  Q10.62.228.0     *               255.255.255.0   U     0      0        0 qg-e09fce07-cd
7 E1 W$ S+ ~: g  n3 @10.62.228.0     *               255.255.255.0   U     0      0        0 qr-124ff148-b7
' L+ v. W$ h, P4 W11.0.0.0        *               255.255.255.0   U     0      0        0 qr-16d9b0cc-38
20.0.0.0        *               255.255.255.0   U     0      0        0 qr-0bb8efeb-10

. {" G* V' M- m
2. linux-bridge-agent 工作过程分析
% a' b; p9 m* @* e' V- S（1）linuxbridge-agent 会启动一个循环，不断扫描上面红框中的 tap 设备

    def daemon_loop(self):
...
: @0 {" F1 s. g) c- D. C        while True:
            start = time.time()
: D: G! R9 s8 x7 g* s& U! N% L% S. ..
7 n/ G% l# t, x: t7 G: G
            device_info = self.scan_devices(previous=device_info, sync=sync)
4 Y& |; r  c( v6 ?9 p4 u            sync = False

9 K& i0 o. Y0 |4 a2 N, x            if (self._device_info_has_changes(device_info)
                or self.sg_agent.firewall_refresh_needed()):
                LOG.debug("Agent loop found changes! %s", device_info)
) i8 L  U9 [; y- ^( [- v                try:
                    sync = self.process_network_devices(device_info)
5 R4 z$ ^5 E% @8 ~                except Exception:
# ]7 e) M) H2 @: a  w6 r6 P3 i                    LOG.exception(_LE("Error in agent loop. Devices info: %s"),
) q2 L% j# h* h- G; w2 w                                  device_info)
% P, c- u1 m8 F1 f" d' p! e                    sync = True

% s+ T( D. b9 ~, j+ C这是它首先找到的 devices：
(Pdb) p bridge_lib.get_bridge_names()
( m. B2 o8 ~/ z; ?['brq85925305-b4', 'virbr0', 'brq971ffda2-e5', 'virbr0-nic', 'tapb1eaae00-e5', 'tapf70543dd-0f', 'vxlan-25', 'vxlan-10', 'tap0bb8efeb-10', 'lo', 'tap60dbdc2f-a0', 'tap795e6e86-94', 'ens224', 'ens192', 'ens160', 'tap798c87d1-a2']
然后过滤出 tap 设备：
, K# ?+ Z3 o2 e' n( G4 Z/ Tget_all_devices()->set(['tap0bb8efeb-10', 'tap60dbdc2f-a0', 'tap795e6e86-94', 'tap798c87d1-a2', 'tapb1eaae00-e5', 'tapf70543dd-0f'])
（2）根据 previous 中保存的历史数据，再接合服务器端和本地更新时间，计算出需要更新的tap设备列表：
{'current': set(['tapf70543dd-0f', 'tap60dbdc2f-a0', 'tapb1eaae00-e5', 'tap795e6e86-94', 'tap0bb8efeb-10', 'tap798c87d1-a2']), 'timestamps': {'tapf70543dd-0f': 1476956816.672447, 'tap60dbdc2f-a0': None, 'tapb1eaae00-e5': 1476956816.672447, 'tap795e6e86-94': None, 'tap0bb8efeb-10': 1476689797.1378036, 'tap798c87d1-a2': 1476689701.1349163}, 'removed': set([]), 'added': set(['tapf70543dd-0f', 'tap60dbdc2f-a0', 'tapb1eaae00-e5', 'tap795e6e86-94', 'tap0bb8efeb-10', 'tap798c87d1-a2']), 'updated': set([])}
  (3) 通过 RPC 获取 tap 设备的详细信息

(Pdb) p devices
$ T8 n/ w8 D+ H9 |set(['tapf70543dd-0f', 'tap60dbdc2f-a0', 'tapb1eaae00-e5', 'tap795e6e86-94', 'tap798c87d1-a2', 'tap0bb8efeb-10'])
1 r0 L2 B0 H1 a* y. T: p* V5 ?

devices_details_list = self.plugin_rpc.get_devices_details_list

(Pdb) p devices_details_list
[{u'profile': {}, u'network_qos_policy_id': None, u'qos_policy_id': None, u'allowed_address_pairs': [], u'admin_state_up': True, u'network_id': u'971ffda2-e567-40a0-a2c8-b31a577fd4d3', u'segmentation_id': 10, u'device_owner': u'network:dhcp', u'physical_network': None, u'mac_address': u'fa:16:3e:5c:bf:11', u'device': u'tapf70543dd-0f', u'port_security_enabled': False, u'port_id': u'f70543dd-0f1b-4e1d-93c7-33f4f3d7a709', u'fixed_ips': [{u'subnet_id': u'3d596991-de8f-4ae4-8913-89426a8abbd7', u'ip_address': u'10.0.0.10'}], u'network_type': u'vxlan', u'security_groups': []}, {u'profile': {}, u'network_qos_policy_id': None, u'qos_policy_id': None, u'allowed_address_pairs': [], u'admin_state_up': True, u'network_id': u'96609bfa-0e22-4bb7-8dba-6ef532ea6076', u'segmentation_id': None, u'device_owner': u'network:router_gateway', u'physical_network': u'provider', u'mac_address': u'fa:16:3e:77:78:86', u'device': u'tap60dbdc2f-a0', u'port_security_enabled': False, u'port_id': u'60dbdc2f-a01b-446d-bb5b-26ffac19a045', u'fixed_ips': [{u'subnet_id': u'afa7d205-3026-439f-aca7-295a9f9b2a71', u'ip_address': u'10.62.227.151'}], u'network_type': u'flat', u'security_groups': []}, {u'profile': {}, u'network_qos_policy_id': None, u'qos_policy_id': None, u'allowed_address_pairs': [], u'admin_state_up': True, u'network_id': u'971ffda2-e567-40a0-a2c8-b31a577fd4d3', u'segmentation_id': 10, u'device_owner': u'network:router_interface', u'physical_network': None, u'mac_address': u'fa:16:3e:81:1b:37', u'device': u'tapb1eaae00-e5', u'port_security_enabled': False, u'port_id': u'b1eaae00-e504-41f8-93a4-643687155bea', u'fixed_ips': [{u'subnet_id': u'3d596991-de8f-4ae4-8913-89426a8abbd7', u'ip_address': u'10.0.0.1'}], u'network_type': u'vxlan', u'security_groups': []}, {u'profile': {}, u'network_qos_policy_id': None, u'qos_policy_id': None, u'allowed_address_pairs': [], u'admin_state_up': True, u'network_id': u'96609bfa-0e22-4bb7-8dba-6ef532ea6076', u'segmentation_id': None, u'device_owner': u'network:dhcp', u'physical_network': u'provider', u'mac_address': u'fa:16:3e:5f:94:7d', u'device': u'tap795e6e86-94', u'port_security_enabled': False, u'port_id': u'795e6e86-94af-4b72-ae1a-5a324a017774', u'fixed_ips': [{u'subnet_id': u'afa7d205-3026-439f-aca7-295a9f9b2a71', u'ip_address': u'10.62.227.150'}], u'network_type': u'flat', u'security_groups': []}, {u'profile': {}, u'network_qos_policy_id': None, u'qos_policy_id': None, u'allowed_address_pairs': [], u'admin_state_up': True, u'network_id': u'85925305-b477-4cc6-9654-67d9bf1e7cd8', u'segmentation_id': 25, u'device_owner': u'network:dhcp', u'physical_network': None, u'mac_address': u'fa:16:3e:25:27:99', u'device': u'tap798c87d1-a2', u'port_security_enabled': False, u'port_id': u'798c87d1-a2d8-4df7-b7fc-5ab30918a0de', u'fixed_ips': [{u'subnet_id': u'4575c7f1-7f08-4917-9904-ec65af38619b', u'ip_address': u'20.0.0.100'}], u'network_type': u'vxlan', u'security_groups': []}, {u'profile': {}, u'network_qos_policy_id': None, u'qos_policy_id': None, u'allowed_address_pairs': [], u'admin_state_up': True, u'network_id': u'85925305-b477-4cc6-9654-67d9bf1e7cd8', u'segmentation_id': 25, u'device_owner': u'network:router_interface', u'physical_network': None, u'mac_address': u'fa:16:3e:9f:18:a9', u'device': u'tap0bb8efeb-10', u'port_security_enabled': False, u'port_id': u'0bb8efeb-108f-409a-82e7-c4c20f0d4f69', u'fixed_ips': [{u'subnet_id': u'4575c7f1-7f08-4917-9904-ec65af38619b', u'ip_address': u'20.0.0.1'}], u'network_type': u'vxlan', u'security_groups': []}]

(4) 对需要处理的设备，调用 self.process_network_devices(device_info) 函数进行处理
! o6 H1 A+ ]9 S. \/ |) U. i# Q(5). 调用 plug_interface
interface_plugged = self.mgr.plug_interface(network_id, segment,device, device_details['device_owner'])
+ ?$ H3 Q% ]4 s$ @（6）. 需要的话，使用已经配置的或者新建 linux brige，并将 physical interface 设备加入其中
9 Y& _. k0 v. ?3 J7 D$ o/ Q1 }6 Xbridge_name = self.get_existing_bridge_name(physical_network) #获取为 physical network 配置的 linux bridge
$ |. Z4 ]2 P* B; m8 t6 kbridge_name = self.get_bridge_name(network_id) #或者根据 network id 生成 bridge name
4 l8 X' W# A: j: U  n# M) l（7）.根据不同的网络类型，分别处理 vxlan bridge，flat bridge 和 vlan bridge
0 c$ O4 k& l6 p: _* X: l& w. l6 j6 @
0 l) h, L& F' S2 _" ?: C, I, h; R    def ensure_physical_in_bridge(self, network_id,
6 H2 P+ h+ D4 p. {! I                                  network_type,
                                  physical_network,
: e* Y: D8 h$ N3 @                                  segmentation_id):
        if network_type == p_const.TYPE_VXLAN:
5 [6 K) t8 ^" c) Q  t. w9 L+ Y6 U/ l            if self.vxlan_mode == lconst.VXLAN_NONE:
                LOG.error(_LE("Unable to add vxlan interface for network %s"),
% y/ ]1 D8 ]+ q7 @; P; T                          network_id)
3 P& y3 m4 g* k. l                return
            return self.ensure_vxlan_bridge(network_id, segmentation_id)

. M$ j- z2 K" g- z        # NOTE(nick-ma-z): Obtain mappings of physical bridge and interfaces
        physical_bridge = self.get_existing_bridge_name(physical_network)
        physical_interface = self.interface_mappings.get(physical_network)
3 z( M' [  Y. |0 K1 t0 f        if not physical_bridge and not physical_interface:
            LOG.error(_LE("No bridge or interface mappings"
& m9 h% w' i4 q9 R) @, X                          " for physical network %s"),
0 {8 {* f5 m+ c                      physical_network)
            return
        if network_type == p_const.TYPE_FLAT:
- T3 a- D/ G: G$ X$ s            return self.ensure_flat_bridge(network_id, physical_bridge,
                                           physical_interface)
8 E$ m- X+ W. z' ^+ a# d        elif network_type == p_const.TYPE_VLAN:
            return self.ensure_vlan_bridge(network_id, physical_bridge,
4 \" I6 t3 i2 V5 h$ a  y                                           physical_interface,
" _( \0 f! p- P7 D( e                                           segmentation_id)
, v+ }( x$ }/ `5 g5 A
% @* S. D7 _( W4 Z9 v: M对于 flat 类型的网络，调用 ensure_physical_in_bridge
1 t( C" F5 r' P7 p8 Q; l4 rdef ensure_physical_in_bridge(self, network_id,network_type,physical_network,segmentation_id)
, N% \% R& R% U! m* n6 @+ A  if network_type == p_const.TYPE_FLAT:
/ l% o, ]& F1 w    return self.ensure_flat_bridge(network_id, physical_bridge,physical_interface)
如果有配置 physical bridge 的话，使用它；否则创建 bridge，并将物理网卡配置的 ip 地址和 gateway 从网卡挪到 linux bridge
! x( Y+ C$ P( B, ?% P: @
; w, W" L: L5 j& {; Rdef ensure_flat_bridge(self, network_id, phy_bridge_name,physical_interface):
  """Create a non-vlan bridge unless it already exists."""
  if phy_bridge_name:
, V' k: B( W/ E4 A0 G' I6 E    return self.ensure_bridge(phy_bridge_name) #获取预先配置好的 linux bridge
  else:
    bridge_name = self.get_bridge_name(network_id)
    ips, gateway = self.get_interface_details(physical_interface)
! T1 v7 _4 q& N* B% q    if self.ensure_bridge(bridge_name, physical_interface, ips,gateway): #创建 bridge
: M% _7 k3 O0 q    return physical_interface

对于 vxlan 类型的 network，需要创建 vxlan interface

    def ensure_vxlan_bridge(self, network_id, segmentation_id):
, {3 l$ _+ B7 s. m) g" s0 n* X  x        """Create a vxlan and bridge unless they already exist."""
        interface = self.ensure_vxlan(segmentation_id)
. g# z. c) R0 f        if not interface:
4 j& W: U8 t/ f$ G            LOG.error(_LE("Failed creating vxlan interface for "
                          "%(segmentation_id)s"),
* E4 S" f) w$ x- F7 J9 c3 m                      {segmentation_id: segmentation_id})
! a9 x6 f) }8 y5 z7 M. n' J7 H. F            return
        bridge_name = self.get_bridge_name(network_id)
' N$ _- z7 Q, u        self.ensure_bridge(bridge_name, interface)
2 Z6 W) h: O- M1 q7 s        return interface
/ ^  Z% s6 M& x! S4 u
创建 vxlan interface：
/ C& o0 ^) Y5 O& B
    def ensure_vxlan(self, segmentation_id):
" {: s8 j  J/ F, m* ?* p1 {5 d1 J- e        """Create a vxlan unless it already exists."""
        interface = self.get_vxlan_device_name(segmentation_id)
        if not ip_lib.device_exists(interface):
            LOG.debug("Creating vxlan interface %(interface)s for "
                      "VNI %(segmentation_id)s",
                      {'interface': interface,
& h$ p3 V( X  B$ {! |                       'segmentation_id': segmentation_id})
, m& ^7 U4 ^/ ~/ t            args = {'dev': self.local_int}
            if self.vxlan_mode == lconst.VXLAN_MCAST:
                args['group'] = self.get_vxlan_group(segmentation_id)
2 m* }* V  T5 |+ x- i  E            if cfg.CONF.VXLAN.ttl:
" H9 E- p  W2 C+ ^; k                args['ttl'] = cfg.CONF.VXLAN.ttl
            if cfg.CONF.VXLAN.tos:
                args['tos'] = cfg.CONF.VXLAN.tos
            if cfg.CONF.VXLAN.l2_population:
9 W5 Y0 A3 C) N+ M, B; C: l                args['proxy'] = cfg.CONF.VXLAN.arp_responder
            try:
& C. P. `" }; }- V, G                int_vxlan = self.ip.add_vxlan(interface, segmentation_id,
                                              **args)
! F3 E7 m4 _  u% ?" c- R
4 h3 `0 L" G. U' |: K（8）. 将 tap 设备加入到 linux bridge 中
bridge_lib.BridgeDevice(bridge_name).addif(tap_device_name)
（9）. 如果将一个 tap 设备被删除，那么 linux-bridge-agent 会发现：
2016-10-26 10:29:58.347 30219 INFO neutron.agent.securitygroups_rpc [req-e3264065-6414-4b5a-8d2b-dfafad6fdde8 - - - - -] Remove device filter for set(['tap60dbdc2f-a0'])
2016-10-26 10:29:58.433 30219 INFO neutron.plugins.ml2.drivers.agent._common_agent [req-e3264065-6414-4b5a-8d2b-dfafad6fdde8 - - - - -] Attachment tap60dbdc2f-a0 removed
$ p0 L( T1 Q) `. m4 `2016-10-26 10:29:58.536 30219 INFO neutron.plugins.ml2.drivers.agent._common_agent [req-e3264065-6414-4b5a-8d2b-dfafad6fdde8 - - - - -] Port tap60dbdc2f-a0 updated.
2 g+ Y- a; Z  f4 B5 h# K$ ]5 l3. 关于上述工作过程的简单结论
6 `  V* y8 l! L0 k# l/ N3.1 简单结论
( T9 e$ ~+ L, ?$ u& X1.        l3agent 和 dhcpagent 创建 network namespace 时创建 tap 设备，和 network namespace 中的 interface 是一对 veth pair。当手工删除 tap 设备时，相应的 veth endpoint 也会被删除。
2.        linuxbridgeagent 不断扫描服务器端和本地的 tap 设备
3.        linuxbridgeagent 获取需要增加和修改的tap设备列表
4.        对于需要增加的 tap 设备，获取其详细信息，主要是 network_id，network_type，physical_network，segmentation_id，device_owner 等，然后根据这些信息，创建 linux bridge，并加入所需要的 interface
5.        创建所需要的 linux bridge，并将 physical interface （provider network 的 physical interface 或者 tenant network 的 vxlan interface）加入 bridge，并且将 tap 设备也加入该 bridge
3 U5 P" |8 x4 ^- s* L! @6.        如果发现某个 linux bridge 没有创建出来，首先需要查看有没有相应的 tap 设备存在；如果 tap 设备不存在，则查看相应的 qdhcp 或者 qrouter 中时候有interface
4 }4 X% r. Z  @% m3 ^9 n
/ y5 [0 g: ~! ~3 {# f) Z具有多个 VLAN 租户网络时候的网络元素示意图：
% q* U1 {( b/ v



! p1 Q# Q) [7 p" [2 |9 D# t 3.2 关于 unnumber interface
OpenStack 官方的 host networking 配置中，连接外网的 interface 可以是 unnumbered 的，从字面意思理解，就是该 interface 上不需要配置 IP 地址。
8 n' W2 \6 g2 X, @+ c
配置的时候，修改 /etc/network/interfaces：
# The provider network interface
: f# Q( P. W1 T0 x  bauto ens224
) _% X$ u, o+ ]! c% Z' J7 |+ Xiface ens224 inet manual
up ip link set dev $IFACE up
# ?9 y8 i* L% M9 i" U9 k" r& L- Hdown ip link set dev $IFACE down
; H0 s; i0 h9 S! N1 _4 }配置好以后：

2 }4 r' @& n  j2 J' t3 \0 P6 S7 eroot@controller:/home/sammy# ifconfig ens224
( T4 K8 Z: M$ W, t* kens224    Link encap:Ethernet  HWaddr 00:50:56:9c:4d:94
2 M5 X" b0 {4 S          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
3 Z( a% J" g0 M; L( Y3 i          RX packets:27300737 errors:0 dropped:0 overruns:0 frame:0
          TX packets:61547 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
5 l  X8 d: @& Y1 j) x          RX bytes:31951077598 (31.9 GB)  TX bytes:5966060 (5.9 MB)

1 z/ m( j" p  A* {( C  ?+ ^  Sroot@controller:/home/sammy# ifconfig brq96609bfa-0e
brq96609bfa-0e Link encap:Ethernet  HWaddr 00:50:56:9c:4d:94
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
0 B4 o4 H2 T/ b! i          RX packets:32855 errors:0 dropped:0 overruns:0 frame:0
. r$ k! [2 m. Y2 l          TX packets:2 errors:0 dropped:0 overruns:0 carrier:0
; X. K; o! t3 B3 G" R% O          collisions:0 txqueuelen:1000
          RX bytes:2731030 (2.7 MB)  TX bytes:84 (84.0 B)
& g8 F3 q" S" {
$ y4 f  N6 T+ s; J; p! a6 E具体原理不详，但是应该是因为 qrouter 的 qg network interface 和物理网络中的路由器的网卡之间是网络二层，因此中间的设备都是属于二层的，因此不需要处于网络三层的 IP 地址。
4. 使用 linux bridge 时的拓扑结构
0 V4 g- ^8 ^; q' T8 c) z; o* |" C; q4.1 网络节点上
# i1 v) |' g0 A4 \为了更清楚，我们来对比着看 linux bridge 和 ovs 的两种方案：
/ z+ P8 H6 E. ~, qlinux 方案：
  t% Q8 m2 L# B# \% @  
网络服务：
•        Linux bridge agent
$ i" T' j2 H( j7 r+ M% k! ^9 B. G•        L3 agent
•        DHCP agent
•        Metadata agent
Linux bridge agent 会为每个 VLAN 虚拟网络创建一个 VLAN Bridge，它连接多个网元：
$ Y8 z( }9 U* S, b' D. y+ l7 Q. f5 J•        VLAN 子接口，从物理网卡（图中的 interface3）上创建，每个子接口对应一个VLAN ID，其名称格式为 device.sid，其中 device 是物理网卡名字比如 eth0，sid 是 vlan id。
4 T" S! I; p" {3 ~- d& \- I: y•        连接虚拟机的 tap 接口
- D1 e* ^) j7 n) W7 m7 V•        和 qrouter 连接的 tap 接口
•        和该网络的 qdhcp 连接的 tap 接口
如果同时有 VXLAN 虚拟网络的话（linux-bridge 不支持GRE 隧道模式），会为每个 VLAN 虚拟网络创建一个 Tunnel bridge。它连接多个网元：
, u1 @  |+ s5 V•        vxlan interface，这种接口每个虚拟网络一个，名字格式为 vxlan-sid，其中 sid 是分段ID。
•        连接虚拟机的 tap 接口
7 H  I6 t9 }8 R, c& T•        和 qrouter 连接的 tap 接口
•        和该网络的 qdhcp 连接的 tap 接口
安全组规则在 tunnel bridge 和 vlan bridge 上。
OVS 方案：

这里面，br-int 会负责加本地 VLAN 标签，br-tun 会负责将 VLAN ID 转换为 VXLAN ID。
  @) i6 }' h+ J
6 W6 i' D  T* ^0 q2 O4.2 计算节点上
同样来对比着看。
linux bridge：

网络服务：
•        Linux bridge agent
和网络节点类似，只不过没有 qrouter 和 qdhcp，不在赘述。
% Z9 F5 Y$ X8 _OVS：


2 j& H+ n0 a2 G1 o; COVS 放在在 br-int 上实现 VLAN 标签，在 br-tun 上实现隧道，在 qbr linux bridge 上实现安全组。

4.3 网络路径 - 南北向网络流向
) v# ^, B% k9 G3 ?
7 M) i. j3 C" k0 ?) e& k' QVLAN 网络和VXLAN 网络井水不犯河水。这图上的配置中，计算节点和网络节点上的物理网卡都分开了。
  _' M, ]$ _0 _6 a0 u& I; W5 Y5 `4.4 网络路径 - 东西向（不同网络）
! w/ O- L0 |( S4 m7 T" n8 L
4.5 网络路径 - 东西向（同一个网络）

/ b; P; j/ I  l# g7 d7 b
请详细说明和配置，请参阅参考文档。
4 w4 t" W& Z$ @& h, w5. 一点结论
4 H7 Y/ W! r9 U和基于 OVS 的二层网络相比，
. |' \8 V' y. E6 o" g/ J•        功能和架构上：基于 linux bridge 的实现还是有一些短处，比如每个虚拟网络就需要一个网桥，这在大规模环境中会带领资源使用和管理上的问题。其好处是本身架构比较清晰。
* x4 L  \1 k6 y4 r: N•        性能上：基本上差不多，如下图所示，不管是 vxlan 还是 vlan。

admin

一.现状
) D* T- c6 `' a! M' \# h9 @3 d部署节点为一个controller节点(包含网络节点)，两个compute节点。controller节点有3个网卡，分别为eth0(管理和API网络，CIDR为192.168.128.0/24)、eth1(租户网络，CIDR为10.10.10.0/24)、eth2(外部网络，CIDR为11.11.11.0/24，不设置IP)；compute节点有2个网卡，分别为eth0(管理和API网络，CIDR为192.168.128.0/24)、eth1(租户网络，CIDR为10.10.10.0/24)。
controller节点、compute节点的L2 agent 为 neutron-linuxbridge-agent

; |( F/ r: T% o- t0 f7 F
! N5 f, X% `! T' ~6 {& [) O. @Neutron网络方案为：
/ @0 k7 c3 E  w! N) M& }2 o
6 k6 _  @9 V( o( h, YNeutron ML2的Type Driver为vxlan
Neutron ML2的Mechanism Driver为LinuxBridge
Neutron L2 Agent为LinuxBridge

目前的网络服务信息为：
" x- u0 w; a5 z# c) A
( n- K6 e' E; J6 i4 \# h) R
. c* ~5 @  [0 c0 r" [2 w二.替换
% ^, U/ b- u8 Lcontroller节点、compute节点的L2 agent 替换为 neutron-openvswitch-agent


5 \+ M+ o  ~" o" INeutron网络方案替换为：

Neutron ML2的Type Driver为vxlan
7 u; w3 G) ?$ y6 P1 @+ gNeutron ML2的Mechanism Driver为Open vSwitch
Neutron L2 Agent为Open vSwitch
2 Y* O' \7 P$ [  I0 p7 U
% h' C) \' v# b3 b（1）. 删除已有的路由器、虚拟网络。

3 j. }/ R' w1 g5 t1 u8 ^: w$ L. C6 D1.当删除网络时，报如下错误


查看日志：delete failed (client error): Unable to complete operation on network 02444a0c-47d1-48ef-9de7-a8614a5fd799. There are one or more ports still in use on the network.
% ^: e0 v* a0 X+ }0 q$ M表明有实例连接到这个网络，需要解除实例和网络port的绑定，然后再删除网络。

2.删除外网时，也报类似错误
查看日志：Found port (3db7acca-71d4-4715-94d5-47ecc2e42b21, 11.11.11.11) having IP allocation on subnet 558ee6a0-1145-4e9f-9f12-5318b5fd4ac5, cannot delete
% O2 O0 S5 h8 rdelete failed (client error): Unable to complete operation on subnet 558ee6a0-1145-4e9f-9f12-5318b5fd4ac5: One or more ports have an IP allocation from this subnet.
4 Z1 a. s, d- S4 O* S. l7 a需要释放浮动IP，再删除外部网络。

（2）. 卸载controller节点、compute1节点、compute2节点的 neutron-linuxbridge-agent
4 }# ]) H! f% y& y8 {3 t4 f
# N6 }* X: e, U% P/ I. H先停止neutron-linuxbridge-agent服务
, Q1 S0 b0 A% i) d, r+ U
root@controller:~# service neutron-linuxbridge-agent stop
) s( }; b. f6 C- tneutron-linuxbridge-agent stop/waiting
! h6 i$ e5 X( e- ?root@compute1:~# service neutron-linuxbridge-agent stop
neutron-linuxbridge-agent stop/waiting
root@compute2:~# service neutron-linuxbridge-agent stop
neutron-linuxbridge-agent stop/waiting
8 F: Y1 \2 k& o; L$ A
/ G  X( e% p% t. o- }再卸载软件
; X& c. Q3 `& G8 ~- o
root@controller:~# apt-get --purge remove neutron-linuxbridge-agent
root@compute1:~# apt-get --purge remove neutron-linuxbridge-agent
root@compute2:~# apt-get --purge remove neutron-linuxbridge-agent

（3）. 安装controller节点、compute1节点、compute2节点的 neutron-openvswitch-agent
0 x( K# b0 {! j! Q' W; r$ b
2 ]% h  \7 y! b- aroot@controller:~# apt-get install neutron-openvswitch-agent
8 m6 x" L% O2 g) K3 T. ]* sroot@compute1:~# apt-get install neutron-openvswitch-agent
4 f% R/ O$ P  H9 l# \; Y" U+ Oroot@compute2:~# apt-get install neutron-openvswitch-agent

（4）. 修改配置文件
! i: v7 ]6 q1 Hcontroller节点
" v: v) F# o  ]/ J; m
: \3 M. K. I5 r/etc/neutron/plugins/ml2/ml2_conf.ini
1 m; l3 Z8 o/ ?8 ?8 s
' X+ ^- w4 {! Y- O( ?[ml2]
) Z7 U+ h- Y" I" x2 i* `. @type_drivers = flat,vxlan
. I/ A: E) n- Ltenant_network_types = vxlan
mechanism_drivers = openvswitch,l2population
extension_drivers = port_security
8 b' ]9 x1 [/ ^* |9 ^
- w0 J! J  {  z" H" k/ c[ml2_type_vxlan]
vni_ranges = 1001:2000
) k' q& o0 `: B! H! h
[securitygroup]
enable_ipset = true

6 r" `$ T% u5 N/ t3 s* R$ ~& m/etc/neutron/l3_agent.ini
+ V8 E, m( \6 D! L* a, D
; i+ u0 c* L  ][DEFAULT]
external_network_bridge = br-ex
  `* W' F, o& g  s& c! v& cinterface_driver = neutron.agent.linux.interface.OVSInterfaceDriver

' k* E  c) h( `+ m) D/ _/ s. w/etc/neutron/dhcp_agent.ini

[DEFAULT]
interface_driver = neutron.agent.linux.interface.OVSInterfaceDriver
dhcp_driver = neutron.agent.linux.dhcp.Dnsmasq
" E4 @' R# H. D* @& Fenable_isolated_metadata = True

' x' O$ W, T$ V; G0 w, M/etc/neutron/plugins/ml2/openvswitch_agent.ini
5 m; j+ t; Q" s- W
[ovs]
bridge_mappings =
( J0 J7 v2 U9 J& ~1 Ztunnel_bridge = br-tun
' p+ `: C) p* V7 V) r4 g9 W/ Plocal_ip = 10.10.10.10

$ D3 H9 S* ^& |  q+ B[agent]
tunnel_types = vxlan
l2_population = True
$ r( s5 k. f" F: G' ?
[securitygroup]
firewall_driver = neutron.agent.linux.iptables_firewall.OVSHybridIptablesFirewallDriver
enable_security_group = true

- G% h9 E( U) ]2 V$ L- B; Mcompute1节点

/etc/neutron/plugins/ml2/openvswitch_agent.ini

3 M6 w' T5 |( q. r- n1 T% w( i% V) q6 O[ovs]
bridge_mappings =
) r& |" M0 W( n6 Ttunnel_bridge = br-tun
; g( k% o' V$ w' m4 c$ mlocal_ip = 10.10.10.11
2 G. m7 P( }1 [$ }' Z1 u
[agent]
tunnel_types = vxlan
, ?; ~1 t6 W, }# ml2_population = True

4 [$ i/ z8 m, h5 Z9 N[securitygroup]
firewall_driver = neutron.agent.linux.iptables_firewall.OVSHybridIptablesFirewallDriver
enable_security_group = true
0 S& I0 @& p( B7 @" ~5 `1 b
. J4 ~% z6 q4 D- [  `$ fcompute2节点

[ovs]
1 u- M( l5 d/ i( ~bridge_mappings =
& x; I5 K/ H* h  E  g% _3 z. Ftunnel_bridge = br-tun
local_ip = 10.10.10.12
: r/ p( L5 [) W
[agent]
tunnel_types = vxlan
5 F) \( r2 R3 y/ Y' D& nl2_population = True

[securitygroup]
6 J8 M( \/ i9 l2 f6 s0 _firewall_driver = neutron.agent.linux.iptables_firewall.OVSHybridIptablesFirewallDriver
enable_security_group = true
4 `3 P' \+ E( `7 ], l
重启网络相关服务。
7 Y" k+ k) t* t/ P& d1 M
再次查看网络服务信息
/ m% S3 d! h8 d6 W
+ d; V6 r6 @$ T$ r4 g
把已关闭的 neutron-linuxbridge-agent 删除
  E/ p/ ~- x# j% g: B- R
root@controller:~# neutron agent-list
+--------------------------------------+--------------------+------------+-------------------+-------+----------------+---------------------------+
| id                                   | agent_type         | host       | availability_zone | alive | admin_state_up | binary                    |
+--------------------------------------+--------------------+------------+-------------------+-------+----------------+---------------------------+
/ N' _) A2 z- k2 y- O! E/ c/ r3 F3 B| 21af963d-003d-455e-8723-8b78d201a684 | L3 agent           | controller | nova              | :-)   | True           | neutron-l3-agent          |
9 }" b4 J( @& R  S7 I| 25229052-f0cb-4f04-b819-375fc55c510f | Linux bridge agent | controller |                   | xxx   | True           | neutron-linuxbridge-agent |
3 W0 x0 p" o4 O& M; d1 k, `3 D1 L| 80607c88-5c98-4491-839d-0ce715ec3e4d | Open vSwitch agent | compute2   |                   | :-)   | True           | neutron-openvswitch-agent |
7 ~  E/ ?. o8 D, Z| aab52c21-8c14-4568-89c6-20e70400da38 | Open vSwitch agent | compute1   |                   | :-)   | True           | neutron-openvswitch-agent |
3 E& g# H5 W! n( J1 a7 D| d51f6d6c-eda0-4179-9fce-f9c24ef20824 | DHCP agent         | controller | nova              | :-)   | True           | neutron-dhcp-agent        |
| d666c263-ba6d-4f09-a09d-72c214787e08 | Loadbalancer agent | controller |                   | :-)   | True           | neutron-lbaas-agent       |
| e17d1ecf-35d2-49f5-a7c9-206b0c9e2ce4 | Linux bridge agent | compute2   |                   | xxx   | True           | neutron-linuxbridge-agent |
| e26dc52e-7827-463b-8ee7-202a19d5c3dc | Metadata agent     | controller |                   | :-)   | True           | neutron-metadata-agent    |
| fba23722-9439-4289-bd17-5b69c43f88da | Linux bridge agent | compute1   |                   | xxx   | True           | neutron-linuxbridge-agent |
' K$ x9 `1 b5 w$ i1 \7 J7 C3 f| fe4a9cf3-9a08-4837-b74f-787118ce57db | Open vSwitch agent | controller |                   | :-)   | True           | neutron-openvswitch-agent |
" a+ r! H$ \; E; {, d- @+--------------------------------------+--------------------+------------+-------------------+-------+----------------+---------------------------+
  u2 b7 {: `3 P. Z& f
root@controller:~# neutron agent-delete 25229052-f0cb-4f04-b819-375fc55c510f
Deleted agent: 25229052-f0cb-4f04-b819-375fc55c510f
root@controller:~# neutron agent-delete e17d1ecf-35d2-49f5-a7c9-206b0c9e2ce4
& }2 B! e) T4 dDeleted agent: e17d1ecf-35d2-49f5-a7c9-206b0c9e2ce4
root@controller:~# neutron agent-delete fba23722-9439-4289-bd17-5b69c43f88da
Deleted agent: fba23722-9439-4289-bd17-5b69c43f88da

再次查看网络服务信息，已经没有linuxbridge的agent了
7 a) q0 a/ N1 o9 h" X, x; y8 x
: H" F8 U+ w, {
) L* g6 S0 F  i' w; H三.验证
验证修改是否成功。
+ Q! B) B$ T5 J' |! h+ J; }先创建一个vxlan100网络
7 q# a3 z. P2 n5 g; z. W

把已有虚拟机test1、test2和vxlan100网络关联起来


5 K# Z$ c2 y6 s" B6 k! Ztest1、test2重启，然后查看是否获取IP地址
再互ping


至此，L2 agent替换并验证成功！


————————————————