SDN在云数据中心的应用之VPC网络

admin · 发表于 2019-9-12 11:13:52

一、必须掌握的基础知识
1、具备看懂流表的能力
OpenFlow流表是常用的SDN云数据中心转发依据。要搞明白控制转发机制，首先就得具备读懂流表的能力。流表由很多个流表项组成，每个流表项就是一个转发规则。每个流表项由匹配字段、优先级、计数器、指令、超时、cookie这六部分组成。流表项中关键的两个内容是匹配字段和指令。匹配字段包括inport、报文的12元组信息等。指令是用来描述OpenFlow的处理方式，修改数据包的行动集或触发流表的流水线处理。流表的匹配原则是“table0—table255”，优先从table0开始匹配。同一table内部按照优先级匹配，优先级高优先匹配。需要特殊说明一下，不同商业解决方案的流表格式存在一定差异性，但是本质上都是一致的。抓住流表的六要素和流表匹配原则，就能读懂并理解不同厂家的流表。

以某商业解决方案的两个流表项为例，说明下流表的含义：

Java

cookie=0x2000208,duration=231310.205s,table=160,n_packets=2879,n_bytes=282142,idle_age=0,hard_age=65534,priority=90,ip,dl_dst=fa:16:3f:00:02:d1,nw_dst=192.168.1.4 actions=mod_dl_dst:fa:16:3e:54:db:6a,mod_dl_src:fa:16:3e:2c:f0:e3,strip_vlan,output:3
1
cookie=0x2000208,duration=231310.205s,table=160,n_packets=2879,n_bytes=282142,idle_age=0,hard_age=65534,priority=90,ip,dl_dst=fa:16:3f:00:02:d1,nw_dst=192.168.1.4 actions=mod_dl_dst:fa:16:3e:54:db:6a,mod_dl_src:fa:16:3e:2c:f0:e3,strip_vlan,output:3
这是table160的一个优先级为90的流表项内容，它的匹配项是“IP数据包，目的MAC地址是fa:16:3f:00:02:d1，目的IP地址是192.168.1.4”，若是数据包的包头与流表匹配项完全匹配后，则执行下面动作“修改数据包的目的MAC地址为fa:16:3e:54:db:6a，修改源MAC地址为fa:16:3e:2c:f0:e3，剥掉vlan标签，从交换机的3端口转发数据包”。

Java

cookie=0x2000205,duration=168409.329s,table=200,n_packets=93326,n_bytes=23319603, idle_age=117, hard_age=65534, priority=90,dl_vlan=6,dl_dst=d4:94:e8:5b:4e:01，actions=strip_vlan,set_tunnel:0x4e5c（20060）,load:0xa0005f5（10.0.5.245）->NXM_NX_TUN_IPV4_SRC[],load:0xa00032d（10.0.3.45）->NXM_NX_TUN_IPV4_DST[],output:2
1
cookie=0x2000205,duration=168409.329s,table=200,n_packets=93326,n_bytes=23319603, idle_age=117, hard_age=65534, priority=90,dl_vlan=6,dl_dst=d4:94:e8:5b:4e:01，actions=strip_vlan,set_tunnel:0x4e5c（20060）,load:0xa0005f5（10.0.5.245）->NXM_NX_TUN_IPV4_SRC[],load:0xa00032d（10.0.3.45）->NXM_NX_TUN_IPV4_DST[],output:2
这是table200的一个优先级为90的流表项内容，它的匹配项是“vlan id是6，目的MAC地址是d4:94:e8:5b:4e:01”，若是数据包的包头与流表匹配项完全匹配后，则执行下面动作“剥掉vlan标签，将数据包封装为vni为20060的vxlan隧道，隧道的源IP地址是10.0.5.245，隧道的目的IP地址是10.0.3.45，从交换机的2端口转发数据包”。

下面给出了常见的匹配字段和动作，供参考。

Match field

说明

in_port

Switch input port

dl_dst

Ethernet destination address

dl_src

Ethernet source address

dl_vlan

VLAN id

nw_src

IPv4 source address

nw_dst

IPv4 destination address

tcp_src

TCP source port

tcp_dst

TCP destination port

udp_src

UDP source port

udp_dst

UDP destination port

Action

动作

resubmit

跳转表

drop

丢弃

load:$local_vlan->NXM_NX_REG0[0..11]

local_vlan放在寄存器里

CONTROLLER

上送控制器

mod_vlan_pcp

修改vlanpcp

move

将报文的dst设置为src

mod_dl_src

修改目的mac

load

设置某个报文头部的值

output

从指定端口发出

IN_PORT

从入端口发出

set_tun_id

设置vni

2、具备看懂vxlan数据包的能力
在网络运维中，常常会用到wireshark软件进行数据包的抓取和分析，从而进一步分析网络转发平面的运作机制。在SDN云数据中心的数据平面会用到vxlan隧道封装技术，因此需要了解vxlan的数据封装格式，并能够通过抓取的vxlan数据包进行网络分析。

以下是wireshark的一个vlan数据包示例。这是一个ICMP（ping）数据包。Ethernet 是以太网封装，src为源mac地址，dst为目的mac地址。Internet是IP层封装，src是源IP地址，dst是目的IP。

我们来看一个vxlan数据包的wireshark示例。这也是一个ICMP（ping）数据包，跟vlan数据包相比，多了一层数据封装。。Vxlan隧道的源IP地址是10.0.3.45，目的IP地址是10.0.5.169，隧道的VNI标识是20022。原始数据包的源IP地址是114.114.114.114，目的IP地址是192.168.1.4.

二、控制和转发的联动分析
物理服务器上的虚拟交换机是SDN云数据中心较为常用的网络设备。需要特殊说明一下，在不同商业解决方案中，流表内容和用户流量/vxlan映射关系存在一定差异性。下面以一个商用虚拟交换机的流表和数据包为例，抛砖引玉，分析vpc产品的技术实现。

1、同子网虚拟机的流量互访：

（1）控制平面：分别查看PM1和PM2虚拟交换机的流表。
PM1的虚拟交换机有如下流表：

Java

skb_priority(0),in_port(5),eth(src=fa:16:3e:79:b7:62,dst=fa:16:3e:eb:2b:1e),eth_type(0x0800),ipv4(src=192.168.1.3/255.255.255.255,dst=192.168.1.5/255.255.255.255,proto=1/0xff,tos=0/0x3,ttl=64/0,frag=no/0xff), packets:7, bytes:686, used:0.883s, actions:set(tunnel(tun_id=0x31b3f5（3257333）,src=0.0.0.0,dst=10.0.4.84,tos=0x0,ttl=64,flags(key))),6
1
skb_priority(0),in_port(5),eth(src=fa:16:3e:79:b7:62,dst=fa:16:3e:eb:2b:1e),eth_type(0x0800),ipv4(src=192.168.1.3/255.255.255.255,dst=192.168.1.5/255.255.255.255,proto=1/0xff,tos=0/0x3,ttl=64/0,frag=no/0xff), packets:7, bytes:686, used:0.883s, actions:set(tunnel(tun_id=0x31b3f5（3257333）,src=0.0.0.0,dst=10.0.4.84,tos=0x0,ttl=64,flags(key))),6
这条流表的含义是：流表的匹配字段是“数据包来自虚拟交换机的端口5，源MAC地址（src=fa:16:3e:79:b7:62），目的mac地址（dst=fa:16:3e:eb:2b:1e），源IP地址（192.168.1.3），目的IP地址（192.168.1.5）”，若是数据包完全匹配，则执行的指令是“将数据包封装为VNI为3257333的vxlan隧道，vxlan隧道的源IP为自身，目的IP为10.0.4.84，并从端口6转发出去”。

PM2的虚拟交换机有如下流表：

Java

skb_priority(0),tunnel(tun_id=0x31b3f5（3257333）/0xffffffffffffffff,src=10.0.4.119/255.255.255.255,dst=10.0.4.84/255.255.255.255,tos=0/0xff,ttl=64/0xff,flags(key)),in_port(6),skb_mark(0),eth(src=fa:16:3e:79:b7:62,dst=fa:16:3e:eb:2b:1e),eth_type(0x0800),ipv4(src=192.168.1.3/255.255.255.255,dst=192.168.1.5/255.255.255.255,proto=1/0xff,tos=0/0,ttl=64/0,frag=no/0xff), packets:30, bytes:2940, used:0.335s, actions:5
1
skb_priority(0),tunnel(tun_id=0x31b3f5（3257333）/0xffffffffffffffff,src=10.0.4.119/255.255.255.255,dst=10.0.4.84/255.255.255.255,tos=0/0xff,ttl=64/0xff,flags(key)),in_port(6),skb_mark(0),eth(src=fa:16:3e:79:b7:62,dst=fa:16:3e:eb:2b:1e),eth_type(0x0800),ipv4(src=192.168.1.3/255.255.255.255,dst=192.168.1.5/255.255.255.255,proto=1/0xff,tos=0/0,ttl=64/0,frag=no/0xff), packets:30, bytes:2940, used:0.335s, actions:5
这条流表的含义是：流表的匹配字段是“vxlan数据包的VNI为3257333，vxlan源IP地址（10.0.4.119），vxlan目的IP地址（10.0.4.84），数据包来自OVS的端口6，原始数据包的源MAC地址（src= fa:16:3e:79:b7:62），目的mac地址（dst= fa:16:3e:eb:2b:1e），源IP地址（192.168.1.3），目的IP地址（192.168.1.5）”，若是数据包完全匹配，则执行的指令是“将数据包解封，并从端口5转发出去”。
（2）转发平面：分别在PM1和PM2上OVS的tap1和bond1口进行抓包分析，分析“数据包经过虚拟交换机后做了哪些变化”。
PM1的tap1的数据包格式如下，是vlan格式：

PM1的bond1的数据包格式如下，是vxlan格式：

PM2的bond1的数据包格式如下，是vxlan格式：

PM2的tap1的数据包格式如下，是vlan格式：

通过对上面四个节点的数据包分析，可以得到：PM1的虚拟交换机对来自VM1的数据包进行了vxlan隧道封装，VNI标识是3257333。在underlay交换机上，基于vxlan 的隧道IP地址完成数据包的转发，对隧道里面封装的VM数据包内容处于无感知状态。PM2的虚拟交换机则是相应的完成的vxlan数据包的解封装过程，并将数据包送至VM2。

2、跨子网虚拟机的流量互访
跨子网通信的控制转发联动原理，与同子网场景下的是一致的，只是在流表内容上有一定差异性。跨子网的流量交互涉及到网关联动处理，存在原始数据包的MAC地址转化，同时vxlan隧道封装的VNI也会不同。以PM1的发送端为例，分析如下。

PM1上的流表：

Java

skb_priority(0),in_port(21),eth(src=fa:16:3e:79:b7:62,dst=68:54:ed:00:00:36),eth_type(0x0800),ipv4(src=192.168.1.3,dst=192.168.8.74,proto=1,tos=0,ttl=64,frag=no), packets:277, bytes:27146, used:0.594s, actions:set(tunnel(tun_id=0x389b3a(3709754）,src=0.0.0.0,dst=10.0.4.129,tos=0x0,ttl=64,flags(key))),set(eth(src=68:54:ed:00:00:0c,dst=fa:16:3e:fc:4c:1f)),set(ipv4(src=192.168.1.3,dst=192.168.8.74,proto=1,tos=0,ttl=63,frag=no)),6
1
skb_priority(0),in_port(21),eth(src=fa:16:3e:79:b7:62,dst=68:54:ed:00:00:36),eth_type(0x0800),ipv4(src=192.168.1.3,dst=192.168.8.74,proto=1,tos=0,ttl=64,frag=no), packets:277, bytes:27146, used:0.594s, actions:set(tunnel(tun_id=0x389b3a(3709754）,src=0.0.0.0,dst=10.0.4.129,tos=0x0,ttl=64,flags(key))),set(eth(src=68:54:ed:00:00:0c,dst=fa:16:3e:fc:4c:1f)),set(ipv4(src=192.168.1.3,dst=192.168.8.74,proto=1,tos=0,ttl=63,frag=no)),6
这条流表的含义是：流表的匹配字段是“数据包来自虚拟交换机的端口21，源MAC地址（src=fa:16:3e:79:b7:62），目的mac地址（dst=68:54:ed:00:00:36），源IP地址（192.168.1.3），目的IP地址（192.168.8.74）”，若是数据包完全匹配，则执行的指令是“将数据包封装为VNI为3709754的vxlan隧道， vxlan隧道的源IP为自身，目的IP为10.0.4.129，同时修改原始数据包的源地址为（src=68:54:ed:00:00:0c），目的MAC地址为（fa:16:3e:fc:4c:1f），最后从端口6转发出去”。

PM1上bond1的数据包：

从抓包可以看出，VM1的数据包经过虚拟交换机后被封装为vni为3709754的vxlan数据包，与流表的动作集一致。

admin · 发表于 2019-9-12 11:15:43

一、必须掌握的基础知识

1、具备看懂流表的能力

OpenFlow流表是常用的SDN云数据中心转发依据。要搞明白控制转发机制，首先就得具备读懂流表的能力。流表由很多个流表项组成，每个流表项就是一个转发规则。每个流表项由匹配字段、优先级、计数器、指令、超时、cookie这六部分组成。流表项中关键的两个内容是匹配字段和指令。匹配字段包括inport、报文的12元组信息等。指令是用来描述OpenFlow的处理方式，修改数据包的行动集或触发流表的流水线处理。流表的匹配原则是“table0—table255”，优先从table0开始匹配。同一table内部按照优先级匹配，优先级高优先匹配。需要特殊说明一下，不同商业解决方案的流表格式存在一定差异性，但是本质上都是一致的。抓住流表的六要素和流表匹配原则，就能读懂并理解不同厂家的流表。以某商业解决方案的两个流表项为例，说明下流表的含义：

cookie=0x2000208,duration=231310.205s,table=160,n_packets=2879,n_bytes=282142,idle_age=0,hard_age=65534,priority=90,ip,dl_dst=fa:16:3f:00:02:d1,nw_dst=192.168.1.4 actions=mod_dl_dst:fa:16:3e:54:db:6a,mod_dl_src:fa:16:3e:2c:f0:e3,strip_vlan,output:3
这是table160的一个优先级为90的流表项内容，它的匹配项是“IP数据包，目的MAC地址是fa:16:3f:00:02:d1，目的IP地址是192.168.1.4”，若是数据包的包头与流表匹配项完全匹配后，则执行下面动作“修改数据包的目的MAC地址为fa:16:3e:54:db:6a，修改源MAC地址为fa:16:3e:2c:f0:e3，剥掉vlan标签，从交换机的3端口转发数据包”。

cookie=0x2000205,duration=168409.329s,table=200,n_packets=93326,n_bytes=23319603, idle_age=117, hard_age=65534, priority=90,dl_vlan=6,dl_dst=d4:94:e8:5b:4e:01，actions=strip_vlan,set_tunnel:0x4e5c（20060）,load:0xa0005f5（10.0.5.245）->NXM_NX_TUN_IPV4_SRC[],load:0xa00032d（10.0.3.45）->NXM_NX_TUN_IPV4_DST[],output:2
这是table200的一个优先级为90的流表项内容，它的匹配项是“vlan id是6，目的MAC地址是d4:94:e8:5b:4e:01”，若是数据包的包头与流表匹配项完全匹配后，则执行下面动作“剥掉vlan标签，将数据包封装为vni为20060的vxlan隧道，隧道的源IP地址是10.0.5.245，隧道的目的IP地址是10.0.3.45，从交换机的2端口转发数据包”。下面给出了常见的匹配字段和动作，供参考。

2、具备看懂vxlan数据包的能力

在网络运维中，常常会用到wireshark软件进行数据包的抓取和分析，从而进一步分析网络转发平面的运作机制。在SDN云数据中心的数据平面会用到vxlan隧道封装技术，因此需要了解vxlan的数据封装格式，并能够通过抓取的vxlan数据包进行网络分析。以下是wireshark的一个vlan数据包示例。这是一个ICMP(ping)数据包。Ethernet 是以太网封装，src为源mac地址，dst为目的mac地址。Internet是IP层封装，src是源IP地址，dst是目的IP。

我们来看一个vxlan数据包的wireshark示例。这也是一个ICMP(ping)数据包，跟vlan数据包相比，多了一层数据封装。。Vxlan隧道的源IP地址是10.0.3.45，目的IP地址是10.0.5.169，隧道的VNI标识是20022。原始数据包的源IP地址是114.114.114.114，目的IP地址是192.168.1.4.

二、控制和转发的联动分析

物理服务器上的虚拟交换机是SDN云数据中心较为常用的网络设备。需要特殊说明一下，在不同商业解决方案中，流表内容和用户流量/vxlan映射关系存在一定差异性。下面以一个商用虚拟交换机的流表和数据包为例，抛砖引玉，分析vpc产品的技术实现。1、同子网虚拟机的流量互访：

(1)控制平面：分别查看PM1和PM2虚拟交换机的流表。

PM1的虚拟交换机有如下流表：

skb_priority(0),in_port(5),eth(src=fa:16:3e:79:b7:62,dst=fa:16:3e:eb:2b:1e),eth_type(0x0800),ipv4(src=192.168.1.3/255.255.255.255,dst=192.168.1.5/255.255.255.255,proto=1/0xff,tos=0/0x3,ttl=64/0,frag=no/0xff), packets:7, bytes:686, used:0.883s, actions:set(tunnel(tun_id=0x31b3f5（3257333）,src=0.0.0.0,dst=10.0.4.84,tos=0x0,ttl=64,flags(key))),6
这条流表的含义是：流表的匹配字段是“数据包来自虚拟交换机的端口5，源MAC地址(src=fa:16:3e:79:b7:62)，目的mac地址(dst=fa:16:3e:eb:2b:1e)，源IP地址(192.168.1.3)，目的IP地址(192.168.1.5)”，若是数据包完全匹配，则执行的指令是“将数据包封装为VNI为3257333的vxlan隧道，vxlan隧道的源IP为自身，目的IP为10.0.4.84，并从端口6转发出去”。PM2的虚拟交换机有如下流表：

skb_priority(0),tunnel(tun_id=0x31b3f5（3257333）/0xffffffffffffffff,src=10.0.4.119/255.255.255.255,dst=10.0.4.84/255.255.255.255,tos=0/0xff,ttl=64/0xff,flags(key)),in_port(6),skb_mark(0),eth(src=fa:16:3e:79:b7:62,dst=fa:16:3e:eb:2b:1e),eth_type(0x0800),ipv4(src=192.168.1.3/255.255.255.255,dst=192.168.1.5/255.255.255.255,proto=1/0xff,tos=0/0,ttl=64/0,frag=no/0xff), packets:30, bytes:2940, used:0.335s, actions:5
这条流表的含义是：流表的匹配字段是“vxlan数据包的VNI为3257333，vxlan源IP地址(10.0.4.119)，vxlan目的IP地址(10.0.4.84)，数据包来自OVS的端口6，原始数据包的源MAC地址(src= fa:16:3e:79:b7:62)，目的mac地址(dst= fa:16:3e:eb:2b:1e)，源IP地址(192.168.1.3)，目的IP地址(192.168.1.5)”，若是数据包完全匹配，则执行的指令是“将数据包解封，并从端口5转发出去”。

(2)转发平面：分别在PM1和PM2上OVS的tap1和bond1口进行抓包分析，分析“数据包经过虚拟交换机后做了哪些变化”。

PM1的tap1的数据包格式如下，是vlan格式：

PM1的bond1的数据包格式如下，是vxlan格式：

PM2的bond1的数据包格式如下，是vxlan格式：

PM2的tap1的数据包格式如下，是vlan格式：

通过对上面四个节点的数据包分析，可以得到：PM1的虚拟交换机对来自VM1的数据包进行了vxlan隧道封装，VNI标识是3257333。在underlay交换机上，基于vxlan 的隧道IP地址完成数据包的转发，对隧道里面封装的VM数据包内容处于无感知状态。PM2的虚拟交换机则是相应的完成的vxlan数据包的解封装过程，并将数据包送至VM2。2、跨子网虚拟机的流量互访

跨子网通信的控制转发联动原理，与同子网场景下的是一致的，只是在流表内容上有一定差异性。跨子网的流量交互涉及到网关联动处理，存在原始数据包的MAC地址转化，同时vxlan隧道封装的VNI也会不同。以PM1的发送端为例，分析如下。

PM1上的流表：

skb_priority(0),in_port(21),eth(src=fa:16:3e:79:b7:62,dst=68:54:ed:00:00:36),eth_type(0x0800),ipv4(src=192.168.1.3,dst=192.168.8.74,proto=1,tos=0,ttl=64,frag=no), packets:277, bytes:27146, used:0.594s, actions:set(tunnel(tun_id=0x389b3a(3709754）,src=0.0.0.0,dst=10.0.4.129,tos=0x0,ttl=64,flags(key))),set(eth(src=68:54:ed:00:00:0c,dst=fa:16:3e:fc:4c:1f)),set(ipv4(src=192.168.1.3,dst=192.168.8.74,proto=1,tos=0,ttl=63,frag=no)),6
这条流表的含义是：流表的匹配字段是“数据包来自虚拟交换机的端口21，源MAC地址(src=fa:16:3e:79:b7:62)，目的mac地址(dst=68:54:ed:00:00:36)，源IP地址(192.168.1.3)，目的IP地址(192.168.8.74)”，若是数据包完全匹配，则执行的指令是“将数据包封装为VNI为3709754的vxlan隧道， vxlan隧道的源IP为自身，目的IP为10.0.4.129，同时修改原始数据包的源地址为(src=68:54:ed:00:00:0c)，目的MAC地址为(fa:16:3e:fc:4c:1f)，***从端口6转发出去”。PM1上bond1的数据包：

从抓包可以看出，VM1的数据包经过虚拟交换机后被封装为vni为3709754的vxlan数据包，与流表的动作集一致。

admin · 发表于 2019-9-12 11:17:34

下面给出了常见的匹配字段和动作，供参考。Match field说明in_portSwitch input portdl_dstEthernet destination addressdl_srcEthernet source addressdl_vlanVLAN idnw_srcIPv4 source addressnw_dstIPv4 destination addresstcp_srcTCP source porttcp_dstTCP destination portudp_srcUDP source portudp_dstUDP destination portAction动作resubmit跳转表drop丢弃load:$local_vlan->NXM_NX_REG0[0..11]local_vlan放在寄存器里CONTROLLER上送控制器mod_vlan_pcp修改vlanpcpmove将报文的dst设置为srcmod_dl_src修改目的macload设置某个报文头部的值output从指定端口发出IN_PORT从入端口发出set_tun_id设置vni

		自动登录	找回密码
密码			注册

SDN在云数据中心的应用之VPC网络

浏览过的版块