CentOS7 手动部署flannel并启用vxlan

admin · 发表于 2018-7-17 12:57:05

本以为docker准备妥当之后，就可以直接上k8s了，结果yum install kubernetes，报错：Error: docker-ce conflicts with docker-1.9.1 .....

这才想起来，自己的docker不是从centos官方源获取的，而是用了docker的源安装docker-ce，参见上一遍docker的部署文档。

centos官方源提供的k8s在版本1.2，配套docker 1.9，而我用的docker-ce在版本18.03，经查k8s的changelog，至少要到1.8才能支持到docker 17.03，然后到1.11，都未提到过docker 18；

但参考了较新的k8s部署教程，已经有k8s 1.10配套docker-ce 18.03的先例，可以一试；

参考了现网已有的大部分k8s部署教程，大都太流程化，不够细致；

安装k8s通常会提到flannel，它提供容器的跨主机通信支持，已经涉及到SDN的领域，这一篇对flannel的部署及原理介绍特别值得读一下；

考虑到k8s需要用最新版，flannel也就用最新版，不通过yum安装了，于是自己动手部署了flannel，把从细节收获的信息记下来，提供一个不一样的视角；

----以下是正文----

依赖

flannel依赖etcd提供配置管理；为简化，我只使用了一个单点的etcd，没有组etcd集群；

部署flannel

下载flannel，从github找到最新的发布版，我下到的是0.10.0；https://github.com/coreos/flannel/releases

解压后，得到一个二进制文件flanneld，一个脚本mk-docker-opts.sh，以及一个README.md；最后这个文件忽略就行了，其它两个放到/usr/bin下；

mv flanneld /usr/binmv mk-docker-opts.sh /usr/bin

flanneld服务配置

添加systemd的service管理文件：

[backcolor=rgb(245, 245, 245) !important][url=]

[/url]
# cat /usr/lib/systemd/system/flanneld.service [Unit]Description=flannelBefore=docker.service[Service]ExecStart=/usr/bin/flanneld[Install]WantedBy=multi-user.targetRequiredBy=docker.service[backcolor=rgb(245, 245, 245) !important][url=]

[/url]

flanneld环境变量配置

环境变量的管理也仿照上一篇对docker的环境变量管理，添加了一个Drop-in file：

# cat /etc/systemd/system/flanneld.service.d/flannel.conf [Service]Environment="FLANNELD_ETCD_ENDPOINTS=http://xxxx:2379"Environment="FLANNELD_ETCD_PREFIX=/flannel/network"

flannel的环境变量全都是参数加上“FLANNELD_”前缀，见flanneld环境变量说明；

启动flanneld

查看环境变量是否生效，然后启动flanneld：

systemctl daemon-reloadsystemctl show flanneld --property Environment

systemctl start flanneld

查看启动日志：

systemctl status flanneld -l

发现报错了：Couldn't fetch network config: 100: Key not found

想起来etcd里还没写入网络配置信息呢；

flanneld网络配置

docker默认用172.17.0.0/16这个段，我想换个段，以明确知道是在使用flanneld提供的网络，于是就用了172.10.0.0/16

etcdctl mk /flannel/network/config '{"Network":"172.10.0.0/16", "SubnetMin": "172.10.1.0", "SubnetMax": "172.10.254.0"}'

因为flannel一直在尝试从etcd读配置信息，所以不需要重启flanneld，再看启动日志，flanneld已经获取到想要的子网地址了；

此时，在/run/flannel/subnet.env位置会生成这个host所分配到的子网信息：

# cat /run/flannel/subnet.envFLANNEL_NETWORK=172.10.0.0/16FLANNEL_SUBNET=172.10.63.1/24FLANNEL_MTU=1472FLANNEL_IPMASQ=false

而这个文件正是mk-docker-opts.sh脚本的输入文件：

# /usr/bin/mk-docker-opts.sh -c# cat /run/docker_opts.env DOCKER_OPTS=" --bip=172.10.63.1/24 --ip-masq=true --mtu=1472"

这时看一下etcd，多了一条信息：

# etcdctl get /flannel/network/subnets/172.10.63.0-24{"PublicIP":"xxxxxx"}

看一下主机网卡

# ip a |grep flannel146: flannel0: <POINTOPOINT,MULTICAST,NOARP,UP,LOWER_UP> mtu 1472 qdisc pfifo_fast state UNKNOWN qlen 500

看一下网卡详情

# ip -d link show dev flannel0147: flannel0: <POINTOPOINT,MULTICAST,NOARP,UP,LOWER_UP> mtu 1472 qdisc pfifo_fast state UNKNOWN mode DEFAULT qlen 500 link/none promiscuity 0 tun

flanneld vxlan网络配置

推荐Kernel 3.9以上的主机启用vxlan网络（来源记不清了），CentOS7的内核已经到3.10，可以支持；

修改网络配置：

etcdctl set /flannel/network/config '{"Network":"172.10.0.0/16", "SubnetMin": "172.10.1.0", "SubnetMax": "172.10.254.0", "Backend": {"Type": "vxlan"}}'

重启flanneld：

systemctl restart flanneld

查看启动日志，已经能看到在使用vxlan backend了；

看一下/run/flannel/subnet.env文件，发现子网没变，但是MTU变了：

# cat /run/flannel/subnet.env FLANNEL_NETWORK=172.10.0.0/16FLANNEL_SUBNET=172.10.63.1/24FLANNEL_MTU=1450FLANNEL_IPMASQ=false

再看一下etcd

# etcdctl get /flannel/network/subnets/172.10.63.0-24{"PublicIP":"xxxx","BackendType":"vxlan","BackendData":{"VtepMAC":"e2:73:8e:db:83:56"}}

再看一下主机网卡

# ip a|grep flannel145: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN

再看一下网卡详情

# ip -d link show dev flannel.1145: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN mode DEFAULT link/ether e2:73:8e:db:83:56 brd ff:ff:ff:ff:ff:ff promiscuity 0 vxlan id 1 local 10.10.10.127 dev bond0 srcport 32768 65000 dstport 8472 nolearning ageing 300

Docker使用flannel网络

再重新生成一次docker_opts.env：

# /usr/bin/mk-docker-opts.sh -c# cat /run/docker_opts.env DOCKER_OPTS=" --bip=172.10.63.1/24 --ip-masq=true --mtu=1450"

修改/lib/systemd/system/docker.service：

EnvironmentFile=/run/docker_opts.env # 新加ExecStart=/usr/bin/dockerd $DOCKER_OPTS

重启docker服务：

systemctl daemon-reloadsystemctl restart docker

查看bridge网络的信息：

# docker network ls |grep bridged5ad3f19dc63 bridge bridge local# docker network inspect d5ad3f19dc63 | grep Subnet "Subnet": "172.10.63.1/24",

这就已经是在flannel提供的网段内了；

测试

然后在另一台主机上也照做一遍，分别启动一个container，互ping一下，测试通过；

admin · 发表于 2018-7-17 12:58:46

PC上执行：

ssh -X root@VM-IP

登录以后执行：

wireshark &

9 D/ m) ?3 v- C9 g2 d
解决方案：修改init.lua
直接运行wireshark的话会报错：
Lua: Error during loading:
3 T) r2 T% \, {% `5 b# B& Q[string "/usr/share/wireshark/init.lua"]:45: dofile has been disabled
要对其进行修改，终端运行
sudo gedit /usr/share/wireshark/init.lua  //使用 VI 编辑  Gedit没安装。
) w8 I! S# w8 k# S: u( [! z

倒数第二行原来为：dofile(DATA_DIR.."console.lua")
改为--dofile(DATA_DIR.."console.lua")
0 n+ j) b* Y: E# x( p6 {  Q

四整合
之后在VM中运行mininet，并指定与controller相连。
sudo mn –controller=remote –ip= –port=
! ?- V% Q# ]; Z& t+ y! x: f: e7 F

这个地方
mn  –controller=remote，ip=xxx.xxx 端口不用桥。
# e8 ~7 X2 Y6 i4 A% q* }

查看PC上floodlight信息，可以发现有OpenFlow Switch与之相连。进入http://localhost:8080/ui/index.html
1 w. _4 y; D, v8 d

执行如下，看看结果：
mininet>nodes
mininet>dump
mininet>net
mininet>pingall

(其一)

（（（（（（（（（（（（（（（（（（（（（（（（（（（（（（（（（（（以后再看

上述命令将创建多个文件：Floodlight.launch，Floodlight_junit.launch，classpath和.project。打开Eclipse软件，可以通过下面这些来设置新的Eclipse项目。

■打开eclipse创建一个新的工程

■File -> Import -> General -> Existing Projects into Workspac ，点击下一步

■点击“Browse”。选择之前放置Floodlight的路径

■点击Floodlight

■点击“Finish”

现在就产生了一个Floodlight的Eclipse工程。由于我们是使用静态模块加载系统运行Floodlight，我们必须配置Eclipse来正确的运行Floodlight。创建Floodlight目标文件：

■点击Run->Run Configurations

■右击Java Application，选择 New

■“Name”使用“FloodlightLaunch”

■“Project”使用“Floodlight”

■“Main”使用“net.floodlightcontroller.core.Main”

■点击“Apply”

■点击“Run”，Floodlight就开始运行了

（4）运行Floodlight后可以通过登录http://localhost:8080/ui/index.html使用Floodlight提供的web管理界面查看里面的信息，包括交换机、主机等等，因为我们没有接什么设备，页面没有什么信息。

4 配置Floodlight

Floodlight提供了两个配置文件：floodlightdefault.properties和learningswitch.properties，路径都位于floodlight/src/main/resources/。通过这两个配置文件可以查看Floodlight已经加载的子模块以及控制器的侦听端口、web端口，默认的侦听端口是6633，web端口是8080。如有必要用户可以自定义加载子模块和修改侦听端口，通过vi命令修改配置文件后，在Floodlight目录下执行ant编译后重启Floodlight即可。配置参数如下两图a）、图b）所示：

图a） floodlightdefault.properties配置信息

图b） learningswitch.properties配置信息

5 常用Floodlight命令

Floodlight将自己的API通过Rest Api的形式向外暴露，关于Rest Api，就是将程序的API封装成为通用的http GET/PUT的形式，这样的话无需关注程序实现细节，通过发送http请求即可完成API操作。所以用户可以通过Floodlight的Restful api来向Floodlight请求各种信息，包括交换机状态、能力、拓扑等。需要注意，通过Floodlight的Restful api返回的信息以json格式封装。REST Api信息用户访问http://www.projectfloodlight.org/floodlight/来获得。

（1）请求该控制器上所有的switch的DPID，可以参考如下命令，其中localhost:8080要换成控制器的ip和port。

（2）加入流表项

（3）读取流表项

注：这种方式是通过static flow pusher来获取流表项。

（4）删除流表项

假如要删除所有的流表项，使用如下命令：

其它常见操作同Open vSwitch。

6 Floodlight可兼容交换机

下面列出了可以和Floodlight控制器兼容的交换机：

虚拟交换机

■Open vSwitch（OVS）

硬件交换机

■Arista 7050

■Brocade MLXe

■Brocade CER

■Brocade CES

■Dell S4810

■Dell Z9000

■Extreme Summit x440, x460, x670

■HP 3500, 3500yl, 5400zl, 6200yl, 6600, and 8200zl (the old-style L3 hardware match platform)

■HP V2 line cards in the 5400zl and 8200zl (the newer L2 hardware match platform)

■Huawei openflow-capable router platforms

■IBM 8264

■Juniper (MX, EX)

■NEC IP8800

■NEC PF5240

■NEC PF5820

■NetGear 7328SO

■NetGear 7352SO

■Pronto (3290, 3295, 3780) - runs the shipping pica8 software

）））））））））））））））））））））））））））））））

+ G( g Q3 C+ O, d( X

+ d/ w( E( ?1 I8 G" H0 F