|
|
Docker 自身的4种网络工作方式,和一些自定义网络模式:
* ]$ W" x0 ]( U3 j& a' K安装 Docker 时,它会自动创建三个网络,bridge(创建容器默认连接到此网络)、 none 、host
: G3 h$ `4 h$ p7 ^; x5 G0 |host:容器将不会虚拟出自己的网卡,配置自己的 IP 等,而是使用宿主机的IP和端口。5 d) {" P, i2 E N* M6 I2 ]: E" O, |" M
Container:创建的容器不会创建自己的网卡,配置自己的 IP,而是和一个指定的容器共享 IP、端口范围。
9 o0 O6 B2 S( I2 C: s$ QNone:该模式关闭了容器的网络功能。0 U9 \2 o4 c5 u) F: s3 I' A
Bridge:此模式会为每一个容器分配、设置 IP 等,并将容器连接到一个 docker0 虚拟网桥,通过 docker0 网桥以及 Iptables nat 表配置与宿主机通信。( H; c( c, g% D& ^
以上都是不用动手的,真正需要配置的是自定义网络。$ P/ l: i- w* j6 q! v" b" s
一、前言
+ ~9 b" q1 o) ]- @1 J4 P+ V! V/ h当你开始大规模使用 Docker 时,你会发现需要了解很多关于网络的知识。
, w# q2 w/ T e% s4 p4 b/ t0 `Docker 作为目前最火的轻量级容器技术,有很多令人称道的功能,如 Docker 的镜像管理。8 I: A; n- ?! R) ]# t7 Q
然而,Docker 同样有着很多不完善的地方,网络方面就是 Docker 比较薄弱的部分。2 ?) e1 L- T$ d5 C! l' h& v
因此,我们有必要深入了解 Docker 的网络知识,以满足更高的网络需求。: \$ o8 z3 l$ V2 K1 q6 i% N M
本文首先介绍了 Docker 自身的4种网络工作方式,然后介绍一些自定义网络模式。1 b: R6 X: j; \% ?) t1 }
二、默认网络6 ~- I$ a: [9 o1 K7 f
当你安装 Docker 时,它会自动创建三个网络。你可以使用以下 docker network ls命令列出这些网络:7 L7 b- C4 Y0 x& o, u9 J
$ docker network ls
$ \( F1 o* {5 ?% g: jNETWORK ID NAME DRIVER, V7 ]; J {! A) r
7fca4eb8c647 bridge bridge. M9 M1 d3 t" x+ W0 ]
9f904ee27bf5 none null8 I# G, c P. D; e1 j: H: Y/ o
cf03ee007fb4 host host- {: k7 f" g9 p, k3 G+ ]0 v
Docker 内置这三个网络,运行容器时,你可以使用该 –network 标志来指定容器应连接到哪些网络。: [4 f/ y; Q" O3 \) E$ d
该 bridge 网络代表 docker0 所有 Docker 安装中存在的网络。除非你使用该 docker run --network=<NETWORK> 选项指定,否则 Docker 守护程序默认将容器连接到此网络。
8 c5 _" f# z5 e: j- ]我们在使用 docker run 创建 Docker 容器时,可以用 –net 选项指定容器的网络模式,Docker 可以有以下 4 种网络模式:
: C* z$ @0 e/ y7 {. f0 Shost 模式:使用 –net=host 指定。
) c. C8 f( `/ g2 V8 Lnone 模式:使用 –net=none 指定。+ {! ]. @3 n0 o- f7 c
bridge 模式:使用 –net=bridge 指定,默认设置。
8 f1 X o& u3 e# Jcontainer 模式:使用 –net=container:NAME_or_ID 指定。0 h( Q' d9 {; {6 \; D
下面分别介绍一下 Docker 的各个网络模式。7 a v. K, u5 e$ e4 e
2.1 Host# o7 o" M$ j2 ~" i4 s
相当于 Vmware 中的桥接模式,与宿主机在同一个网络中,但没有独立 IP 地址。
" e( R* Y- y2 O众所周知,Docker 使用了 Linux 的 Namespaces 技术来进行资源隔离,如 PID Namespace 隔离进程,Mount Namespace 隔离文件系统,Network Namespace 隔离网络等。
! y b' k: F8 d8 g6 T一个 Network Namespace 提供了一份独立的网络环境,包括网卡、路由、Iptable 规则等都与其他的 Network Namespace 隔离。5 g0 S& }. h' A$ R) B- ^
一个 Docker 容器一般会分配一个独立的 Network Namespace。
1 c) R4 q# O/ t8 X' U但如果启动容器的时候使用 host 模式,那么这个容器将不会获得一个独立的 Network Namespace,而是和宿主机共用一个 Network Namespace。% e, U% e: C5 w
容器将不会虚拟出自己的网卡,配置自己的 IP 等,而是使用宿主机的 IP 和端口。
8 a8 M/ k3 ~* x0 x" q例如,我们在 10.10.0.186/24 的机器上用 host 模式启动一个含有 nginx 应用的 Docker 容器,监听 tcp80 端口。; g$ a! v! d0 U* r
# 运行容器;1 Y1 C# g" q) [. M
$ docker run --name=nginx_host --net=host -p 80:80 -d nginx
2 ]: ]5 Y( { e. I74c911272942841875f4faf2aca02e3814035c900840d11e3f141fbaa884ae5c) b. r7 i3 |# U- ]4 l; W
# 查看容器;
) P K! s% n/ A, Y$ docker ps
* i( N8 K% t4 WCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES7 S& H5 D- o- {& B2 p7 {
74c911272942 nginx "nginx -g 'daemon ..." 25 seconds ago Up 25 seconds nginx_host
, Y1 t7 {5 ~1 ~" [当我们在容器中执行任何类似 ifconfig 命令查看网络环境时,看到的都是宿主机上的信息。
" H0 [, g+ h; E! l7 a6 h而外界访问容器中的应用,则直接使用 10.10.0.186:80 即可,不用任何 NAT 转换,就如直接跑在宿主机中一样。
! T7 [4 {5 Q) T6 @- t但是,容器的其他方面,如文件系统、进程列表等还是和宿主机隔离的。
, g- F' V7 a8 ]% p% c$ netstat -nplt | grep nginx- o* C2 }# ?# R+ c
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 27340/nginx: master
0 \" F6 Z2 R! b" {: s, W/ M2.2 Container
; i# b6 |: e/ ^$ U5 G$ {1 O在理解了 host 模式后,这个模式也就好理解了。4 M u( Y: ^* e7 M3 c
这个模式指定新创建的容器和已经存在的一个容器共享一个 Network Namespace,而不是和宿主机共享。
% z9 x+ O- `& W1 O4 Z. m5 w( r新创建的容器不会创建自己的网卡,配置自己的 IP,而是和一个指定的容器共享 IP、端口范围等。
( L( a) v2 {, v w$ h% a同样,两个容器除了网络方面,其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过 lo 网卡设备通信。8 \( `3 D. o- n7 `4 F
2.3 None
3 W) @% F' T0 |$ Q9 P% b该模式将容器放置在它自己的网络栈中,但是并不进行任何配置。
- d" r: C+ o* \5 K实际上,该模式关闭了容器的网络功能,在以下两种情况下是有用的:容器并不需要网络(例如只需要写磁盘卷的批处理任务)。
, Z; e' S! M8 J3 Q7 `( c0 I5 ioverlay5 m$ l0 K# x4 n7 x
在 docker1.7 代码进行了重构,单独把网络部分独立出来编写,所以在 docker1.8 新加入的一个 overlay 网络模式。Docker 对于网络访问的控制也是在逐渐完善的。
7 K" }) E' j n2.4 Bridge! z1 R( `! w, P8 r% N
相当于 Vmware 中的 Nat 模式,容器使用独立 network Namespace,并连接到 docker0 虚拟网卡(默认模式)。+ d% }& H4 S* ~1 D
通过 docker0 网桥以及 Iptables nat 表配置与宿主机通信;# Z$ n' z) a5 b1 _6 {
bridge 模式是 Docker 默认的网络设置,此模式会为每一个容器分配 Network Namespace、设置 IP 等,并将一个主机上的 Docker 容器连接到一个虚拟网桥上。下面着重介绍一下此模式。
- @. |5 Z3 ]! `, g M" U三、Bridge 模式
% ^3 L, G% Z4 P. d3.1 Bridge 模式的拓扑! n' r/ D# ~( L0 W
当 Docker server 启动时,会在主机上创建一个名为 docker0 的虚拟网桥,此主机上启动的 Docker 容器会连接到这个虚拟网桥上。
& u7 j/ w! L1 c3 W& X虚拟网桥的工作方式和物理交换机类似,这样主机上的所有容器就通过交换机连在了一个二层网络中。
8 V0 R/ C8 [% ]! A$ W接下来就要为容器分配 IP 了,Docker 会从 RFC1918 所定义的私有 IP 网段中,选择一个和宿主机不同的IP地址和子网分配给 docker0,连接到 docker0 的容器就从这个子网中选择一个未占用的 IP 使用。
9 X5 y( Y8 q' y如一般 Docker 会使用 172.17.0.0/16 这个网段,并将 172.17.0.1/16 分配给 docker0 网桥(在主机上使用 ifconfig 命令是可以看到 docker0 的,可以认为它是网桥的管理接口,在宿主机上作为一块虚拟网卡使用)。0 e! q, d3 G# r6 Z1 I+ b
单机环境下的网络拓扑如下,主机地址为 10.10.0.186/24。" Y) P- n7 a# k5 d6 b
1 W% a; e4 S0 V3.2 Docker:网络模式详解
, I9 T7 @% r0 @" ADocker 完成以上网络配置的过程大致是这样的:
4 m* A: S `1 X+ R在主机上创建一对虚拟网卡 veth pair 设备。veth 设备总是成对出现的,它们组成了一个数据的通道,数据从一个设备进入,就会从另一个设备出来。因此,veth 设备常用来连接两个网络设备。) o' e) v9 t% L* ?1 D9 a
Docker 将 veth pair 设备的一端放在新创建的容器中,并命名为 eth0。另一端放在主机中,以 veth65f9 这样类似的名字命名,并将这个网络设备加入到 docker0 网桥中,可以通过 brctl show 命令查看。
6 _. b2 v3 L- W6 B n) K1 l$ brctl show
5 z0 ]2 i O C* W; Obridge name bridge id STP enabled interfaces
$ m% F6 d) t& a2 @docker0 8000.02425f21c208 no" P: C' A' x; G+ z. D, [5 Q
从 docker0 子网中分配一个 IP 给容器使用,并设置 docker0 的 IP 地址为容器的默认网关。3 i* T8 a; O4 e! Z! X
# 运行容器;0 { D5 L [* ?# @
$ docker run --name=nginx_bridge --net=bridge -p 80:80 -d nginx
+ D# ?0 H' T# g. o( H3 S& O2 V9582dbec7981085ab1f159edcc4bf35e2ee8d5a03984d214bce32a30eab4921a
% I+ M0 ? f3 K9 d5 R2 \# 查看容器;
4 i0 s9 N& U4 p. A( n! Q2 W6 G$ docker ps& r8 k. ^. J) c
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
; H' `' b5 m; ?5 f, {9582dbec7981 nginx "nginx -g 'daemon ..." 3 seconds ago Up 2 seconds 0.0.0.0:80->80/tcp nginx_bridge
& @9 I% `3 ^. t- \6 `( ?# 查看容器网络;( ~# J9 W4 Q( X
$ docker inspect 9582dbec7981* P4 c) M5 K" p* `
"Networks": {
, m0 P$ N0 e' x "bridge": {
. K [! N1 i; D "IPAMConfig": null,8 m/ Q% t1 C+ A1 ]0 v: Q
"Links": null,, o* S5 c4 z) F1 i) _" s! v
"Aliases": null,
$ X4 I& {( O9 ]! T& d, D3 \3 L. } "NetworkID": "9e017f5d4724039f24acc8aec634c8d2af3a9024f67585fce0a0d2b3cb470059",
W6 n) Q9 F$ {9 c/ L0 F* n "EndpointID": "81b94c1b57de26f9c6690942cd78689041d6c27a564e079d7b1f603ecc104b3b",, ]. N. _+ I: R* \& j# A8 m
"Gateway": "172.17.0.1",
" x" E7 _) ]3 [" v: x3 ~0 X2 n0 q "IPAddress": "172.17.0.2",/ Y# G4 M( h0 a& _" o. a
"IPPrefixLen": 16,
* u! X( u( h, X( n# {9 C% b "IPv6Gateway": "",3 `( u3 u' b' T% {0 \( m
"GlobalIPv6Address": "",' n' t2 v; F$ k% C z8 l9 F. Q" m
"GlobalIPv6PrefixLen": 0,7 `- }. ~: z) K
"MacAddress": "02:42:ac:11:00:02"
g1 l! }- f4 D5 ~( C, Z4 R }
9 { N! [& B' C: e! O' ]7 Q" J# I}
- f& V0 I; R7 s1 K: E$ docker network inspect bridge
" X' T( m! |$ J7 p$ K* j[
( @/ C Y) j8 S' n0 ?" J6 |0 Y9 g {
, o" g* \2 M# x$ B "Name": "bridge",
: Q/ R. C8 Y0 @& {8 } "Id": "9e017f5d4724039f24acc8aec634c8d2af3a9024f67585fce0a0d2b3cb470059",4 r+ r/ q P/ q2 U6 n! p
"Created": "2017-08-09T23:20:28.061678042-04:00",: P2 {# _ j! G, Z: K+ n, k8 ~3 ]4 M
"Scope": "local",5 D4 l/ g' d3 {9 `! S7 s' b
"Driver": "bridge",0 s, |6 c. y$ Z0 s5 O
"EnableIPv6": false,5 s0 O* ~ ~$ L) ^2 L
"IPAM": {
. _9 |. b7 E/ x( ]" D0 q( u "Driver": "default",
6 }( K* y* K: ]* n, j2 h" g: | "Options": null,6 n6 W2 _) _$ H" [$ G- L
"Config": [
, e& {+ w$ H: s {
4 W* s0 W$ [, y8 b* M/ |3 t "Subnet": "172.17.0.0/16"
& t( k0 ~$ Y! S9 { }
0 ]4 k9 C1 l; c* a ]
) Q0 d$ U3 p! ^8 N# x4 n! F% u },
: }8 Z9 V. q: s "Internal": false,8 s+ G0 I) A+ n4 n
"Attachable": false,& N: M8 C, S1 r& v( D' E, d! E
"Ingress": false,, d& s/ p- l6 d- ]+ F; L
"Containers": {0 ?: X" Q. @. ^ K
"9582dbec7981085ab1f159edcc4bf35e2ee8d5a03984d214bce32a30eab4921a": {
7 g" r1 @4 U" r F$ N "Name": "nginx_bridge",
' b2 }$ W8 P8 N% p) j% j* F "EndpointID": "81b94c1b57de26f9c6690942cd78689041d6c27a564e079d7b1f603ecc104b3b",
: l. ?2 C' ]$ }" Z) g& s "MacAddress": "02:42:ac:11:00:02",
4 p6 {* z* T7 h k7 y "IPv4Address": "172.17.0.2/16",, l) V( g0 d$ q' [: F* j
"IPv6Address": ""
" m9 L6 Y$ u" N5 C: D$ b1 L4 V1 n3 n }: P6 _. S8 W) m/ C! K
},& A6 W- T g2 H
"Options": {
4 S. U4 W4 b) I; [& t# G "com.docker.network.bridge.default_bridge": "true",; f4 f. H, J! v' k9 W. T
"com.docker.network.bridge.enable_icc": "true",, O! u/ U2 x# E8 P* |) W
"com.docker.network.bridge.enable_ip_masquerade": "true",
+ Y* R, [9 o% P1 }- L "com.docker.network.bridge.host_binding_ipv4": "0.0.0.0",2 b3 @3 _$ ]- Z" u2 X7 \/ U- y, e
"com.docker.network.bridge.name": "docker0",
. @* _5 ] d3 [8 T2 B( h "com.docker.network.driver.mtu": "1500"
, I( p& n9 r v. b },- I4 M; B" M' H6 ~" \
"Labels": {}
9 y- g' |0 D6 u, N+ i }
5 z- M, c0 T& D$ H L9 ^]
0 n9 D9 ^7 v3 T/ Z4 u9 x: j网络拓扑介绍完后,接着介绍一下 bridge 模式下容器是如何通信的。
; F* D2 K! n# E: v% H; h3.3 bridge 模式下容器的通信
9 _# y6 j. A7 Q; B4 y# E& m5 {在 bridge 模式下,连在同一网桥上的容器可以相互通信(若出于安全考虑,也可以禁止它们之间通信,方法是在 DOCKER_OPTS 变量中设置 –icc=false,这样只有使用 –link 才能使两个容器通信)。
8 W# E, W) `+ f) aDocker 可以开启容器间通信(意味着默认配置 –icc=true ),也就是说,宿主机上的所有容器可以不受任何限制地相互通信,这可能导致拒绝服务攻击。进一步地,Docker 可以通过 –ip_forward 和 –iptables 两个选项控制容器间、容器和外部世界的通信。
& F5 p+ h1 G3 `/ g, t! K; V+ W容器也可以与外部通信,我们看一下主机上的 Iptable 规则,可以看到这么一条
+ h5 ^. x! }* ^8 `& J-A POSTROUTING -s 172.17.0.0/16 ! -o docker0 -j MASQUERADE
* o; p% o" `/ h0 G3 \" Y3 J这条规则会将源地址为 172.17.0.0/16 的包(也就是从 Docker 容器产生的包),并且不是从 docker0 网卡发出的,进行源地址转换,转换成主机网卡的地址。: I3 R5 {4 G! [( y) [0 I
这么说可能不太好理解,举一个例子说明一下。
3 L* q1 B' W0 r① 假设主机有一块网卡为 eth0,IP 地址为 10.10.101.105/24,网关为 10.10.101.254。9 v) U5 `- v/ o
② 从主机上一个 IP 为 172.17.0.1/16 的容器中 ping 百度(180.76.3.151)。
4 I4 |! C! Y4 z3 O③ IP 包首先从容器发往自己的默认网关 docker0,包到达 docker0 后,也就到达了主机上。
. g* h# J1 O( z. u$ H# H0 \④ 然后会查询主机的路由表,发现包应该从主机的 eth0 发往主机的网关 10.10.105.254/24。! }0 b+ o9 V$ h: s2 c" M
⑤ 接着包会转发给 eth0,并从 eth0 发出去(主机的 ip_forward 转发应该已经打开)。
( J6 v' v0 \1 Y/ y$ I, L% |这时候,上面的 Iptable 规则就会起作用,对包做 SNAT 转换,将源地址换为 eth0 的地址。
- W; O( j1 }' s3 I0 N& [这样,在外界看来,这个包就是从 10.10.101.105 上发出来的,Docker 容器对外是不可见的。# q* M J+ W: ?" {
那么,外面的机器是如何访问 Docker 容器的服务呢?我们首先用下面命令创建一个含有 web 应用的容器,将容器的 80 端口映射到主机的80端口。4 l7 A# M; o8 M! g
$ docker run --name=nginx_bridge --net=bridge -p 80:80 -d nginx" C: O. `- [/ P" ?: g! Q2 I
然后查看 Iptable 规则的变化,发现多了这样一条规则:; \. o/ C; x5 N& n
-A DOCKER ! -i docker0 -p tcp -m tcp --dport 80 -j DNAT --to-destination 172.17.0.2:80
s, C$ q. P, `" a此条规则就是对主机 eth0 收到的目的端口为 80 的 tcp 流量进行 DNAT 转换,将流量发往 172.17.0.2:80,也就是我们上面创建的 Docker 容器。所以,外界只需访问 10.10.101.105:80 就可以访问到容器中的服务。
3 s8 p' {& z2 x# \5 h4 m除此之外,我们还可以自定义 Docker 使用的 IP 地址、DNS 等信息,甚至使用自己定义的网桥,但是其工作方式还是一样的。
9 {8 J* |+ A( f4 ], D* H四、自定义网络
3 e5 Y4 b, d4 k建议使用自定义的网桥来控制哪些容器可以相互通信,还可以自动 DNS 解析容器名称到 IP 地址。
1 Q, p, \# i/ `8 S8 RDocker 提供了创建这些网络的默认网络驱动程序,你可以创建一个新的 Bridge 网络,Overlay 或 Macvlan 网络。你还可以创建一个网络插件或远程网络进行完整的自定义和控制。
2 K' Z9 v; t) M! @# i0 Z( p V你可以根据需要创建任意数量的网络,并且可以在任何给定时间将容器连接到这些网络中的零个或多个网络。: m7 D; H3 V- z( @
此外,您可以连接并断开网络中的运行容器,而无需重新启动容器。当容器连接到多个网络时,其外部连接通过第一个非内部网络以词法顺序提供。
' S9 u; R& i$ I接下来介绍 Docker 的内置网络驱动程序。6 R* S2 f( j+ y2 ?" F% a, j
4.1 bridge
1 j* {! R1 ~9 v3 \0 U, g4 w一个 bridge 网络是 Docker 中最常用的网络类型。桥接网络类似于默认 bridge 网络,但添加一些新功能并删除一些旧的能力。以下示例创建一些桥接网络,并对这些网络上的容器执行一些实验。
& G1 B& l ?9 ?$ docker network create --driver bridge new_bridge8 b, D% ?+ m$ F( J3 f
创建网络后,可以看到新增加了一个网桥(172.18.0.1)。2 h% I5 e1 ^" n7 w$ p
$ ifconfig! k$ X! }' p- I0 d# K
br-f677ada3003c: flags=4099<UP,BROADCAST,MULTICAST> mtu 1500% K: V. {: f! D# o
inet 172.18.0.1 netmask 255.255.0.0 broadcast 0.0.0.06 M6 r9 W% z1 u9 ~4 E V+ m
ether 02:42:2f:c1:db:5a txqueuelen 0 (Ethernet)5 h' E, N N! ^. _* q) |" y
RX packets 4001976 bytes 526995216 (502.5 MiB)
2 J% e/ A$ S: K RX errors 0 dropped 35 overruns 0 frame 0
% M9 V/ W2 B; \5 B ^ TX packets 1424063 bytes 186928741 (178.2 MiB)6 y" r8 p4 ]2 g+ {2 v7 G
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0& b2 ]5 a/ G% p q4 t: C. @
docker0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
2 k, n3 N1 p Y$ O: W inet 172.17.0.1 netmask 255.255.0.0 broadcast 0.0.0.0 s: ~" L8 N0 D8 I( p
inet6 fe80::42:5fff:fe21:c208 prefixlen 64 scopeid 0x20<link>1 B/ |9 m0 ^8 |2 [( J7 ?2 y
ether 02:42:5f:21:c2:08 txqueuelen 0 (Ethernet)
7 {6 x0 c2 t, P0 F1 Z RX packets 12 bytes 2132 (2.0 KiB); i) h' f" G8 Y* y3 g; w& G
RX errors 0 dropped 0 overruns 0 frame 08 c" s( `7 g& } \0 ]
TX packets 24 bytes 2633 (2.5 KiB)
0 `# F& N5 M! R TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
/ ?) k, d# {" V" p4 I" ?- {4.2 Macvlan! J+ v4 j' t, `7 l% k+ w v5 Y
Macvlan 是一个新的尝试,是真正的网络虚拟化技术的转折点。
8 s' p$ W1 A) H1 d" S( }; [Linux 实现非常轻量级,因为与传统的 Linux Bridge 隔离相比,它们只是简单地与一个 Linux 以太网接口或子接口相关联,以实现网络之间的分离和与物理网络的连接。
1 \; W1 I% n: D9 OMacvlan 提供了许多独特的功能,并有充足的空间进一步创新与各种模式。
( V8 T) [. `# Z' C4 W这些方法的两个高级优点是绕过 Linux 网桥的正面性能以及移动部件少的简单性。0 w4 U& e& `7 f, u+ K7 g. X7 m# t* F
删除传统上驻留在 Docker 主机 NIC 和容器接口之间的网桥留下了一个非常简单的设置,包括容器接口,直接连接到 Docker 主机接口。5 X% _# W! d% A1 d, e
由于在这些情况下没有端口映射,因此可以轻松访问外部服务。; Y# y" Y) b0 E6 ^; [% A
4.2.1 Macvlan Bridge 模式示例用法
9 b& R0 ^3 H0 Y2 `4 gMacvlan Bridge 模式每个容器都有唯一的 MAC 地址,用于跟踪 Docker 主机的 MAC 到端口映射。9 ]* e2 a- W0 U* D! }8 X
Macvlan 驱动程序网络连接到父 Docker 主机接口。示例是物理接口,
: B; J2 }1 v5 R' K9 g' C, x* v例如:" x. K% A4 i7 s0 i
eth0,用于 802.1q VLAN 标记的子接口 eth0.10(.10代表VLAN 10)或甚至绑定的主机适配器,将两个以太网接口捆绑为单个逻辑接口。 指定的网关由网络基础设施提供的主机外部。
& B8 I: H6 V Q& r/ E/ q) U每个 Macvlan Bridge 模式的 Docker 网络彼此隔离,一次只能有一个网络连接到父节点。
3 d" d- N) g3 p每个主机适配器有一个理论限制,每个主机适配器可以连接一个 Docker 网络。
+ P6 L( J; T5 w* u9 ~同一子网内的任何容器都可以与没有网关的同一网络中的任何其他容器进行通信 macvlan bridge。
6 H5 v* Z# }+ C相同的 docker network 命令适用于 vlan 驱动程序。; L: T6 C; K# ?
在 Macvlan 模式下,在两个网络/子网之间没有外部进程路由的情况下,单独网络上的容器无法互相访问。这也适用于同一码头网络内的多个子网。8 s% `6 s& n$ h7 c* ]! m" ^
在以下示例中,eth0在docker主机网络上具有IP地址172.16.86.0/24,默认网关为172.16.86.1,网关地址为外部路由器172.16.86.1。
! z) b! c% ?3 r- l, k( F1 M& I5 i8 Y# z$ {, w% E+ r: v
注意对于 Macvlan 桥接模式,子网值需要与 Docker 主机的 NIC 的接口相匹配。例如,使用由该 -o parent= 选项指定的 Docker 主机以太网接口的相同子网和网关。
" `, I: n( L: x此示例中使用的父接口位于 eth0 子网上 172.16.86.0/24,这些容器中的容器 docker network 也需要和父级同一个子网 -o parent=。
4 \3 b" ?. D2 ~+ \) Q6 {网关是网络上的外部路由器,不是任何 ip 伪装或任何其他本地代理。
* \2 I/ P7 m7 T7 `驱动程序用 -d driver_name 选项指定,在这种情况下 -d macvlan。5 b! r5 V, ?$ Q3 Y! y: \
父节点 -o parent=eth0 配置如下:( E# H9 i5 c- A
$ ip addr show eth0, u7 G3 h8 F, ^# h7 \1 Y2 |! U$ [
3: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
- Q( |, N; U( s5 H% X0 l2 Y/ L. N inet 172.16.86.250/24 brd 172.16.86.255 scope global eth0% ^/ j3 c! F* [' O
创建 macvlan 网络并运行附加的几个容器:" Q' d+ F' {2 G0 _9 M
# Macvlan (-o macvlan_mode= Defaults to Bridge mode if not specified)
& U" f2 d; ]0 p; E9 M( b. z! K/ e' \docker network create -d macvlan \8 t+ C* M% O* @9 K
--subnet=172.16.86.0/24 \
: Z2 w3 J& `' } --gateway=172.16.86.1 \, s% _+ `5 n) r+ A @
-o parent=eth0 pub_net
% C0 z& ~+ T7 D# Run a container on the new network specifying the --ip address.
4 ]$ _9 w) N* }docker run --net=pub_net --ip=172.16.86.10 -itd alpine /bin/sh
& O. P) ]2 ^% t* A# Start a second container and ping the first
5 Z+ l2 Q! P. g' W% S. c7 ]docker run --net=pub_net -it --rm alpine /bin/sh9 ? F; x& g; U, x7 V8 T7 P
ping -c 4 172.16.86.10
8 Q1 N W9 ^& B' M. d) a看看容器 ip 和路由表:
8 j* c7 L3 I) |6 i! v9 p2 Hip a show eth0
7 P6 `8 b6 e b9 H eth0@if3: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue state UNKNOWN1 l: n$ D4 _7 I, G6 Z
link/ether 46:b2:6b:26:2f:69 brd ff:ff:ff:ff:ff:ff8 y# j% }1 i% p8 U' `& o
inet 172.16.86.2/24 scope global eth0, y2 ?9 A. [1 a) O6 {
ip route5 E6 s$ S) d; z: W& Y! d) f Y. R
default via 172.16.86.1 dev eth0
. o4 _9 c% c& q. l 172.16.86.0/24 dev eth0 src 172.16.86.2
3 s2 i6 N4 B& p7 E# NOTE: the containers can NOT ping the underlying host interfaces as
' L% r/ a9 d+ `2 k. q, g$ j4 q1 o# they are intentionally filtered by Linux for additional isolation.9 T" a4 R! N6 v, X
# In this case the containers cannot ping the -o parent=172.16.86.250
! Y5 \: n& i" H4.2.2 Macvlan 802.1q Trunk Bridge 模式示例用法5 j5 {! ~$ H, b
VLAN(虚拟局域网)长期以来一直是虚拟化数据中心网络的主要手段,目前仍在几乎所有现有的网络中隔离广播的主要手段。2 p1 P1 v; O! @' X$ \5 S
常用的 VLAN 划分方式是通过端口进行划分,尽管这种划分 VLAN 的方式设置比较很简单,但仅适用于终端设备物理位置比较固定的组网环境。 ~- x$ k) p7 k; f3 h4 P2 ^! Q; r
随着移动办公的普及,终端设备可能不再通过固定端口接入交换机,这就会增加网络管理的工作量。, N8 _! [0 \8 b4 H" c5 G' ~
比如,一个用户可能本次接入交换机的端口 1,而下一次接入交换机的端口 2,由于端口1和端口 2 属于不同的 VLAN,若用户想要接入原来的 VLAN 中,网管就必须重新对交换机进行配置。
& k6 y1 C( u$ m( ?9 k显然,这种划分方式不适合那些需要频繁改变拓扑结构的网络。. _# q0 e1 f7 b5 i
而 MAC VLAN 可以有效解决这个问题,它根据终端设备的 MAC 地址来划分 VLAN。这样,即使用户改变了接入端口,也仍然处在原 VLAN 中。6 ~6 v, U5 _* E
Mac vlan 不是以交换机端口来划分 vlan。因此,一个交换机端口可以接受来自多个 mac 地址的数据。一个交换机端口要处理多个 vlan 的数据,则要设置 trunk 模式。
: T! u9 V( w) [1 ]在主机上同时运行多个虚拟网络的要求是非常常见的。Linux 网络长期以来一直支持 VLAN 标记,也称为标准 802.1q,用于维护网络之间的数据路由隔离。连接到 Docker 主机的以太网链路可以配置为支持 802.1q VLAN ID,方法是创建 Linux 子接口,每个子接口专用于唯一的VLAN ID。
- |3 E" A- e9 B3 ]8 {3 G* E: t" c
3 \2 z: z/ z: |/ }8 l) g9 T4 W创建 Macvlan 网络(VLAN ID 10)+ I! `/ k3 A: G( m. g$ @% I7 ?! n
$ docker network create \, P- x$ u/ O3 g4 r* r2 D; g9 w
--driver macvlan \; D4 [7 h5 T/ {1 l) Q" a
--subnet=10.10.0.0/24 \
" ^' V$ `( w" {9 L --gateway=10.10.0.253 \3 c& J' v$ l9 D
-o parent=eth0.10 macvlan10
% }2 _6 E/ n q0 X9 T7 g% C+ F* {# 开启一个桥接 Macvlan 的容器
6 |: q+ g$ V; N) e2 y- N$ docker run --net=macvlan10 -it --name macvlan_test1 --rm alpine /bin/sh
# Z1 ^5 S" s& ~& P' h8 Y7 P/ # ip addr show8 C( W5 v+ y( P! X+ o5 X
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN) Y! S8 H3 }. P9 ]+ L
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
/ {0 u/ r- b% j inet 127.0.0.1/8 scope host lo6 B4 g1 p+ ~$ f" d1 }9 N
valid_lft forever preferred_lft forever: k- A0 |& i, o# h1 ]5 K
21: eth0@if13: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue state UNKNOWN
W+ g3 l/ r. u/ m- f) q& C- M link/ether 02:42:0a:0a:00:01 brd ff:ff:ff:ff:ff:ff0 r4 ^% T3 t% `! r0 b Z5 w; _4 I
inet 10.10.0.1/24 scope global eth08 m) ~, U, g9 E5 g
valid_lft forever preferred_lft forever, t6 ~. T' t; X2 Q3 g6 T2 n
# 可以看到分配了一个 10.10.0.1 的地址,然后看一下路由地址。. h; o2 _. f; G- S+ r+ ^' ]
/ # ip route
. l* X, H3 o6 j2 U2 t- udefault via 10.10.0.253 dev eth0
* N- h. J. j0 f( Q! s% C0 o; Q10.10.0.0/24 dev eth0 src 10.10.0.1
8 L. A0 e8 `1 M- M5 C! O然后再开启一个桥接 Macvlan 的容器:1 v+ O- P* @ }$ P- Y6 H
$ docker run --net=macvlan10 -it --name macvlan_test2 --rm alpine /bin/sh
8 k4 l( r3 Z9 M/ d/ # ip addr show: @- f. p8 D/ Y Z' X' @& |/ N& W
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN$ s5 \2 E8 g7 t! D
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
1 w8 F: `8 ]$ { inet 127.0.0.1/8 scope host lo# C, ^* f3 {! h+ M$ {7 I
valid_lft forever preferred_lft forever7 m5 @ \ o6 Z: G. Z% t; ?/ K! t
22: eth0@if13: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue state UNKNOWN( M/ q/ I5 A! D7 ~# Q- S
link/ether 02:42:0a:0a:00:02 brd ff:ff:ff:ff:ff:ff
/ V; `3 r4 G4 s+ s- u inet 10.10.0.2/24 scope global eth0
" R$ t$ _. a2 Z" r. ^ valid_lft forever preferred_lft forever! P, ?6 p) }- i4 T5 Z! X! `' h
# 可以看到分配了一个 10.10.0.2 的地址,然后可以在两个容器之间相互 ping,是可以 ping 通的。) x( d; w; K) A# w$ n
/ # ping 10.10.0.1
: ~* t& |0 q* A2 y2 l2 U* vPING 10.10.0.1 (10.10.0.1): 56 data bytes- y. W; R( g B" t8 R4 q: L
64 bytes from 10.10.0.1: seq=0 ttl=64 time=0.094 ms
. m. D- c) g% u# X3 }64 bytes from 10.10.0.1: seq=1 ttl=64 time=0.057 ms7 J; ^& ?9 V7 ~/ w5 X
经过上面两个容器的创建可以看出,容器IP是根据创建网络时的网段从小往大分配的。
4 ]# `8 `2 _: S5 J当然,在创建容器时,我们也可以使用 –ip 手动执行一个 IP 地址分配给容器,如下操作。
5 b, `. x0 }0 @) J. D( j4 R$ docker run --net=macvlan10 -it --name macvlan_test3 --ip=10.10.0.189 --rm alpine /bin/sh
6 ]. ?+ {0 L4 d3 |/ # ip addr show eth0" f' d$ h J j4 B( Z( Q- T/ z! D
24: eth0@if13: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue state UNKNOWN4 r+ F8 B) S1 t. ]6 ~9 J: b' _6 ^! V N
link/ether 02:42:0a:0a:00:bd brd ff:ff:ff:ff:ff:ff
, c. ~) @5 K+ _ inet 10.10.0.189/24 scope global eth0
; ]: O+ u* S M valid_lft forever preferred_lft forever- i! ^6 y' P; Q' ^% s! _! a
VLAN ID 20
, A* O s! f4 d; n接着可以创建由 Docker 主机标记和隔离的第二个 VLAN 网络,该 macvlan_mode 默认是 macvlan_mode=bridge,如下:. ?3 O8 W+ u! d/ r2 I. d/ B9 v& t
$ docker network create \- Y, X; _9 h a( \' \. \
--driver macvlan \9 `5 j) ?( {1 Y, m% E
--subnet=192.10.0.0/24 \
/ Q) a: g$ F' D --gateway=192.10.0.253 \& ]) G8 C0 r' W2 Y* }
-o parent=eth0.20 \1 S/ r6 ?8 X9 i+ s
-o macvlan_mode=bridge macvlan20
9 f g+ L1 X! ^$ B当我们创建完 Macvlan 网络之后,在 docker 主机可以看到相关的子接口,如下:
# ^9 }. n' p6 t+ U$ ifconfig
& J9 u; Z: o Oeth0.10: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
5 [0 V8 B, K4 R( j4 A; ` ether 00:0c:29:16:01:8b txqueuelen 0 (Ethernet)1 c1 K% {: G5 ?3 D ]1 `& U
RX packets 0 bytes 0 (0.0 B)% [2 [, A. c1 W( X; D
RX errors 0 dropped 0 overruns 0 frame 0( G: m4 p @# l: e3 J9 a5 e C
TX packets 18 bytes 804 (804.0 B)
7 e' C+ Y$ z5 k, ]: U* P TX errors 0 dropped 0 overruns 0 carrier 0 collisions 09 d6 J' |6 ~! U/ Q0 o( z$ d
eth0.20: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
7 h, {! J6 I9 U* ]- S ether 00:0c:29:16:01:8b txqueuelen 0 (Ethernet)
0 O$ h3 l' v' S# t, s5 r" I RX packets 0 bytes 0 (0.0 B)0 f" p/ @' a+ i, A P% m
RX errors 0 dropped 0 overruns 0 frame 0
! X) B1 d- Q+ }2 U1 W TX packets 0 bytes 0 (0.0 B): Y$ v- P3 ~ l" Q8 f. J4 g$ {
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
6 _2 K5 G$ R- x" @. F: T5 B, Q# 在 /proc/net/vlan/config 文件中,还可以看见相关的 Vlan 信息,如下:; J! A4 d% E" D# l- u4 z$ q$ N1 e2 G& j
$ cat /proc/net/vlan/config4 D/ ]8 W$ I# q0 X8 I
VLAN Dev name | VLAN ID4 O) n& l9 Q% s3 o
Name-Type: VLAN_NAME_TYPE_RAW_PLUS_VID_NO_PAD
8 K6 q8 ^! k' D) g0 Ieth0.10 | 10 | eth0) U! N/ Q3 l" P7 x y- {2 d, A- b7 {2 Y
eth0.20 | 20 | eth0
* J4 L, y! L9 t; x- O- p; f2 p |
|