docker容器网络配置

四种网络模式配置

bridge模式

当Docker进程启动时，会在主机上创建一个名为docker0的虚拟网桥，此主机上启动的Docker容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。

从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关。在主机上创建一对虚拟网卡veth pair设备，Docker将veth pair设备的一端放在新创建的容器中，并命名为eth0（容器的网卡），另一端放在主机中，以vethxxx这样类似的名字命名，并将这个网络设备加入到docker0网桥中。可以通过brctl show命令查看。

bridge模式是docker的默认网络模式，不写--network参数，就是bridge模式。使用docker run -p时，docker实际是在iptables做了DNAT规则，实现端口转发功能。可以使用iptables -t nat -vnL查看

[root@localhost ~]# docker run -it --name t1 --rm busybox
/ # ifconfig
eth0      Link encap:Ethernet  HWaddr 02:42:AC:11:00:02  
          inet addr:192.168.78.136  Bcast:192.168.255.255  Mask:255.255.0.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:17 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:2224 (2.1 KiB)  TX bytes:0 (0.0 B)

lo        Link encap:Local Loopback  
          inet addr:192.168.78.139  Mask:255.0.0.0
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)
/ # exit
[root@localhost ~]# docker container ls -a
// 在创建容器时添加--network bridge与不加--network选项效果是一致的
[root@localhost ~]# docker run -it --name t1 --network bridge --rm busybox
/ # ifconfig 
eth0      Link encap:Ethernet  HWaddr 02:42:AC:11:00:02  
          inet addr:192.168.78.136  Bcast:192.168.255.255  Mask:255.255.0.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:17 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:2224 (2.1 KiB)  TX bytes:0 (0.0 B)

lo        Link encap:Local Loopback  
          inet addr:192.168.78.139  Mask:255.0.0.0
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)
 / # exit

container模式

这个模式指定新创建的容器和已经存在的一个容器共享一个 Network Namespace，而不是和宿主机共享。新创建的容器不会创建自己的网卡，配置自己的 IP，而是和一个指定的容器共享 IP、端口范围等。同样，两个容器除了网络方面，其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过 lo 网卡设备通信。

//启动第一个容器
[root@rhel1 ~]# docker run -it --name b1 --rm busybox
/ # ifconfig
eth0      Link encap:Ethernet  HWaddr 02:42:0A:00:00:02  
          inet addr:192.168.78.136  Bcast:10.0.255.255  Mask:255.255.0.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:6 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:508 (508.0 B)  TX bytes:0 (0.0 B)
//启动第二个容器

[root@rhel1 ~]# docker run -it --name b2 --rm busybox
/ # ifconfig
eth0      Link encap:Ethernet  HWaddr 02:42:0A:00:00:03  
          inet addr:10.0.0.3  Bcast:10.0.255.255  Mask:255.255.0.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:6 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:508 (508.0 B)  TX bytes:0 (0.0 B)
//可以看到名为b2的容器IP地址是10.0.0.3，与第一个容器的IP地址不是一样的，也就是说并没有共享网络，此时如果我们将第二个容器的启动方式改变一下，就可以使名为b2的容器IP与B1容器IP一致，也即共享IP，但不共享文件系统。

[root@rhel1 ~]# docker run -it --name b2 --rm --network container:b1 busybox
/ # ifconfig
eth0      Link encap:Ethernet  HWaddr 02:42:0A:00:00:02  
          inet addr:10.0.0.2  Bcast:10.0.255.255  Mask:255.255.0.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:8 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:648 (648.0 B)  TX bytes:0 (0.0 B)
//此时我们在b1容器上创建一个目录

/ # mkdir /tmp/data
/ # ls /tmp
data
//到b2容器上检查/tmp目录会发现并没有这个目录，因为文件系统是处于隔离状态，仅仅是共享了网络而已。

//在b2容器上部署一个站点

/ # echo 'hello world' > /tmp/index.html
/ # ls /tmp
index.html
/ # httpd -h /tmp
/ # netstat -antl
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       
tcp        0      0 :::80                   :::*                    LISTEN  
//在b1容器上用本地地址去访问此站点

/ # wget -O - -q 192.168.78.139:80
hello world
//由此可见，container模式下的容器间关系就相当于一台主机上的两个不同进程

host模式

如果启动容器的时候使用host模式，那么这个容器将不会获得一个独立的Network Namespace，而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡，配置自己的IP等，而是使用宿主机的IP和端口。但是，容器的其他方面，如文件系统、进程列表等还是和宿主机隔离的。

使用host模式的容器可以直接使用宿主机的IP地址与外界通信，容器内部的服务端口也可以使用宿主机的端口，不需要进行NAT，host最大的优势就是网络性能比较好，但是docker host上已经使用的端口就不能再用了，网络的隔离性不好。

//启动容器时直接指明模式为host

[root@rhel1 ~]# docker run -it --name b2 --rm --network host busybox        
/ # ifconfig
docker0   Link encap:Ethernet  HWaddr 02:42:06:25:98:91  
          inet addr:10.0.0.1  Bcast:10.0.255.255  Mask:255.255.0.0
          inet6 addr: fe80::42:6ff:fe25:9891/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:55 errors:0 dropped:0 overruns:0 frame:0
          TX packets:82 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:8339 (8.1 KiB)  TX bytes:7577 (7.3 KiB)

ens10     Link encap:Ethernet  HWaddr 00:0C:29:01:78:90  
          inet addr:192.168.10.144  Bcast:192.168.10.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe01:7890/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:55301 errors:0 dropped:0 overruns:0 frame:0
          TX packets:26269 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:63769938 (60.8 MiB)  TX bytes:2672449 (2.5 MiB)

lo        Link encap:Local Loopback  
          inet addr:192.168.78.139  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:42 errors:0 dropped:0 overruns:0 frame:0
          TX packets:42 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:4249 (4.1 KiB)  TX bytes:4249 (4.1 KiB)

vethf0    Link encap:Ethernet  HWaddr 06:4F:68:16:6E:B0  
          inet6 addr: fe80::44f:68ff:fe16:6eb0/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:8 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:0 (0.0 B)  TX bytes:648 (648.0 B)
//此时如果我们在这个容器中启动一个http站点，我们就可以直接用宿主机的IP直接在浏览器中访问这个容器中的站点了。

none模式

使用none模式，Docker容器拥有自己的Network Namespace，但是，并不为Docker容器进行任何网络配置。也就是说，这个Docker容器没有网卡、IP、路由等信息。需要我们自己为Docker容器添加网卡、配置IP等。

这种网络模式下容器只有lo回环网络，没有其他网卡。none模式可以在容器创建时通过--network none来指定。这种类型的网络没有办法联网，封闭的网络能很好的保证容器的安全性。

应用场景：

• 启动一个容器处理数据，比如转换数据格式
• 一些后台的计算和处理任务

[root@rhel1 ~]# docker run -it --name t1 --network none --rm busybox      
/ # ifconfig -a
lo        Link encap:Local Loopback  
          inet addr:192.168.78.139  Mask:255.0.0.0
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

/ # exit

Linux内核实现名称空间的创建

ip netns命令

可以借助ip netns命令来完成对 Network Namespace 的各种操作。ip netns命令来自于iproute安装包，一般系统会默认安装，如果没有的话，请自行安装。

注意：ip netns命令修改网络配置时需要 sudo 权限。

可以通过ip netns命令完成对Network Namespace 的相关操作，可以通过ip netns help查看命令帮助信息：

[root@localhost ~]# ip netns help
Usage: ip netns list
       ip netns add NAME
       ip netns set NAME NETNSID
       ip [-all] netns delete [NAME]
       ip netns identify [PID]
       ip netns pids NAME
       ip [-all] netns exec [NAME] cmd ...
       ip netns monitor
       ip netns list-id
//默认情况下，Linux系统中是没有任何 Network Namespace的，所以ip netns list命令不会返回任何信息。

通过命令创建一个名为ns0的命名空间：

[root@rhel1 ~]# ip netns list
[root@rhel1 ~]# ip netns add ns0
[root@rhel1 ~]# ip netns list
ns0
//新创建的 Network Namespace 会出现在/var/run/netns/目录下。如果相同名字的 namespace 已经存在，命令会报Cannot create namespace file "/var/run/netns/ns0": File exists的错误。

[root@rhel1 ~]# ls /var/run/netns/
ns0

操作Network Namespace

ip命令提供了ip netns exec子命令可以在对应的 Network Namespace 中执行命令。

查看新创建 Network Namespace 的网卡信息

[root@rhel1 ~]# ip netns exec ns0 ip addr
1: lo:  mtu 65536 qdisc noop state DOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

可以看到，新创建的Network Namespace中会默认创建一个lo回环网卡，此时网卡处于关闭状态。此时，尝试去 ping 该lo回环网卡，会提示Network is unreachable

[root@rhel1 ~]# ip netns exec ns0 ping 192.168.78.139
connect: 网络不可达

通过下面的命令启用lo回环网卡

[root@rhel1 ~]# ip netns exec ns0 ip link set lo up
[root@rhel1 ~]# ip netns exec ns0 ping 192.168.78.139   
PING 192 (192.168.78.139) 56(84) bytes of data.
64 bytes from 192.168.78.139: icmp_seq=1 ttl=64 time=0.047 ms
64 bytes from 192.168.78.139: icmp_seq=2 ttl=64 time=0.073 ms

转移设备

我们可以在不同的 Network Namespace 之间转移设备（如veth）。由于一个设备只能属于一个 Network Namespace ，所以转移后在这个 Network Namespace 内就看不到这个设备了。

其中，veth设备属于可转移设备，而很多其它设备（如lo、vxlan、ppp、bridge等）是不可以转移的。

veth pair

veth pair 全称是 Virtual Ethernet Pair，是一个成对的端口，所有从这对端口一 端进入的数据包都将从另一端出来，反之也是一样。
引入veth pair是为了在不同的 Network Namespace 直接进行通信，利用它可以直接将两个 Network Namespace 连接起来。

创建veth pair

[root@rhel1 ~]# ip link add type veth
[root@rhel1 ~]# ip a
10: veth0@veth1:  mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether 32:c4:23:dd:a7:1c brd ff:ff:ff:ff:ff:ff
11: veth1@veth0:  mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether a2:52:52:cd:54:62 brd ff:ff:ff:ff:ff:ff

可以看到，此时系统中新增了一对veth pair，将veth0和veth1两个虚拟网卡连接了起来，此时这对 veth pair 处于”未启用“状态。

实现Network Namespace间通信

下面我们利用veth pair实现两个不同的 Network Namespace 之间的通信。刚才我们已经创建了一个名为ns0的 Network Namespace，下面再创建一个信息Network Namespace，命名为ns1

[root@rhel1 ~]# ip netns add ns1
[root@rhel1 ~]# ip netns list
ns1
ns0

//然后我们将veth0加入到ns0，将veth1加入到ns1
[root@rhel1 ~]# ip link set veth0 netns ns0
[root@rhel1 ~]# ip link set veth1 netns ns1

//然后我们分别为这对veth pair配置上ip地址，并启用它们
[root@rhel1 ~]# ip netns exec ns0 ip link set veth0 up
[root@rhel1 ~]# ip netns exec ns0 ip addr add 10.0.0.1/24 dev veth0
[root@rhel1 ~]# ip netns exec ns1 ip link set lo up
[root@rhel1 ~]# ip netns exec ns1 ip link set veth1 up
[root@rhel1 ~]# ip netns exec ns1 ip addr add 10.0.0.2/24 dev veth1

查看这对veth pair的状态

[root@localhost ~]# ip netns exec ns0 ip a
1: lo:  mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
14: veth0@if15:  mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 22:ab:34:6c:8e:4e brd ff:ff:ff:ff:ff:ff link-netns ns1
    inet 10.0.0.1/24 scope global veth0
       valid_lft forever preferred_lft forever
    inet6 fe80::20ab:34ff:fe6c:8e4e/64 scope link 
       valid_lft forever preferred_lft forever
[root@localhost ~]# ip netns exec ns1 ip a
1: lo:  mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
15: veth1@if14:  mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 3a:96:1d:55:df:63 brd ff:ff:ff:ff:ff:ff link-netns ns0
    inet 10.0.0.2/24 scope global veth1
       valid_lft forever preferred_lft forever
    inet6 fe80::3896:1dff:fe55:df63/64 scope link 
       valid_lft forever preferred_lft forever

从上面可以看出，我们已经成功启用了这个veth pair，并为每个veth设备分配了对应的ip地址。我们尝试在ns1中访问ns0中的ip地址：

[root@cxr ~]# ip netns exec ns1 ping 10.0.0.1
PING 10.0.0.1 (10.0.0.1) 56(84) bytes of data.
64 bytes from 10.0.0.1: icmp_seq=1 ttl=64 time=0.065 ms
64 bytes from 10.0.0.1: icmp_seq=2 ttl=64 time=0.053 ms
64 bytes from 10.0.0.1: icmp_seq=3 ttl=64 time=0.055 ms

可以看到，veth pair成功实现了两个不同Network Namespace之间的网络交互。

veth设备重命名

[root@localhost ~]# ip netns exec ns0 ifconfig -a
eth0: flags=4098  mtu 1500
        inet 10.0.0.1  netmask 255.255.255.0  broadcast 0.0.0.0
        ether 22:ab:34:6c:8e:4e  txqueuelen 1000  (Ethernet)
        RX packets 17  bytes 1314 (1.2 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 17  bytes 1314 (1.2 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

3.容器的常用操作

查看容器的主机名

[root@rhel1 ~]# docker run -it --name t1 --network bridge --rm busybox
/ # hostname
6769d7841221

在容器启动时注入主机名

[root@localhost ~]# docker run -it --name t1 --network bridge --hostname cxr --rm busybox
/ # hostname 
rhel
/ # cat /etc/hosts
127.0.0.1       localhost
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
192.78.0.1      rhel
/ # cat /etc/resolv.conf 
# Generated by NetworkManager
search example.com
nameserver 192.168.78.2
/ # ping www.baidu.com
PING www.baidu.com (103.235.46.39): 56 data bytes
64 bytes from 103.235.46.39: seq=0 ttl=127 time=76.751 ms
64 bytes from 103.235.46.39: seq=6 ttl=127 time=80.523 ms
64 bytes from 103.235.46.39: seq=7 ttl=127 time=61.499 ms

手动往/etc/hosts文件中注入主机名到IP地址的映射

[root@rhel ~]# docker run -it --name t1 --network bridge --hostname cxr --add-host cxr.a.com:1.1.1.1 --rm busybox
/ # cat /etc/hosts 
127.0.0.1       localhost
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
1.1.1.1 cxr.a.com
192.78.0.1      rhel1

开放容器端口

执行docker run的时候有个-p选项，可以将容器中的应用端口映射到宿主机中，从而实现让外部主机可以通过访问宿主机的某端口来访问容器内应用的目的。

-p选项能够使用多次，其所能够暴露的端口必须是容器确实在监听的端口。

-p选项的使用格式：

• -p
  • 将指定的容器端口映射至主机所有地址的一个动态端口
• -p :
  • 将容器端口映射至指定的主机端口
• -p ::
  • 将指定的容器端口映射至主机指定的动态端口
• -p ::
  • 将指定的容器端口映射至主机指定的端口

动态端口指的是随机端口，具体的映射结果可使用docker port命令查看。

[root@localhost ~]# docker run --name web --rm -p 80 nginx
//以上命令执行后会一直占用着前端，我们新开一个终端连接来看一下容器的80端口被映射到了宿主机的什么端口上

[root@localhost ~]# docker port web
80/tcp -> 0.0.0.0:32769
//由此可见，容器的80端口被暴露到了宿主机的32769端口上，此时我们在宿主机上访问一下这个端口看是否能访问到容器内的站点

[root@localhost ~]# curl http://127.0.0.1:32769







Welcome to nginx!
If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.

For online documentation and support please refer to
nginx.org.

Commercial support is available at
nginx.com.

Thank you for using nginx.


iptables
 防火墙规则将随容器的创建自动生成，随容器的删除自动删除规则。

//将容器端口映射到指定IP的随机端口

[root@localhost ~]# docker run --name web --rm -p 192.168.10.144::80 nginx
//在另一个终端上查看端口映射情况

[root@localhost ~]# docker port web
80/tcp -> 192.168.10.144:32768
//将容器端口映射到宿主机的指定端口

[root@localhost ~]# docker run --name web --rm -p 80:80 nginx
在另一个终端上查看端口映射情况

[root@localhost ~]# docker port web
80/tcp -> 0.0.0.0:80