docker网络

  1. 云栖社区>
  2. 博客>
  3. 正文

docker网络

技术小大人 2018-02-27 14:18:01 浏览6741
展开阅读全文

一、 Docker 中的网络功能介绍

默认情况下,容器可以建立到外部网络的连接,但是外部网络无法连接到容器。

Docker 允许通过外部访问容器或容器互联的方式来提供网络服务

外部访问容器:

容器中可以运行一些网络应用,要让外部也可以访问这些应用,可以通过  -P  或  -p  参数来指定端口映射。(当使用–P(大写)标记时,Docker 会随机映射一个随机的端口到内部容器开放的网络端口。)

注意:-P使用时需要指定--expose选项或dockerfile中用expose指定容器要暴露的端口,指定需要对外提供服务的端口。(我在这已经在dockerfile里面用expose指定了,如下图所示)


wKioL1i6b5zROBbCAABadX3dWag759.jpg

【准备工作:运行一个容器,提供web服务和ssh服务

宿主机启用路由转发(net.ipv4.ip_forward=1)】

1)使用- P

wKiom1i6b52ClnHAAABBvvFE-Po133.jpg

测试:此时访问本机的 32770端口即可访问容器内 ssh 应用。(账号和密码都是admin)

wKioL1i6b5_DIX8xAAC26jut104554.jpg

查看容器运行的httpd和sshd进程

wKiom1i6b6DxYqB1AABqg2iJxDA276.png

测试httpd服务此时访问本机的 32769端口即可访问容器内 web 应用

wKioL1i6b6LQAX4DAACRKM7TcTg083.jpg

2)使用-p

-p(小写)则可以指定要映射的端口,并且,在一个指定端口上只可以绑定一个容器

支持的格式有

ip:hostPort:containerPort | ip::containerPort| hostPort:containerPort

注意:

容器有自己的内部网络和 ip 地址(使用 docker inspect  可以获取所有的变量。)

-p 标记可以多次使用来绑定多个端口

wKiom1i6b6PThb5UAABb1LDxXl8082.jpg

测试

①ssh测试:

使用xshell工具

wKiom1i6b6SSqoz1AABw7e2b2Xs166.png

wKioL1i6b6SwfYoXAAAq6iuYd8g097.png

wKiom1i6b6WA_lCUAABgm9qFe18170.png

wKioL1i6b6WDd43vAABd9k5yfBg995.jpg

②测试web访问

wKiom1i6b6WyroEeAACRYDyR7nY523.jpg

映射到指定地址的指定端口

可以使用 ip:hostPort:containerPort 格式,指定映射使用一个特定地址,比如宿主机网卡配置的一个地址192.168.1.5

wKioL1i6b6aCFJqLAABTfhXZhbA636.jpg

映射到指定地址的任意端口

使用 ip::containerPort 绑定192.168.1.5的任意端口到容器的22、80、443端口,本地主机会自动分配一个口。

wKioL1i6b6ejWO-XAABTbRPrcTY325.jpg

注:还可以使用 udp 标记来指定 udp 端口

wKiom1i6b6iSHDbzAABjUuXEiTg931.jpg

查看映射端口配置(使用 docker port 来查看当前映射的端口配置,也可以查看到绑定的地址)

wKiom1i6b6iCkHcTAABS_lx9hZo599.png

wKioL1i6b6nCXmBFAAA3Y_CXbHQ311.jpg


Docker NATiptables实现

默认情况下,容器可以主动访问到外部网络的连接,但是外部网络无法访问到容器

1)容器访问外部实现

容器所有到外部网络的连接,源地址都会被 NAT 成本地系统的 IP 地址(即docker0地址)。这是使用 iptables 的源地址伪装操作实现的。

docker服务开启后,docker会自动在iptables的nat表中创建地址伪装,默认允许内访外

查看主机的 NAT 规则:

wKiom1i6b6rDFkI8AAAWI9nOYMQ467.png

wKioL1i6b6vRn2wnAABWj5wy8Jk394.jpg

2)外部访问容器实现

容器允许外部访问,可以在 docker run 时候通过 -p 或 -P 参数来启用,不管用那种办法,其实也是在本地的 iptable 的nat 表中添加相应的规则

①使用 -P 时:

wKioL1i6b6yRR2OVAABnRJjUXps575.jpg

②使用 -p时

wKiom1i6b66yq9pxAABonFAyv9A313.jpg


docker0  网桥

Docker服务默认会创建一个 docker0 网桥(其上有一个 docker0 内部接口),它在内核层连通了其他的物理或虚拟网卡,这就将所有容器和本地主机都放到同一个物理网络

Docker 默认指定了 docker0 接口的 IP 地址和子网掩码,让主机和容器之间可以通过网桥相互通信

由于目前 Docker 网桥是 Linux 网桥,用户可以使用 brctl  show来查看网桥和端口连接信息

wKiom1i6b6_jXaIyAABo5D6a_54317.jpg

wKioL1i6b7CTEh5GAABUxbwe1-0105.jpg

wKiom1i6b7KDjK_YAACQ_Wc_s9A101.jpg


Docker 网络配置

Docker 四种网络模式

docker run 创建 Docker 容器时,可以用 --net 选项指定容器的网络模式,Docker 有以下 4 种网络模式:

host 模式,使用 --net=host 指定。

container 模式,使用 --net=container:NAMEorID 指定。

none 模式,使用 --net=none 指定。

bridge 模式,使用 --net=bridge 指定,默认设置。

host模式

如果启动容器的时候使用host 模式,那么这个容器将不会获得一个独立的 NetworkNamespace,而是和宿主机共用一个 Network Namespace。容器将不会虚拟出自己的网卡,配置自己的 IP 等,而是使用宿主机的 IP 和端口。

例如,我们在192.168.1.5/24 的机器上用 host 模式启动一个含有 web 应用的 Docker 容器,监听 tcp 80 端口。当我们在容器中执行任何类似 ifconfig 命令查看网络环境时,看到的都是宿主机上的信息。而外界访问容器中的应用,则直接使用192.168.1.5:80 即可,不用任何 NAT 转换,就如直接跑在宿主机中一样。但是,容器的其他方面,如文件系统、进程列表等还是和宿主机隔离的

启动容器前,执行pgrep http查看宿主机httpd进程

wKioL1i6b7PAaXIxAAAo6OMr3zk894.png

wKiom1i6b7TA-dtXAABLvkdov3Q420.jpg

wKioL1i6b7TC74sIAAAni1xXwjY717.png

wKiom1i6b7WQ-VZlAABd8cjAoJs541.jpg

container模式

这个模式指定新创建的容器和已经存在的一个容器共享一个 Network Namespace,而不是和宿主机共享。新创建的容器不会创建自己的网卡,配置自己的 IP,而是和一个指定的容器共享 IP、端口范围等。同样,两个容器除了网络方面,其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过 lo 网卡设备通信。

wKioL1i6b7eSdU5XAABvrODqDow414.jpg

wKioL1i6b7iwcuXIAAB1N_jeHW0679.jpg

none模式

这个模式和前两个不同。在这种模式下,Docker 容器拥有自己的 Network Namespace,但是,并不为 Docker容器进行任何网络配置。也就是说,这个 Docker 容器没有网卡、IP、路由等信息。需要我们自己为 Docker 容器添加网卡、配置 IP 等

bridge模式

当 docker 启动时,会在主机上创建一个docker0 的虚拟网卡。他随机挑选 RFC1918 私有网络中的一段地址给docker0 。比如 172.17.0.1/16,16 位掩码的网段可以拥有 65534 个地址可以使用,这对主机和容器来说应该足够了。

docker0  不是普通的网卡,他是桥接到其他网卡的虚拟网卡,容器使用它来和主机相互通信当创建一个 docker 容器的时候,它就创建了一个对接口,当数据包发送到一个接口时,另外一个接口也可以收到相同的数据包,它们是绑在一起的一对孪生接口。这对接口在容器中那一端的的名字是 eth0 ,宿主主机端的会指定一个唯一的名字,比如 vethAQI2QT 这样的名字。

所有的 veth* 的接口都会桥接到 docker0,这样 docker 就创建了在主机和所有容器之间一个虚拟共享网。

wKiom1i6b7vz5J8eAAEoXRVWyPU893.png

bridge 模式是 Docker 默认的网络设置,此模式会为每一个容器分配 NetworkNamespace、设置 IP 等,并将一个主机上的Docker 容器连接到一个虚拟网桥上。当 Docker server 启动时,会在主机上创建一个名为 docker0 的虚拟网桥,此主机上启动的 Docker 容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似,这样主机上的所有容器就通过交换机连在了一个二层网络中。接下来就要为容器分配 IP 了,Docker 会从 RFC1918 所定义的私有 IP 网段中,选择一个和宿主机不同的IP地址和子网分配给 docker0,连接到 docker0 的容器就从这个子网中选择一个未占用的 IP 使用。如一般 Docker 会使用 172.17.0.0/16 这个网段,并将 172.17.0.1/16 分配给 docker0 网桥(在主机上使用 ifconfig 命令是可以看到 docker0 的,可以认为它是网桥的管理接口,在宿主机上作为一块虚拟网卡使用

wKioL1i6b7ySi7pFAABQt_2h7G4494.jpg

Docker完成以上网络配置的过程大致是这样的:

1.在主机上创建一对虚拟网卡veth pair设备。veth设备总是成对出现的,它们组成了一个数据的通道,数据从一个设备进入,就会从另一个设备出来。因此,veth设备常用来连接两个网络设备。

2.Docker将veth pair设备的一端放在新创建的容器中,并命名为eth0。另一端放在主机中,以vethd6368d7这样类似的名字命名,并将这个网络设备加入到docker0网桥中,可以通过brctl show命令查看。

注:brctl 工具依赖 bridge-utils 软件包。

wKiom1i6b7ygpRi4AAAi0-3cTFY771.jpg

3.从docker0子网中分配一个IP给容器使用,并设置docker0的IP地址为容器的默认网关。(容器内部访问外网以及容器和主机之间的端口映射都是通过Iptables实现的,可以查看Iptables表分析)

查看当前 docker0地址

wKiom1i6cbui5uTIAABUaI0PyD0957.jpg

在容器运行时,每个容器都会分配一个特定的虚拟机口并桥接到 docker0。每个容器都会配置同docker0 ip 相同网段的专用 ip 地址,docker0 的 IP 地址被用于所有容器的默认网关。

wKioL1i6cb3he8FuAADEPiovudw299.jpg

wKiom1i6cb7Cdj9TAAAqyOD_Rr4362.jpg

wKiom1i6cb_jrEfsAABDByepWE8762.jpg

wKioL1i6ccDAOEZjAABn_puDL7g567.jpg

以上, docker0 扮演着test2和test4这两个容器的虚拟接口 vethxx interface 桥接的角色。

执行docker  network  inspect bridge查看所有桥接网络的详细信息

wKioL1i6crPxd3efAAB_Sx_FqRc640.jpg

自定义网桥

除了默认的 docker0  网桥,用户也可以指定网桥来连接各个容器。在启动 Docker 服务的时候,使用  -b BRIDGE 或 --bridge=BRIDGE  来指定使用的网桥。

Docker 允许你管理 docker0 桥接或者通过-b选项自定义桥接网卡,需要安装bridge-utils软件包。

基本步骤如下:

1.确保 docker 的进程是停止的

2.创建自定义网桥

3.给网桥分配特定的 ip

4.以 -b 的方式指定网桥

具体操作步骤:

1)如果服务已经运行,那需要先停止服务,并删除旧的网桥

wKioL1i6cc2jprnDAAA3Ytd5dkU181.jpg

2)然后创建一个网桥  bridge0,给网桥分配特定的 ip

wKiom1i6cc2xXKizAAA0sJwWEQk234.jpg

3)查看确认网桥创建并启动

wKiom1i6cc7z0ZlIAAAphFgde-E619.jpg

或者

wKioL1i6cc7yM0ugAABA-FuRvfA291.jpg

4)修改/etc/sysconfig/docker文件(添加截图中黄色部分

wKioL1i6cc7Aq3HHAAAf6dMCmxo243.jpg

5)启动 Docker 服务

wKiom1i6cc-jyTw3AAAXtV4UEAo255.png

6)新建一个容器,可以看到它已经桥接到了  bridge0 上

wKioL1i6cdDQANztAABJnlgK_5o575.jpg

7)进入容器,查看容器的IP

wKiom1i6cdHhjCgcAABlV5XMpWA409.jpg

wKioL1i6cdLxiuiwAAAvjzu4Qew343.jpg

小结:docker 服务启动成功并绑定容器到新的网桥,新建一个容器,你会看到它的 ip 是我们的设置的新 ip段,docker 会自动检测到它。用 brctl show 可以看到容器启动或则停止后网桥的配置变化,在容器中使用 ip a 和 ip r 来查看 ip 地址配置和路由信息。

让我们回顾一些基础知识:

机器需要一个网络接口来发送和接受数据包,路由表来定义如何到达哪些地址段。这里的网络接口可以不是物理接口。事实上,每个 linux 机器上的 lo 环回接口(docker  容器中也有)就是一个完全的linux 内核虚拟接口,它直接复制发送缓存中的数据包到接收缓存中。 docker 让宿主主机和容器使用特殊的虚拟接口来通信,通信的 2 端叫“ peers“,他们在主机内核中连接在一起,所以能够相互通信。创建他们很简单,前面介绍过了。

docker 创建容器的思想步骤如下:

创建一对虚拟接口

其中宿主主机一端使用一个名字比如 veth65f9 ,他是唯一的 , 另外一端桥接到默认的 docker0, 或其它你指定的桥接网卡。

主机上的 veth65f9 这种接口映射到新的新容器中的名称通常是 eth0, 在容器这个隔离的 networknamespace  中,它是唯一的,不会与其他接口名字和它冲突。

从主机桥接网卡的地址段中获取一个空闲地址给 eth0 使用,并设定默认路由到桥接网卡。

完成这些之后,容器就可以使用这eth0 虚拟网卡来连接其他容器和其他网络。

你也可以为特殊的容器设定特定的参数,在 docker run 的时候使用 --net ,它有 4 个可选参数:

--net=bridge :默认连接到 docker0 网桥。

--net=host :告诉 docker 不要将容器放到隔离的网络堆栈中。尽管容器还是有自己的文件系统、进程列表和资源限制。但使用 ip addr 命令这样命令就可以知道实际上此时的的容器处于和 docker  宿主主机的一样的网络级别,它拥有完全的宿主主机接口访问权限。虽然它不允许容器重新配置主机的网络堆栈,除非 --privileged=true,—但是容器进程可以跟其他 root 进程一样可以打开低数字的端口,可以访问本地网络服务比如 D-bus ,还可以让容器做一些意想不到的事情,比如重启主机,使用这个选项的时候要非常小心!

--net=container:NAME_or_ID :告诉 docker 将新容器的进程放到一个已经存在的容器的网络堆栈中,新容器进程有它自己的文件系统、进程列表和资源限制,但它会和那个已经存在的容器共享 ip 地址和端口,他们之间来可以通过环回接口通信。

--net=none :告诉 docker 将新容器放到自己的网络堆栈中,但是不要配置它的网络。

 

  

下面通过配置一个以 --net=none 启动的容器,使他达到跟平常一样具有访问网络的权限。来介绍docker是如何连接到容器中的。

1)启动一个运行 /bin/bash的容器,并指定 --net=none

wKiom1i6cdPDrcx3AABCxP_qwAw254.jpg

2)再开启一个新的终端,查找这个容器的进程 id ,然后创建它的命名空间,后面的

ip  netns 会用到

wKiom1i6cdTB-1XMAAA-HmEOZ_k378.jpg

3)检查桥接网卡的 ip 和子网掩码

wKioL1i6cdTAwBtzAABhoXcPvL4558.jpg

4)创建一对“peer”接口 A和 B ,绑定 A到网桥,并启用它

wKiom1i6cdajECaUAABpaCW0JVg297.jpg

5)将 B 放到容器的网络命名空间,命名为 eth0, 配置一个空闲的 ip

wKioL1i6cdaiu5voAABA7W3eq0E004.jpg

6)自此,你就可以像平常一样使用网络了

wKiom1i6cdfDLyO5AAC2djHtAss228.jpg

当你退出容器后, docker 清空容器,容器的 eth0 随网络命名空间一起被摧毁, A  接口也被自动从docker0 取消注册。不用其他命令,所有东西都被清理掉了!

注意 ip netns exec 命令,它可以让我们像 root 一样配置网络命名空间。但在容器内部无法使用,因为统一的安全策略,docker 限制容器进程配置自己的网络。使用 ip netns exec  可以让我们不用设置--privileged=true 就可以完成一些可能带来危险的操作。

扩展1)创建一个点到点连接(不做重点)

默认情况下,Docker 会将所有容器连接到由  docker0  提供的虚拟子网中。

用户有时候需要两个容器之间可以直连通信,而不用通过主机网桥进行桥接。

解决办法很简单:创建一对 peer  接口,分别放到两个容器中,配置成点到点链路类型即可。

首先启动 2 个容器:

#docker run -i -t --rm --net=none 镜像id/bin/bash

root@1f1f4c1f931a:/#

#docker run -i -t --rm --net=none镜像id/bin/bash

root@12e343489d2f:/#

找到进程号,然后创建网络名字空间的跟踪文件。

#docker inspect -f '``.`State`.`Pid`' 1f1f4c1f931a

2989

#docker inspect -f '``.`State`.`Pid`' 12e343489d2f

3004

#mkdir -p /var/run/netns

#ln -s /proc/2989/ns/net /var/run/netns/2989

#ln -s /proc/3004/ns/net /var/run/netns/3004

创建一对 peer  接口,然后配置路由

#ip link add A type veth peer name B

 

#ip link set A netns 2989

#ip netns exec 2989 ip addr add 10.1.1.1/32 dev A

#ip netns exec 2989 ip link set A up

#ip netns exec 2989 ip route add 10.1.1.2/32 dev A

 

#ip link set B netns 3004

#ip netns exec 3004 ip addr add 10.1.1.2/32 dev B

#ip netns exec 3004 ip link set B up

#ip netns exec 3004 ip route add 10.1.1.1/32 dev B

现在这 2 个容器就可以相互 ping 通,并成功建立连接。点到点链路不需要子网和子网掩码

 

扩展2)DNS/HOSTNAME自定义

Docker 没有为每个容器专门定制镜像,那么怎么自定义配置容器的主机名和 DNS 配置呢?秘诀就是它利用虚拟文件来挂载到来容器的 3 个相关配置文件。

在容器中使用 mount 命令可以看到挂载信息:注(mount命令软件包util-linux)

# mount

...

 

...

这种机制可以让宿主主机 DNS 信息发生更新后,所有 Docker 容器的 dns 配置通过/etc/resolv.conf文件立刻得到更新。

如果用户想要手动指定容器的配置,可以利用下面的选项。

-h HOSTNAME or --hostname=HOSTNAME 设定容器的主机名,它会被写到容器内的/etc/hostname 和 /etc/hosts。但它在容器外部看不到,既不会在 docker ps 中显示,也不会在其他的容器的 /etc/hosts 看到。

 

 

--link=CONTAINER_NAME:ALIAS 选项会在创建容器的时候,添加一个其他容器的主机名到

/etc/hosts 文件中,让新容器的进程可以使用主机名ALIAS 就可以连接它。

--dns=IP_ADDRESS 添加 DNS 服务器到容器的 /etc/resolv.conf 中,让容器用这个服务器来解析所有不在/etc/hosts 中的主机名。

--dns-search=DOMAIN 设定容器的搜索域,当设定搜索域为.example.com 时,在搜索一个名为 host的主机时, DNS 不仅搜索 host,还会搜索host.example.com。注意:如果没有上述最后 2 个选项,Docker 会默认用主机上的 /etc/resolv.conf 来配置容器。

具体其他选项可以查看docker  run --help帮助

 

 

容器互联

使用--link参数可以让容器之间安全的进行交互。

1)下面先创建一个新的数据库容器

wKioL1i6cdei_ChkAAAjxDs9W48267.jpg

2)然后创建一个新的 web 容器,并将它连接到 dbserver 容器

wKioL1i6cdfgypg2AAAz_iCnPE8159.jpg

3)使用docker ps来查看容器的连接

wKiom1i6cdjBtRf0AAB88pRdnHw066.jpg

4)docker 会添加子容器的 host 信息到父容器的  /etc/hosts  的文件中,我们来查看父容器(web)的hosts文件

wKioL1i6cdjRSXMTAADE0DiksgI342.jpg

5)在 web 容器中安装 ping 命令来测试跟dbserver容器的连通。

注意:官方的镜像默认没有安装 ping,需要自行安装,软件包名iputils

wKiom1i6cdrCPVuaAAAaAC3CHlE860.png

wKiom1i6cdrTBjL5AACwrPgyYlo843.jpg

多台物理主机之间的容器互联(暴露容器到真实网络中)

wKioL1i6cdqB3PjvAABMsbVN38w612.jpg

docker  默认的桥接网卡是 docker0 。它只会在本机桥接所有的容器网卡,举例来说容器的虚拟网卡在主机上看一般叫做 vethxxx,而 docker 只是把所有这些网卡桥接在一起

这样就可以把这个网络看成是一个私有的网络,通过 nat  连接外网,如果要让外网连接到容器中,就需要做端口映射,即 -p 参数。

如果在企业内部应用,或则做多个物理主机的集群,可能需要将多个物理主机的容器组到一个物理网络中来,那么就需要将这个网桥桥接到我们指定的网卡上。

wKiom1i6cdvQgVJcAADL-4YWk74256.png

主机 A 的网卡一和主机 B 的网卡三都连着物理交换机的同一个 vlan 101, 这样网桥一和网桥三就相当于在同一个物理网络中了,而容器一、容器三、容器四也在同一物理网络中了,他们之间可以相互通信,而且可以跟同一 vlan 中的其他物理机器互联。

这样就直接把容器暴露到物理网络上了,多台物理主机的容器也可以相互联网了。需要注意的是,这样就需要自己来保证容器的网络安全了。

不同容器之间的通信可以借助于 pipework 这个工具

pipework是由Docker的工程师JérômePetazzoni开发的一个Docker网络配置工具,由200多行shell实现,方便易用。

下载地址:wget https://github.com/jpetazzo/pipework.git

1)解压缩pipwork软件

wKioL1i6cdvBIAixAAB_p5cvGps091.jpg

2)安装相应依赖软件

wKioL1i6cdyTSLztAABcpn9S-Pk832.jpg

3)配置桥接网络

wKioL1i6dIeBe6YUAAAi3dbFKqc229.jpg

wKioL1i6dIfS3Y7yAACSGFjoqyE837.jpg

wKiom1i6dIeBMDAiAAAa_cWwvCI346.png

wKiom1i6dIjj_nDWAAAywdVBblA022.png

4)重启network服务

wKioL1i6dIjQzra4AAC_H7SMqlQ228.jpg

wKioL1i6dInhk2zuAABjdBIlttY885.jpg

5)关掉docker服务,并修改docker服务的配置文件

wKiom1i6dImSQFMhAAAv1ck4HJc064.png

wKioL1i6dImQHDN9AAA11GP7Usg889.jpg

wKiom1i6dIrhdUVAAAAk60_b1sg244.png

6)把 docker 默认桥接指定到了br0,则最好在创建容器的时候加上--net=none,防止自动分配的 IP 在局域网中有冲突。使用镜像运行一个容器

wKioL1i6dIrD7hxCAAAkjLmbreE933.jpg

wKiom1i6dIqh3gCmAABvEO7kFXw738.jpg

wKioL1i6dIvSiYl7AADXyygnha8048.jpg

wKiom1i6dIvzn75VAAAvEr5PkiI607.jpg

7)从一台客户机上访问容器提供的web服务

wKiom1i6dIuByM3HAABePSU-3_Q242.jpg

8)使用ip netns添加静态路由,避免创建容器使用--privileged=true选项造成一些不必要的安全问题

wKioL1i6dIzQHbtRAAAyr9T2XNg499.jpg

9)进入容器查看路由记录

wKioL1i6dIzD0IqKAABAwDh3X4w095.jpg

在其它宿主机进行相应的配置,新建容器并使用 pipework 添加虚拟网卡桥接到 br0,测试通信情况即可

:可以删除 docker0,直接把 docker 的桥接指定为 br0。也可以保留使用默认的配置,这样单主机容器之间的通信可以通过 docker0,而跨主机不同容器之间通过 pipework 新建 docker 容器的网卡桥接到 br0,这样跨主机容器之间就可以通信了。

  

扩展:

pipework可以在下面用三个场景来使用和工作原理。

一、将Docker容器配置到本地网络环境中

为了使本地网络中的机器和Docker容器更方便的通信,我们经常会有将Docker容器配置到和主机同一网段的需求。这个需求其实很容易实现,我们只要将Docker容器和主机的网卡桥接起来,再给Docker容器配上IP就可以了。

下面我们来操作一下,我主机A地址为192.168.1.4/24,网关为192.168.1.1,需要给Docker容器的地址配置为192.168.1.100/24。在主机A上做如下操作:

安装pipework

下载地址:wgethttps://github.com/jpetazzo/pipework.git

unzip pipework-master.zip

1)解压缩pipework

wKiom1i6dI3yREkJAAB-vh6An0w317.jpg

2)启动Docker容器

wKiom1i6dI2xkAe0AAAkoGJOiOc043.jpg

3)配置容器网络,并连到网桥br0上。网关在IP地址后面加@指定。

wKioL1i6dI2xq_KhAAA5FP_Doqw313.jpg

wKioL1i6dJCzuw_qAADPo605ieo517.jpg

4)将主机eno16777736桥接到br0上,并把eno16777736的IP配置在br0上。

wKiom1i6dJHCRYQNAACnc96U8vw348.jpg

5)完成上述步骤后,我们发现Docker容器已经可以使用新的IP和主机网络里的机器相互通信了。

进入容器内部查看容器的地址

wKiom1i6dJOB-rhjAACc3dBKvWg426.jpg

wKioL1i6dJPRPMrpAAAzHN1Z254419.jpg

6)在本网段内用一台客户机ping test1容器

wKiom1i6dJTDVtX2AAA9No4IqVo284.png

pipework工作原理分析:

那么容器到底发生了哪些变化呢?我们docker attach到test1上,发现容器中多了一块eth1的网卡,并且配置了192.168.1.100/24的IP,而且默认路由也改为了192.168.1.1。这些都是pipework帮我们配置的。

首先pipework检查是否存在br0网桥,若不存在,就自己创建

  

创建veth pair设备,用于为容器提供网卡并连接到br0网桥。

  

使用docker inspect找到容器在主机中的PID,然后通过PID将容器的网络命名空间链接到/var/run/netns/目录下。这么做的目的是,方便在主机上使用ip netns命令配置容器的网络。因为,在Docker容器中,我们没有权限配置网络环境

  

将之前创建的veth pair设备分别加入容器和网桥中。在容器中的名称默认为eth1,可以通过pipework的-i参数修改该名称

  

然后就是配置新网卡的IP。若在IP地址的后面加上网关地址,那么pipework会重新配置默认路由。这样容器通往外网的流量会经由新配置的eth1出去,而不是通过eth0和docker0。(若想完全抛弃自带的网络设置,在启动容器的时候可以指定--net=none)

以上就是pipework配置Docker网络的过程,这和Docker的bridge模式有着相似的步骤。事实上,Docker在实现上也采用了相同的底层机制。

通过源代码,可以看出,pipework通过封装Linux上的ip、brctl等命令,简化了在复杂场景下对容器连接的操作命令,为我们配置复杂的网络拓扑提供了一个强有力的工具。当然,如果想了解底层的操作,我们也可以直接使用这些Linux命令来完成工作,甚至可以根据自己的需求,添加额外的功能。

二、单主机Docker容器VLAN划分

pipework不仅可以使用Linuxbridge连接Docker容器,还可以与OpenVswitch结合,实现Docker容器的VLAN划分。下面,就来简单演示一下,在单机环境下,如何实现Docker容器间的二层隔离。

为了演示隔离效果,我们将4个容器放在了同一个IP网段中。但实际他们是二层隔离的两个网络,有不同的广播域。

1)安装openvswitch的依赖软件,搭建其安装运行基础环境(直接用在线yum源安装即可)

wKioL1i6dJXCJSkyAAAZxGZnZe8045.jpg

2)下载并打包(即源码包重新封装成rpm包)openvswitch的包(我这已经下载好了,我直接解压缩打包即可)

wget http://openvswitch.org/releases/openvswitch-2.3.1.tar.gz

wKioL1i6dJXg4lEEAABBB_BqDNY775.jpg

3)之后会在~/rpmbuild/RPMS/x86_64/里有2个文件

wKiom1i6dJaBe4dVAAArW7bXM7k577.jpg

4)selinux必须关闭

wKioL1i6dJaQeuMrAAAbb_bJpU8860.png

wKiom1i6dJeSDvOUAABBq-WDZfE265.png

wKiom1i6dJihVeROAAATgwQG53Y045.png

5)安装2个文件的第一个就行

wKioL1i6dJixew2LAAAU7Ve3lf0643.jpg

wKiom1i6dJmCxI3oAAAivF6QX18405.png

6)启动

wKiom1i6dY7DDpbvAAAr-csWul8249.jpg

或者

wKiom1i6dY6hskOnAAAamzke1j0092.png

7)查看状态

wKioL1i6dY6gtLHcAAAxnNfADmI013.jpg

或者

wKioL1i6dY-QJmMZAACUPGP0O9c297.jpg

8)安装pipework过程略,参考前面的操作

9)创建交换机,把物理网卡加入ovs1

wKiom1i6dY-jhOlGAAA-hRMcCtc767.jpg

wKioL1i6dZCS06EyAAD4jVADhUY039.jpg

10)在主机A上创建4个Docker容器,test1、test2、test3、test4

wKiom1i6dZHjJmiOAACJKE4bV_M504.jpg

11)将test1,test2划分到一个vlan中,vlan在mac地址后加@指定,此处mac地址省略。

wKiom1i6dZGR7K8gAABCM1MrgqY212.jpg

12)完成上述操作后,使用docker attach连到容器中,然后用ping命令测试连通性,发现test1和test2可以相互通信,但与test3和test4隔离。这样,一个简单的VLAN隔离容器网络就已经完成。

wKioL1i6dZTDeAWXAADlbocOyZ4253.jpg

wKiom1i6dZaxFl6oAADwletOU-E396.jpg

:由于OpenVswitch本身支持VLAN功能,所以这里pipework所做的工作和之前介绍的基本一样,只不过将Linux bridge替换成了OpenVswitch,在将veth pair的一端加入ovs0网桥时,指定了tag。底层操作如下:

ovs-vsctl add-port ovs0 veth* tag=100

三、多主机Docker容器的VLAN划分

上面介绍完了单主机上VLAN的隔离,下面我们将情况延伸到多主机的情况。有了前面两个例子做铺垫,这个也就不难了。为了实现这个目的,我们把宿主机上的网卡桥接到各自的OVS网桥上,然后再为容器配置IP和VLAN就可以了。我们实验环境如下,主机A和B各有一块网卡eno16777736,IP地址分别为192.168.1.4/24、192.168.1.6/24。在主机A上创建两个容器test1、test2,分别在VLAN100和VLAN 200上。在主机B上创建test3、test4,分别在VLAN100和VLAN 200 上。最终,test1可以和test3通信,test2可以和test4通信

wKioL1i6dZfz8wPpAABD2vOPjDM916.jpg

1)在主机A上

创建Docker容器

docker run -dit --name test1 docker.io.centos:latest

docker run -dit --name test2 docker.io.centos:latest

划分VLAN

pipework br0 test1 192.168.110/24@192.168.1.1  @100

pipework br0 test2 192.168.120/24@192.168.1.1  @200

将eno16777736桥接到br0上

ip addr add 192.168.1.4/24 dev br0

ip addr del 192.168.1.4/24 dev eno16777736

ovs-vsctl add-port br0 eno16777736

ip route del default

ip route add default gw 192.168.1.1 dev br0

2)在主机B上

创建Docker容器

docker run -dit --name test3 docker.io.centos:latest

docker run -dit --name test4 docker.io.centos:latest

划分VLAN

pipework br0 test3 192.168.1.130/24@192.168.1.1  @100

pipework br0 test4 192.168.1.140/24@192.168.1.1  @200

将eno16777736桥接到br0上

ip addr add 192.168.1.6/24 dev br0

ip addr del 192.168.1.6/24 dev eno16777736

ovs-vsctl add-port br0 eno16777736

ip route del default

ip route add default gw 192.168.1.1 dev br0

 

完成上面的步骤后,主机A上的test1和主机B上的test3容器就划分到了一个VLAN中,并且与主机A上的test2和主机B上的test4隔离(主机eno16777736网卡需要设置为混杂模式,连接主机的交换机端口应设置为trunk模式,即允许VLAN 100和VLAN200的包通过)。

注:除此之外,pipework还支持使用macvlan设备、设置网卡MAC地址等功能。不过,pipework有一个缺陷,就是配置的容器在关掉重启后,之前的设置会丢失。

wKiom1i6dZnyLkVoAADLgyLd7ZY993.png

其中promisc表示网卡混杂模式

其他参数的含义:

UP: 表示网卡开启状态;

BROADCAST: 表示支持广播;

promisc: 表示网卡混杂模式;

RUNNING: 表示网卡的网线被接上;

MULTICAST: 表示支持组播;

MTU: 表示MaximumTrasmission Unit 最大传输单元(字节),即此接口一次所能传输的最大封包;

RX: 表示网络由激活到目前为止接收的数据包;

TX: 表示网络由激活到目前为止发送的数据包;

collisions: 表示网络信号冲突的情况;

txqueuelen: 表示传输缓冲区长度大小;

 

设置网卡工作模式

#ifconfig 网卡名 promisc 设置混杂

#ifconfig 网卡名 -promisc 取消混杂

 

 

网卡工作模式有4种,分别是:

广播(Broadcast)模式

多播(Multicast)模式

单播模式(Unicast)

混杂模式(Promiscuous)

在混杂模式下的网卡能够接收一切通过它的数据,而不管该数据目的地址是否是它。如果通过程序将网卡的工作模式设置为 “混杂模式”,那么网卡将接受所有流经它的数据帧,这实际上就是Sniffer工作的基本原理:让网卡接收一切他所能接收的数据。Sniffer就是一种能将本地网卡状态设成混杂(promiscuous)状态的软件,当网卡处于这种"混杂"方式时,它对所有遇到的每一个数据帧都 产生一个硬件中断以便提醒操作系统处理流经该物理媒体上的每一个报文包。可见,Sniffer工作在网络环境中的底层,它会拦截所有的正在网络上传送的数据,并且通过相应的软件处理,可以实时分析这些数据的内容,进而分析所处的网络状态和整体布局。

 

 

扩展:利用Weave实现跨主机容器互联


一、 Docker 中的网络功能介绍

默认情况下,容器可以建立到外部网络的连接,但是外部网络无法连接到容器。

Docker 允许通过外部访问容器或容器互联的方式来提供网络服务

外部访问容器:

容器中可以运行一些网络应用,要让外部也可以访问这些应用,可以通过  -P  或  -p  参数来指定端口映射。(当使用–P(大写)标记时,Docker 会随机映射一个随机的端口到内部容器开放的网络端口。)

注意:-P使用时需要指定--expose选项或dockerfile中用expose指定容器要暴露的端口,指定需要对外提供服务的端口。(我在这已经在dockerfile里面用expose指定了,如下图所示)


wKioL1i6b5zROBbCAABadX3dWag759.jpg

【准备工作:运行一个容器,提供web服务和ssh服务

宿主机启用路由转发(net.ipv4.ip_forward=1)】

1)使用- P

wKiom1i6b52ClnHAAABBvvFE-Po133.jpg

测试:此时访问本机的 32770端口即可访问容器内 ssh 应用。(账号和密码都是admin)

wKioL1i6b5_DIX8xAAC26jut104554.jpg

查看容器运行的httpd和sshd进程

wKiom1i6b6DxYqB1AABqg2iJxDA276.png

测试httpd服务此时访问本机的 32769端口即可访问容器内 web 应用

wKioL1i6b6LQAX4DAACRKM7TcTg083.jpg

2)使用-p

-p(小写)则可以指定要映射的端口,并且,在一个指定端口上只可以绑定一个容器

支持的格式有

ip:hostPort:containerPort | ip::containerPort| hostPort:containerPort

注意:

容器有自己的内部网络和 ip 地址(使用 docker inspect  可以获取所有的变量。)

-p 标记可以多次使用来绑定多个端口

wKiom1i6b6PThb5UAABb1LDxXl8082.jpg

测试

①ssh测试:

使用xshell工具

wKiom1i6b6SSqoz1AABw7e2b2Xs166.png

wKioL1i6b6SwfYoXAAAq6iuYd8g097.png

wKiom1i6b6WA_lCUAABgm9qFe18170.png

wKioL1i6b6WDd43vAABd9k5yfBg995.jpg

②测试web访问

wKiom1i6b6WyroEeAACRYDyR7nY523.jpg

映射到指定地址的指定端口

可以使用 ip:hostPort:containerPort 格式,指定映射使用一个特定地址,比如宿主机网卡配置的一个地址192.168.1.5

wKioL1i6b6aCFJqLAABTfhXZhbA636.jpg

映射到指定地址的任意端口

使用 ip::containerPort 绑定192.168.1.5的任意端口到容器的22、80、443端口,本地主机会自动分配一个口。

wKioL1i6b6ejWO-XAABTbRPrcTY325.jpg

注:还可以使用 udp 标记来指定 udp 端口

wKiom1i6b6iSHDbzAABjUuXEiTg931.jpg

查看映射端口配置(使用 docker port 来查看当前映射的端口配置,也可以查看到绑定的地址)

wKiom1i6b6iCkHcTAABS_lx9hZo599.png

wKioL1i6b6nCXmBFAAA3Y_CXbHQ311.jpg


Docker NATiptables实现

默认情况下,容器可以主动访问到外部网络的连接,但是外部网络无法访问到容器

1)容器访问外部实现

容器所有到外部网络的连接,源地址都会被 NAT 成本地系统的 IP 地址(即docker0地址)。这是使用 iptables 的源地址伪装操作实现的。

docker服务开启后,docker会自动在iptables的nat表中创建地址伪装,默认允许内访外

查看主机的 NAT 规则:

wKiom1i6b6rDFkI8AAAWI9nOYMQ467.png

wKioL1i6b6vRn2wnAABWj5wy8Jk394.jpg

2)外部访问容器实现

容器允许外部访问,可以在 docker run 时候通过 -p 或 -P 参数来启用,不管用那种办法,其实也是在本地的 iptable 的nat 表中添加相应的规则

①使用 -P 时:

wKioL1i6b6yRR2OVAABnRJjUXps575.jpg

②使用 -p时

wKiom1i6b66yq9pxAABonFAyv9A313.jpg


docker0  网桥

Docker服务默认会创建一个 docker0 网桥(其上有一个 docker0 内部接口),它在内核层连通了其他的物理或虚拟网卡,这就将所有容器和本地主机都放到同一个物理网络

Docker 默认指定了 docker0 接口的 IP 地址和子网掩码,让主机和容器之间可以通过网桥相互通信

由于目前 Docker 网桥是 Linux 网桥,用户可以使用 brctl  show来查看网桥和端口连接信息

wKiom1i6b6_jXaIyAABo5D6a_54317.jpg

wKioL1i6b7CTEh5GAABUxbwe1-0105.jpg

wKiom1i6b7KDjK_YAACQ_Wc_s9A101.jpg


Docker 网络配置

Docker 四种网络模式

docker run 创建 Docker 容器时,可以用 --net 选项指定容器的网络模式,Docker 有以下 4 种网络模式:

host 模式,使用 --net=host 指定。

container 模式,使用 --net=container:NAMEorID 指定。

none 模式,使用 --net=none 指定。

bridge 模式,使用 --net=bridge 指定,默认设置。

host模式

如果启动容器的时候使用host 模式,那么这个容器将不会获得一个独立的 NetworkNamespace,而是和宿主机共用一个 Network Namespace。容器将不会虚拟出自己的网卡,配置自己的 IP 等,而是使用宿主机的 IP 和端口。

例如,我们在192.168.1.5/24 的机器上用 host 模式启动一个含有 web 应用的 Docker 容器,监听 tcp 80 端口。当我们在容器中执行任何类似 ifconfig 命令查看网络环境时,看到的都是宿主机上的信息。而外界访问容器中的应用,则直接使用192.168.1.5:80 即可,不用任何 NAT 转换,就如直接跑在宿主机中一样。但是,容器的其他方面,如文件系统、进程列表等还是和宿主机隔离的

启动容器前,执行pgrep http查看宿主机httpd进程

wKioL1i6b7PAaXIxAAAo6OMr3zk894.png

wKiom1i6b7TA-dtXAABLvkdov3Q420.jpg

wKioL1i6b7TC74sIAAAni1xXwjY717.png

wKiom1i6b7WQ-VZlAABd8cjAoJs541.jpg

container模式

这个模式指定新创建的容器和已经存在的一个容器共享一个 Network Namespace,而不是和宿主机共享。新创建的容器不会创建自己的网卡,配置自己的 IP,而是和一个指定的容器共享 IP、端口范围等。同样,两个容器除了网络方面,其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过 lo 网卡设备通信。

wKioL1i6b7eSdU5XAABvrODqDow414.jpg

wKioL1i6b7iwcuXIAAB1N_jeHW0679.jpg

none模式

这个模式和前两个不同。在这种模式下,Docker 容器拥有自己的 Network Namespace,但是,并不为 Docker容器进行任何网络配置。也就是说,这个 Docker 容器没有网卡、IP、路由等信息。需要我们自己为 Docker 容器添加网卡、配置 IP 等

bridge模式

当 docker 启动时,会在主机上创建一个docker0 的虚拟网卡。他随机挑选 RFC1918 私有网络中的一段地址给docker0 。比如 172.17.0.1/16,16 位掩码的网段可以拥有 65534 个地址可以使用,这对主机和容器来说应该足够了。

docker0  不是普通的网卡,他是桥接到其他网卡的虚拟网卡,容器使用它来和主机相互通信当创建一个 docker 容器的时候,它就创建了一个对接口,当数据包发送到一个接口时,另外一个接口也可以收到相同的数据包,它们是绑在一起的一对孪生接口。这对接口在容器中那一端的的名字是 eth0 ,宿主主机端的会指定一个唯一的名字,比如 vethAQI2QT 这样的名字。

所有的 veth* 的接口都会桥接到 docker0,这样 docker 就创建了在主机和所有容器之间一个虚拟共享网。

wKiom1i6b7vz5J8eAAEoXRVWyPU893.png

bridge 模式是 Docker 默认的网络设置,此模式会为每一个容器分配 NetworkNamespace、设置 IP 等,并将一个主机上的Docker 容器连接到一个虚拟网桥上。当 Docker server 启动时,会在主机上创建一个名为 docker0 的虚拟网桥,此主机上启动的 Docker 容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似,这样主机上的所有容器就通过交换机连在了一个二层网络中。接下来就要为容器分配 IP 了,Docker 会从 RFC1918 所定义的私有 IP 网段中,选择一个和宿主机不同的IP地址和子网分配给 docker0,连接到 docker0 的容器就从这个子网中选择一个未占用的 IP 使用。如一般 Docker 会使用 172.17.0.0/16 这个网段,并将 172.17.0.1/16 分配给 docker0 网桥(在主机上使用 ifconfig 命令是可以看到 docker0 的,可以认为它是网桥的管理接口,在宿主机上作为一块虚拟网卡使用

wKioL1i6b7ySi7pFAABQt_2h7G4494.jpg

Docker完成以上网络配置的过程大致是这样的:

1.在主机上创建一对虚拟网卡veth pair设备。veth设备总是成对出现的,它们组成了一个数据的通道,数据从一个设备进入,就会从另一个设备出来。因此,veth设备常用来连接两个网络设备。

2.Docker将veth pair设备的一端放在新创建的容器中,并命名为eth0。另一端放在主机中,以vethd6368d7这样类似的名字命名,并将这个网络设备加入到docker0网桥中,可以通过brctl show命令查看。

注:brctl 工具依赖 bridge-utils 软件包。

wKiom1i6b7ygpRi4AAAi0-3cTFY771.jpg

3.从docker0子网中分配一个IP给容器使用,并设置docker0的IP地址为容器的默认网关。(容器内部访问外网以及容器和主机之间的端口映射都是通过Iptables实现的,可以查看Iptables表分析)

查看当前 docker0地址

wKiom1i6cbui5uTIAABUaI0PyD0957.jpg

在容器运行时,每个容器都会分配一个特定的虚拟机口并桥接到 docker0。每个容器都会配置同docker0 ip 相同网段的专用 ip 地址,docker0 的 IP 地址被用于所有容器的默认网关。

wKioL1i6cb3he8FuAADEPiovudw299.jpg

wKiom1i6cb7Cdj9TAAAqyOD_Rr4362.jpg

wKiom1i6cb_jrEfsAABDByepWE8762.jpg

wKioL1i6ccDAOEZjAABn_puDL7g567.jpg

以上, docker0 扮演着test2和test4这两个容器的虚拟接口 vethxx interface 桥接的角色。

执行docker  network  inspect bridge查看所有桥接网络的详细信息

wKioL1i6crPxd3efAAB_Sx_FqRc640.jpg

自定义网桥

除了默认的 docker0  网桥,用户也可以指定网桥来连接各个容器。在启动 Docker 服务的时候,使用  -b BRIDGE 或 --bridge=BRIDGE  来指定使用的网桥。

Docker 允许你管理 docker0 桥接或者通过-b选项自定义桥接网卡,需要安装bridge-utils软件包。

基本步骤如下:

1.确保 docker 的进程是停止的

2.创建自定义网桥

3.给网桥分配特定的 ip

4.以 -b 的方式指定网桥

具体操作步骤:

1)如果服务已经运行,那需要先停止服务,并删除旧的网桥

wKioL1i6cc2jprnDAAA3Ytd5dkU181.jpg

2)然后创建一个网桥  bridge0,给网桥分配特定的 ip

wKiom1i6cc2xXKizAAA0sJwWEQk234.jpg

3)查看确认网桥创建并启动

wKiom1i6cc7z0ZlIAAAphFgde-E619.jpg

或者

wKioL1i6cc7yM0ugAABA-FuRvfA291.jpg

4)修改/etc/sysconfig/docker文件(添加截图中黄色部分

wKioL1i6cc7Aq3HHAAAf6dMCmxo243.jpg

5)启动 Docker 服务

wKiom1i6cc-jyTw3AAAXtV4UEAo255.png

6)新建一个容器,可以看到它已经桥接到了  bridge0 上

wKioL1i6cdDQANztAABJnlgK_5o575.jpg

7)进入容器,查看容器的IP

wKiom1i6cdHhjCgcAABlV5XMpWA409.jpg

wKioL1i6cdLxiuiwAAAvjzu4Qew343.jpg

小结:docker 服务启动成功并绑定容器到新的网桥,新建一个容器,你会看到它的 ip 是我们的设置的新 ip段,docker 会自动检测到它。用 brctl show 可以看到容器启动或则停止后网桥的配置变化,在容器中使用 ip a 和 ip r 来查看 ip 地址配置和路由信息。

让我们回顾一些基础知识:

机器需要一个网络接口来发送和接受数据包,路由表来定义如何到达哪些地址段。这里的网络接口可以不是物理接口。事实上,每个 linux 机器上的 lo 环回接口(docker  容器中也有)就是一个完全的linux 内核虚拟接口,它直接复制发送缓存中的数据包到接收缓存中。 docker 让宿主主机和容器使用特殊的虚拟接口来通信,通信的 2 端叫“ peers“,他们在主机内核中连接在一起,所以能够相互通信。创建他们很简单,前面介绍过了。

docker 创建容器的思想步骤如下:

创建一对虚拟接口

其中宿主主机一端使用一个名字比如 veth65f9 ,他是唯一的 , 另外一端桥接到默认的 docker0, 或其它你指定的桥接网卡。

主机上的 veth65f9 这种接口映射到新的新容器中的名称通常是 eth0, 在容器这个隔离的 networknamespace  中,它是唯一的,不会与其他接口名字和它冲突。

从主机桥接网卡的地址段中获取一个空闲地址给 eth0 使用,并设定默认路由到桥接网卡。

完成这些之后,容器就可以使用这eth0 虚拟网卡来连接其他容器和其他网络。

你也可以为特殊的容器设定特定的参数,在 docker run 的时候使用 --net ,它有 4 个可选参数:

--net=bridge :默认连接到 docker0 网桥。

--net=host :告诉 docker 不要将容器放到隔离的网络堆栈中。尽管容器还是有自己的文件系统、进程列表和资源限制。但使用 ip addr 命令这样命令就可以知道实际上此时的的容器处于和 docker  宿主主机的一样的网络级别,它拥有完全的宿主主机接口访问权限。虽然它不允许容器重新配置主机的网络堆栈,除非 --privileged=true,—但是容器进程可以跟其他 root 进程一样可以打开低数字的端口,可以访问本地网络服务比如 D-bus ,还可以让容器做一些意想不到的事情,比如重启主机,使用这个选项的时候要非常小心!

--net=container:NAME_or_ID :告诉 docker 将新容器的进程放到一个已经存在的容器的网络堆栈中,新容器进程有它自己的文件系统、进程列表和资源限制,但它会和那个已经存在的容器共享 ip 地址和端口,他们之间来可以通过环回接口通信。

--net=none :告诉 docker 将新容器放到自己的网络堆栈中,但是不要配置它的网络。

 

  

下面通过配置一个以 --net=none 启动的容器,使他达到跟平常一样具有访问网络的权限。来介绍docker是如何连接到容器中的。

1)启动一个运行 /bin/bash的容器,并指定 --net=none

wKiom1i6cdPDrcx3AABCxP_qwAw254.jpg

2)再开启一个新的终端,查找这个容器的进程 id ,然后创建它的命名空间,后面的

ip  netns 会用到

wKiom1i6cdTB-1XMAAA-HmEOZ_k378.jpg

3)检查桥接网卡的 ip 和子网掩码

wKioL1i6cdTAwBtzAABhoXcPvL4558.jpg

4)创建一对“peer”接口 A和 B ,绑定 A到网桥,并启用它

wKiom1i6cdajECaUAABpaCW0JVg297.jpg

5)将 B 放到容器的网络命名空间,命名为 eth0, 配置一个空闲的 ip

wKioL1i6cdaiu5voAABA7W3eq0E004.jpg

6)自此,你就可以像平常一样使用网络了

wKiom1i6cdfDLyO5AAC2djHtAss228.jpg

当你退出容器后, docker 清空容器,容器的 eth0 随网络命名空间一起被摧毁, A  接口也被自动从docker0 取消注册。不用其他命令,所有东西都被清理掉了!

注意 ip netns exec 命令,它可以让我们像 root 一样配置网络命名空间。但在容器内部无法使用,因为统一的安全策略,docker 限制容器进程配置自己的网络。使用 ip netns exec  可以让我们不用设置--privileged=true 就可以完成一些可能带来危险的操作。

扩展1)创建一个点到点连接(不做重点)

默认情况下,Docker 会将所有容器连接到由  docker0  提供的虚拟子网中。

用户有时候需要两个容器之间可以直连通信,而不用通过主机网桥进行桥接。

解决办法很简单:创建一对 peer  接口,分别放到两个容器中,配置成点到点链路类型即可。

首先启动 2 个容器:

#docker run -i -t --rm --net=none 镜像id/bin/bash

root@1f1f4c1f931a:/#

#docker run -i -t --rm --net=none镜像id/bin/bash

root@12e343489d2f:/#

找到进程号,然后创建网络名字空间的跟踪文件。

#docker inspect -f '``.`State`.`Pid`' 1f1f4c1f931a

2989

#docker inspect -f '``.`State`.`Pid`' 12e343489d2f

3004

#mkdir -p /var/run/netns

#ln -s /proc/2989/ns/net /var/run/netns/2989

#ln -s /proc/3004/ns/net /var/run/netns/3004

创建一对 peer  接口,然后配置路由

#ip link add A type veth peer name B

 

#ip link set A netns 2989

#ip netns exec 2989 ip addr add 10.1.1.1/32 dev A

#ip netns exec 2989 ip link set A up

#ip netns exec 2989 ip route add 10.1.1.2/32 dev A

 

#ip link set B netns 3004

#ip netns exec 3004 ip addr add 10.1.1.2/32 dev B

#ip netns exec 3004 ip link set B up

#ip netns exec 3004 ip route add 10.1.1.1/32 dev B

现在这 2 个容器就可以相互 ping 通,并成功建立连接。点到点链路不需要子网和子网掩码

 

扩展2)DNS/HOSTNAME自定义

Docker 没有为每个容器专门定制镜像,那么怎么自定义配置容器的主机名和 DNS 配置呢?秘诀就是它利用虚拟文件来挂载到来容器的 3 个相关配置文件。

在容器中使用 mount 命令可以看到挂载信息:注(mount命令软件包util-linux)

# mount

...

 

...

这种机制可以让宿主主机 DNS 信息发生更新后,所有 Docker 容器的 dns 配置通过/etc/resolv.conf文件立刻得到更新。

如果用户想要手动指定容器的配置,可以利用下面的选项。

-h HOSTNAME or --hostname=HOSTNAME 设定容器的主机名,它会被写到容器内的/etc/hostname 和 /etc/hosts。但它在容器外部看不到,既不会在 docker ps 中显示,也不会在其他的容器的 /etc/hosts 看到。

 

 

--link=CONTAINER_NAME:ALIAS 选项会在创建容器的时候,添加一个其他容器的主机名到

/etc/hosts 文件中,让新容器的进程可以使用主机名ALIAS 就可以连接它。

--dns=IP_ADDRESS 添加 DNS 服务器到容器的 /etc/resolv.conf 中,让容器用这个服务器来解析所有不在/etc/hosts 中的主机名。

--dns-search=DOMAIN 设定容器的搜索域,当设定搜索域为.example.com 时,在搜索一个名为 host的主机时, DNS 不仅搜索 host,还会搜索host.example.com。注意:如果没有上述最后 2 个选项,Docker 会默认用主机上的 /etc/resolv.conf 来配置容器。

具体其他选项可以查看docker  run --help帮助

 

 

容器互联

使用--link参数可以让容器之间安全的进行交互。

1)下面先创建一个新的数据库容器

wKioL1i6cdei_ChkAAAjxDs9W48267.jpg

2)然后创建一个新的 web 容器,并将它连接到 dbserver 容器

wKioL1i6cdfgypg2AAAz_iCnPE8159.jpg

3)使用docker ps来查看容器的连接

wKiom1i6cdjBtRf0AAB88pRdnHw066.jpg

4)docker 会添加子容器的 host 信息到父容器的  /etc/hosts  的文件中,我们来查看父容器(web)的hosts文件

wKioL1i6cdjRSXMTAADE0DiksgI342.jpg

5)在 web 容器中安装 ping 命令来测试跟dbserver容器的连通。

注意:官方的镜像默认没有安装 ping,需要自行安装,软件包名iputils

wKiom1i6cdrCPVuaAAAaAC3CHlE860.png

wKiom1i6cdrTBjL5AACwrPgyYlo843.jpg

多台物理主机之间的容器互联(暴露容器到真实网络中)

wKioL1i6cdqB3PjvAABMsbVN38w612.jpg

docker  默认的桥接网卡是 docker0 。它只会在本机桥接所有的容器网卡,举例来说容器的虚拟网卡在主机上看一般叫做 vethxxx,而 docker 只是把所有这些网卡桥接在一起

这样就可以把这个网络看成是一个私有的网络,通过 nat  连接外网,如果要让外网连接到容器中,就需要做端口映射,即 -p 参数。

如果在企业内部应用,或则做多个物理主机的集群,可能需要将多个物理主机的容器组到一个物理网络中来,那么就需要将这个网桥桥接到我们指定的网卡上。

wKiom1i6cdvQgVJcAADL-4YWk74256.png

主机 A 的网卡一和主机 B 的网卡三都连着物理交换机的同一个 vlan 101, 这样网桥一和网桥三就相当于在同一个物理网络中了,而容器一、容器三、容器四也在同一物理网络中了,他们之间可以相互通信,而且可以跟同一 vlan 中的其他物理机器互联。

这样就直接把容器暴露到物理网络上了,多台物理主机的容器也可以相互联网了。需要注意的是,这样就需要自己来保证容器的网络安全了。

不同容器之间的通信可以借助于 pipework 这个工具

pipework是由Docker的工程师JérômePetazzoni开发的一个Docker网络配置工具,由200多行shell实现,方便易用。

下载地址:wget https://github.com/jpetazzo/pipework.git

1)解压缩pipwork软件

wKioL1i6cdvBIAixAAB_p5cvGps091.jpg

2)安装相应依赖软件

wKioL1i6cdyTSLztAABcpn9S-Pk832.jpg

3)配置桥接网络

wKioL1i6dIeBe6YUAAAi3dbFKqc229.jpg

wKioL1i6dIfS3Y7yAACSGFjoqyE837.jpg

wKiom1i6dIeBMDAiAAAa_cWwvCI346.png

wKiom1i6dIjj_nDWAAAywdVBblA022.png

4)重启network服务

wKioL1i6dIjQzra4AAC_H7SMqlQ228.jpg

wKioL1i6dInhk2zuAABjdBIlttY885.jpg

5)关掉docker服务,并修改docker服务的配置文件

wKiom1i6dImSQFMhAAAv1ck4HJc064.png

wKioL1i6dImQHDN9AAA11GP7Usg889.jpg

wKiom1i6dIrhdUVAAAAk60_b1sg244.png

6)把 docker 默认桥接指定到了br0,则最好在创建容器的时候加上--net=none,防止自动分配的 IP 在局域网中有冲突。使用镜像运行一个容器

wKioL1i6dIrD7hxCAAAkjLmbreE933.jpg

wKiom1i6dIqh3gCmAABvEO7kFXw738.jpg

wKioL1i6dIvSiYl7AADXyygnha8048.jpg

wKiom1i6dIvzn75VAAAvEr5PkiI607.jpg

7)从一台客户机上访问容器提供的web服务

wKiom1i6dIuByM3HAABePSU-3_Q242.jpg

8)使用ip netns添加静态路由,避免创建容器使用--privileged=true选项造成一些不必要的安全问题

wKioL1i6dIzQHbtRAAAyr9T2XNg499.jpg

9)进入容器查看路由记录

wKioL1i6dIzD0IqKAABAwDh3X4w095.jpg

在其它宿主机进行相应的配置,新建容器并使用 pipework 添加虚拟网卡桥接到 br0,测试通信情况即可

:可以删除 docker0,直接把 docker 的桥接指定为 br0。也可以保留使用默认的配置,这样单主机容器之间的通信可以通过 docker0,而跨主机不同容器之间通过 pipework 新建 docker 容器的网卡桥接到 br0,这样跨主机容器之间就可以通信了。

  

扩展:

pipework可以在下面用三个场景来使用和工作原理。

一、将Docker容器配置到本地网络环境中

为了使本地网络中的机器和Docker容器更方便的通信,我们经常会有将Docker容器配置到和主机同一网段的需求。这个需求其实很容易实现,我们只要将Docker容器和主机的网卡桥接起来,再给Docker容器配上IP就可以了。

下面我们来操作一下,我主机A地址为192.168.1.4/24,网关为192.168.1.1,需要给Docker容器的地址配置为192.168.1.100/24。在主机A上做如下操作:

安装pipework

下载地址:wgethttps://github.com/jpetazzo/pipework.git

unzip pipework-master.zip

1)解压缩pipework

wKiom1i6dI3yREkJAAB-vh6An0w317.jpg

2)启动Docker容器

wKiom1i6dI2xkAe0AAAkoGJOiOc043.jpg

3)配置容器网络,并连到网桥br0上。网关在IP地址后面加@指定。

wKioL1i6dI2xq_KhAAA5FP_Doqw313.jpg

wKioL1i6dJCzuw_qAADPo605ieo517.jpg

4)将主机eno16777736桥接到br0上,并把eno16777736的IP配置在br0上。

wKiom1i6dJHCRYQNAACnc96U8vw348.jpg

5)完成上述步骤后,我们发现Docker容器已经可以使用新的IP和主机网络里的机器相互通信了。

进入容器内部查看容器的地址

wKiom1i6dJOB-rhjAACc3dBKvWg426.jpg

wKioL1i6dJPRPMrpAAAzHN1Z254419.jpg

6)在本网段内用一台客户机ping test1容器

wKiom1i6dJTDVtX2AAA9No4IqVo284.png

pipework工作原理分析:

那么容器到底发生了哪些变化呢?我们docker attach到test1上,发现容器中多了一块eth1的网卡,并且配置了192.168.1.100/24的IP,而且默认路由也改为了192.168.1.1。这些都是pipework帮我们配置的。

首先pipework检查是否存在br0网桥,若不存在,就自己创建

  

创建veth pair设备,用于为容器提供网卡并连接到br0网桥。

  

使用docker inspect找到容器在主机中的PID,然后通过PID将容器的网络命名空间链接到/var/run/netns/目录下。这么做的目的是,方便在主机上使用ip netns命令配置容器的网络。因为,在Docker容器中,我们没有权限配置网络环境

  

将之前创建的veth pair设备分别加入容器和网桥中。在容器中的名称默认为eth1,可以通过pipework的-i参数修改该名称

  

然后就是配置新网卡的IP。若在IP地址的后面加上网关地址,那么pipework会重新配置默认路由。这样容器通往外网的流量会经由新配置的eth1出去,而不是通过eth0和docker0。(若想完全抛弃自带的网络设置,在启动容器的时候可以指定--net=none)

以上就是pipework配置Docker网络的过程,这和Docker的bridge模式有着相似的步骤。事实上,Docker在实现上也采用了相同的底层机制。

通过源代码,可以看出,pipework通过封装Linux上的ip、brctl等命令,简化了在复杂场景下对容器连接的操作命令,为我们配置复杂的网络拓扑提供了一个强有力的工具。当然,如果想了解底层的操作,我们也可以直接使用这些Linux命令来完成工作,甚至可以根据自己的需求,添加额外的功能。

二、单主机Docker容器VLAN划分

pipework不仅可以使用Linuxbridge连接Docker容器,还可以与OpenVswitch结合,实现Docker容器的VLAN划分。下面,就来简单演示一下,在单机环境下,如何实现Docker容器间的二层隔离。

为了演示隔离效果,我们将4个容器放在了同一个IP网段中。但实际他们是二层隔离的两个网络,有不同的广播域。

1)安装openvswitch的依赖软件,搭建其安装运行基础环境(直接用在线yum源安装即可)

wKioL1i6dJXCJSkyAAAZxGZnZe8045.jpg

2)下载并打包(即源码包重新封装成rpm包)openvswitch的包(我这已经下载好了,我直接解压缩打包即可)

wget http://openvswitch.org/releases/openvswitch-2.3.1.tar.gz

wKioL1i6dJXg4lEEAABBB_BqDNY775.jpg

3)之后会在~/rpmbuild/RPMS/x86_64/里有2个文件

wKiom1i6dJaBe4dVAAArW7bXM7k577.jpg

4)selinux必须关闭

wKioL1i6dJaQeuMrAAAbb_bJpU8860.png

wKiom1i6dJeSDvOUAABBq-WDZfE265.png

wKiom1i6dJihVeROAAATgwQG53Y045.png

5)安装2个文件的第一个就行

wKioL1i6dJixew2LAAAU7Ve3lf0643.jpg

wKiom1i6dJmCxI3oAAAivF6QX18405.png

6)启动

wKiom1i6dY7DDpbvAAAr-csWul8249.jpg

或者

wKiom1i6dY6hskOnAAAamzke1j0092.png

7)查看状态

wKioL1i6dY6gtLHcAAAxnNfADmI013.jpg

或者

wKioL1i6dY-QJmMZAACUPGP0O9c297.jpg

8)安装pipework过程略,参考前面的操作

9)创建交换机,把物理网卡加入ovs1

wKiom1i6dY-jhOlGAAA-hRMcCtc767.jpg

wKioL1i6dZCS06EyAAD4jVADhUY039.jpg

10)在主机A上创建4个Docker容器,test1、test2、test3、test4

wKiom1i6dZHjJmiOAACJKE4bV_M504.jpg

11)将test1,test2划分到一个vlan中,vlan在mac地址后加@指定,此处mac地址省略。

wKiom1i6dZGR7K8gAABCM1MrgqY212.jpg

12)完成上述操作后,使用docker attach连到容器中,然后用ping命令测试连通性,发现test1和test2可以相互通信,但与test3和test4隔离。这样,一个简单的VLAN隔离容器网络就已经完成。

wKioL1i6dZTDeAWXAADlbocOyZ4253.jpg

wKiom1i6dZaxFl6oAADwletOU-E396.jpg

:由于OpenVswitch本身支持VLAN功能,所以这里pipework所做的工作和之前介绍的基本一样,只不过将Linux bridge替换成了OpenVswitch,在将veth pair的一端加入ovs0网桥时,指定了tag。底层操作如下:

ovs-vsctl add-port ovs0 veth* tag=100

三、多主机Docker容器的VLAN划分

上面介绍完了单主机上VLAN的隔离,下面我们将情况延伸到多主机的情况。有了前面两个例子做铺垫,这个也就不难了。为了实现这个目的,我们把宿主机上的网卡桥接到各自的OVS网桥上,然后再为容器配置IP和VLAN就可以了。我们实验环境如下,主机A和B各有一块网卡eno16777736,IP地址分别为192.168.1.4/24、192.168.1.6/24。在主机A上创建两个容器test1、test2,分别在VLAN100和VLAN 200上。在主机B上创建test3、test4,分别在VLAN100和VLAN 200 上。最终,test1可以和test3通信,test2可以和test4通信

wKioL1i6dZfz8wPpAABD2vOPjDM916.jpg

1)在主机A上

创建Docker容器

docker run -dit --name test1 docker.io.centos:latest

docker run -dit --name test2 docker.io.centos:latest

划分VLAN

pipework br0 test1 192.168.110/24@192.168.1.1  @100

pipework br0 test2 192.168.120/24@192.168.1.1  @200

将eno16777736桥接到br0上

ip addr add 192.168.1.4/24 dev br0

ip addr del 192.168.1.4/24 dev eno16777736

ovs-vsctl add-port br0 eno16777736

ip route del default

ip route add default gw 192.168.1.1 dev br0

2)在主机B上

创建Docker容器

docker run -dit --name test3 docker.io.centos:latest

docker run -dit --name test4 docker.io.centos:latest

划分VLAN

pipework br0 test3 192.168.1.130/24@192.168.1.1  @100

pipework br0 test4 192.168.1.140/24@192.168.1.1  @200

将eno16777736桥接到br0上

ip addr add 192.168.1.6/24 dev br0

ip addr del 192.168.1.6/24 dev eno16777736

ovs-vsctl add-port br0 eno16777736

ip route del default

ip route add default gw 192.168.1.1 dev br0

 

完成上面的步骤后,主机A上的test1和主机B上的test3容器就划分到了一个VLAN中,并且与主机A上的test2和主机B上的test4隔离(主机eno16777736网卡需要设置为混杂模式,连接主机的交换机端口应设置为trunk模式,即允许VLAN 100和VLAN200的包通过)。

注:除此之外,pipework还支持使用macvlan设备、设置网卡MAC地址等功能。不过,pipework有一个缺陷,就是配置的容器在关掉重启后,之前的设置会丢失。

wKiom1i6dZnyLkVoAADLgyLd7ZY993.png

其中promisc表示网卡混杂模式

其他参数的含义:

UP: 表示网卡开启状态;

BROADCAST: 表示支持广播;

promisc: 表示网卡混杂模式;

RUNNING: 表示网卡的网线被接上;

MULTICAST: 表示支持组播;

MTU: 表示MaximumTrasmission Unit 最大传输单元(字节),即此接口一次所能传输的最大封包;

RX: 表示网络由激活到目前为止接收的数据包;

TX: 表示网络由激活到目前为止发送的数据包;

collisions: 表示网络信号冲突的情况;

txqueuelen: 表示传输缓冲区长度大小;

 

设置网卡工作模式

#ifconfig 网卡名 promisc 设置混杂

#ifconfig 网卡名 -promisc 取消混杂

 

 

网卡工作模式有4种,分别是:

广播(Broadcast)模式

多播(Multicast)模式

单播模式(Unicast)

混杂模式(Promiscuous)

在混杂模式下的网卡能够接收一切通过它的数据,而不管该数据目的地址是否是它。如果通过程序将网卡的工作模式设置为 “混杂模式”,那么网卡将接受所有流经它的数据帧,这实际上就是Sniffer工作的基本原理:让网卡接收一切他所能接收的数据。Sniffer就是一种能将本地网卡状态设成混杂(promiscuous)状态的软件,当网卡处于这种"混杂"方式时,它对所有遇到的每一个数据帧都 产生一个硬件中断以便提醒操作系统处理流经该物理媒体上的每一个报文包。可见,Sniffer工作在网络环境中的底层,它会拦截所有的正在网络上传送的数据,并且通过相应的软件处理,可以实时分析这些数据的内容,进而分析所处的网络状态和整体布局。

 

 

扩展:利用Weave实现跨主机容器互联

本文转自Mr大表哥 博客,原文链接:http://blog.51cto.com/zpf666/1903201     如需转载请自行联系原作者


网友评论

登录后评论
0/500
评论
技术小大人
+ 关注