Docker容器学习梳理--容器间网络通信设置(Pipework和Open vSwitch)

自从Docker容器出现以来，容器的网络通信就一直是被关注的焦点，也是生产环境的迫切需求。容器的网络通信又可以分为两大方面：单主机容器上的相互通信，和跨主机的容器相互通信。下面将分别针对这两方面，对容器的通信原理进行简单的分析，帮助大家更好地使用docker。前面已经在Docker容器学习梳理--基础知识（2）这一篇中详细介绍了Docker的网络配置以及pipework工具。

docker单主机容器通信

<code>基于对net namespace的控制，docker可以为在容器创建隔离的网络环境，在隔离的网络环境下，容器具有完全独立的网络栈，与宿主机隔离，</code>

<code>也可以使容器共享主机或者其他容器的网络命名空间，基本可以满足开发者在各种场景下的需要。</code>

<code>按docker官方的说法，docker容器的网络有五种模式：</code>

<code>1）bridge模式，--net=bridge(默认)</code>

<code>这是dokcer网络的默认设置，为容器创建独立的网络命名空间，容器具有独立的网卡等所有单独的网络栈，是最常用的使用方式。</code>

<code>在docker run启动容器的时候，如果不加--net参数，就默认采用这种网络模式。安装完docker，系统会自动添加一个供docker使用的网桥docker0，我们创建一个新的容器时，</code>

<code>容器通过DHCP获取一个与docker0同网段的IP地址，并默认连接到docker0网桥，以此实现容器与宿主机的网络互通。</code>

<code>2）host模式，--net=host</code>

<code>这个模式下创建出来的容器，直接使用容器宿主机的网络命名空间。</code>

<code>将不拥有自己独立的Network Namespace，即没有独立的网络环境。它使用宿主机的ip和端口。</code>

<code>3）none模式，--net=none</code>

<code>为容器创建独立网络命名空间，但不为它做任何网络配置，容器中只有lo，用户可以在此基础上，对容器网络做任意定制。</code>

<code>这个模式下，dokcer不为容器进行任何网络配置。需要我们自己为容器添加网卡，配置IP。</code>

<code>因此，若想使用pipework配置docker容器的ip地址，必须要在none模式下才可以。</code>

<code>4）其他容器模式（即container模式），--net=container:NAME_or_ID</code>

<code>与host模式类似，只是容器将与指定的容器共享网络命名空间。</code>

<code>这个模式就是指定一个已有的容器，共享该容器的IP和端口。除了网络方面两个容器共享，其他的如文件系统，进程等还是隔离开的。</code>

<code>5）用户自定义：docker 1.9版本以后新增的特性，允许容器使用第三方的网络实现或者创建单独的bridge网络，提供网络隔离能力。</code>

这些网络模式在相互网络通信方面的对比如下所示：

南北向通信指容器与宿主机外界的访问机制，东西向流量指同一宿主机上，与其他容器相互访问的机制。

host模式

<code>由于容器和宿主机共享同一个网络命名空间，换言之，容器的IP地址即为宿主机的IP地址。所以容器可以和宿主机一样，使用宿主机的任意网卡，实现和外界的通信。其网络模型可以参照下图</code>

<code>采用host模式的容器，可以直接使用宿主机的IP地址与外界进行通信，若宿主机具有公有IP，那么容器也拥有这个公有IP。同时容器内服务的端口也可以使用宿主机的端口，</code>

<code>无需额外进行NAT转换，而且由于容器通信时，不再需要通过linuxbridge等方式转发或者数据包的拆封，性能上有很大优势。</code>

<code>当然，这种模式有优势，也就有劣势，主要包括以下几个方面：</code>

<code>1）最明显的就是容器不再拥有隔离、独立的网络栈。容器会与宿主机竞争网络栈的使用，并且容器的崩溃就可能导致宿主机崩溃，在生产环境中，这种问题可能是不被允许的。</code>

<code>2）容器内部将不再拥有所有的端口资源，因为一些端口已经被宿主机服务、bridge模式的容器端口绑定等其他服务占用掉了。</code>

bridge模式

<code>bridge模式是docker默认的，也是开发者最常使用的网络模式。在这种模式下，docker为容器创建独立的网络栈，保证容器内的进程使用独立的网络环境，</code>

<code>实现容器之间、容器与宿主机之间的网络栈隔离。同时，通过宿主机上的docker0网桥，容器可以与宿主机乃至外界进行网络通信。</code>

<code>其网络模型可以参考下图：</code>

<code>从上面的网络模型可以看出，容器从原理上是可以与宿主机乃至外界的其他机器通信的。同一宿主机上，容器之间都是连接掉docker0这个网桥上的，它可以作为虚拟交换机使容器可以相互通信。</code>

<code>然而，由于宿主机的IP地址与容器veth pair的 IP地址均不在同一个网段，故仅仅依靠veth pair和namespace的技术，还不足以使宿主机以外的网络主动发现容器的存在。为了使外界可以方位容器中的进程，docker采用了端口绑定的方式，也就是通过iptables的NAT，将宿主机上的端口</code>

<code>端口流量转发到容器内的端口上。</code>

<code>举一个简单的例子，使用下面的命令创建容器，并将宿主机的3306端口绑定到容器的3306端口：</code>

<code>docker run -tid --name db -p 3306:3306 MySQL</code>

<code>在宿主机上，可以通过iptables -t nat -L -n，查到一条DNAT规则：</code>

<code>上面的172.17.0.5即为bridge模式下，创建的容器IP。</code>

<code>很明显，bridge模式的容器与外界通信时，必定会占用宿主机上的端口，从而与宿主机竞争端口资源，对宿主机端口的管理会是一个比较大的问题。同时，由于容器与外界通信是基于三层上iptables NAT，性能和效率上的损耗是可以预见的。</code>

none模式

<code>在这种模式下，容器有独立的网络栈，但不包含任何网络配置，只具有lo这个loopback网卡用于进程通信。也就是说，none模式为容器做了最少的网络设置，</code>

<code>但是俗话说得好“少即是多”，在没有网络配置的情况下，通过第三方工具或者手工的方式，开发这任意定制容器的网络，提供了最高的灵活性</code>

其他容器（container）模式

<code>其他网络模式是docker中一种较为特别的网络的模式。在这个模式下的容器，会使用其他容器的网络命名空间，其网络隔离性会处于bridge桥接模式与host模式之间。</code>

<code>当容器共享其他容器的网络命名空间，则在这两个容器之间不存在网络隔离，而她们又与宿主机以及除此之外其他的容器存在网络隔离。其网络模型可以参考下图：</code>

<code>在这种模式下的容器可以通过localhost来同一网络命名空间下的其他容器，传输效率较高。而且这种模式还节约了一定数量的网络资源，但它并没有改变容器与外界通信的方式。</code>

<code>在一些特殊的场景中非常有用，例如，kubernetes的pod，kubernetes为pod创建一个基础设施容器，同一pod下的其他容器都以其他容器模式共享这个基础设施容器的网络命名空间，</code>

<code>相互之间以localhost访问，构成一个统一的整体。</code>

用户定义网络模式

<code>在用户定义网络模式下，开发者可以使用任何docker支持的第三方网络driver来定制容器的网络。并且，docker 1.9以上的版本默认自带了bridge和overlay两种类型的自定义网络driver。可以用于集成calico、weave、openvswitch等第三方厂商的网络实现。</code>

<code>除了docker自带的bridge driver，其他的几种driver都可以实现容器的跨主机通信。而基于bdrige driver的网络，docker会自动为其创建iptables规则，</code>

<code>保证与其他网络之间、与docker0之间的网络隔离。</code>

<code>例如，使用下面的命令创建一个基于bridge driver的自定义网络：</code>

<code>docker network create bri1</code>

<code>则docker会自动生成如下的iptables规则，保证不同网络上的容器无法互相通信。</code>

<code>-A DOCKER-ISOLATION -i br-8dba6df70456 -o docker0 -j DROP</code>

<code>-A DOCKER-ISOLATION -i docker0 -o br-8dba6df70456 -j DROP</code>

<code>除此之外，bridge driver的所有行为都和默认的bridge模式完全一致。而overlay及其他driver，则可以实现容器的跨主机通信。</code>

docker跨主机容器通信

<code>早期大家的跨主机通信方案主要有以下几种：</code>

<code>1）容器使用host模式：容器直接使用宿主机的网络，这样天生就可以支持跨主机通信。虽然可以解决跨主机通信问题，但这种方式应用场景很有限，容易出现端口冲突，也无法做到隔离网络环境，</code>

<code>一个容器崩溃很可能引起整个宿主机的崩溃。</code>

<code>2）端口绑定：通过绑定容器端口到宿主机端口，跨主机通信时，使用主机IP+端口的方式访问容器中的服务。显而易见，这种方式仅能支持网络栈的四层及以上的应用，并且容器与宿主机紧耦合，</code>

<code>很难灵活的处理，可扩展性不佳。</code>

<code>3）docker外定制容器网络：在容器通过docker创建完成后，然后再通过修改容器的网络命名空间来定义容器网络。典型的就是很久以前的pipework，容器以none模式创建，pipework通过进入容器</code>

<code>的网络命名空间为容器重新配置网络，这样容器网络可以是静态IP、vxlan网络等各种方式，非常灵活，容器启动的一段时间内会没有IP，明显无法在大规模场景下使用，只能在实验室中测试使用。</code>

<code>4）第三方SDN定义容器网络：使用Open vSwitch或Flannel等第三方SDN工具，为容器构建可以跨主机通信的网络环境。这些方案一般要求各个主机上的docker0网桥的cidr不同，以避免出现IP冲突</code>

<code>的问题，限制了容器在宿主机上的可获取IP范围。并且在容器需要对集群外提供服务时，需要比较复杂的配置，对部署实施人员的网络技能要求比较高。</code>

<code>上面这些方案有各种各样的缺陷，同时也因为跨主机通信的迫切需求，docker 1.9版本时，官方提出了基于vxlan的overlay网络实现，原生支持容器的跨主机通信。同时，还支持通过libnetwork的</code>

<code>plugin机制扩展各种第三方实现，从而以不同的方式实现跨主机通信。就目前社区比较流行的方案来说，跨主机通信的基本实现方案有以下几种：</code>

<code>1）基于隧道的overlay网络：按隧道类型来说，不同的公司或者组织有不同的实现方案。docker原生的overlay网络就是基于vxlan隧道实现的。ovn则需要通过geneve或者stt隧道来实现的。flannel</code>

<code>最新版本也开始默认基于vxlan实现overlay网络。</code>

<code>2）基于包封装的overlay网络：基于UDP封装等数据包包装方式，在docker集群上实现跨主机网络。典型实现方案有weave、flannel的早期版本。</code>

<code>3）基于三层实现SDN网络：基于三层协议和路由，直接在三层上实现跨主机网络，并且通过iptables实现网络的安全隔离。典型的方案为Project Calico。同时对不支持三层路由的环境，Project Calico还提供了基于IPIP封装的跨主机网络实现</code>

Dokcer通过使用Linux桥接提供容器之间的通信，docker0桥接接口的目的就是方便Docker管理。当Docker daemon启动时需要做以下操作

<code>a）如果docker0不存在则创建</code>

<code>b）搜索一个与当前路由不冲突的ip段</code>

<code>c）在确定的范围中选择 ip</code>

<code>d）绑定ip到 docker0</code>

CentOS7安装docker

<code>[root@localhost ~]</code><code># yum install docker bridge-utils -y</code>

<code>[root@localhost ~]</code><code># systemctl start docker;systemctl enable docker</code>

列出当前主机网桥

<code>[root@localhost ~]</code><code># brctl show</code>

<code>bridge name bridge </code><code>id</code> <code>STP enabled interfaces</code>

<code>docker0 8000.0242b1a59b05 no</code>

查看当前 docker0 ip

<code>[root@localhost ~]</code><code># ifconfig docker0</code>

<code>docker0: flags=4099<UP,BROADCAST,MULTICAST> mtu 1500</code>

<code> </code><code>inet 172.17.0.1 netmask 255.255.0.0 broadcast 0.0.0.0</code>

<code> </code><code>ether 02:42:b1:a5:9b:05 txqueuelen 0 (Ethernet)</code>

<code> </code><code>RX packets 0 bytes 0 (0.0 B)</code>

<code> </code><code>RX errors 0 dropped 0 overruns 0 frame 0</code>

<code> </code><code>TX packets 0 bytes 0 (0.0 B)</code>

<code> </code><code>TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0</code>

在容器运行时，每个容器都会分配一个特定的虚拟机口并桥接到docker0。每个容器都会配置同docker0 ip相同网段的专用ip 地址，docker0的IP地址被用于所有容器的默认网关。

一般启动的容器中ip默认是172.17.0.1/24网段的。

<code>[root@localhost ~]</code><code># docker images</code>

<code>REPOSITORY TAG IMAGE ID CREATED SIZE</code>

<code>docker.io</code><code>/centos</code> <code>latest ff426288ea90 3 weeks ago 207.2 MB</code>

<code>[root@localhost ~]</code><code># </code>

<code>[root@localhost ~]</code><code># docker run -itd --name my-test centos /bin/bash</code>

<code>11607da07401f75dc481458934e8cd3353896ebaba418c2f2d436619ffbd8772</code>

<code>[root@localhost ~]</code><code># docker ps</code>

<code>CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES</code>

<code>11607da07401 centos </code><code>"/bin/bash"</code> <code>24 seconds ago Up 23 seconds my-</code><code>test</code>

<code>[root@localhost ~]</code><code># docker inspect 11607da07401 |grep -i ipaddr</code>

<code> </code><code>"SecondaryIPAddresses"</code><code>: null,</code>

<code> </code><code>"IPAddress"</code><code>: </code><code>"172.17.0.2"</code><code>,</code>

<code>[root@localhost ~]</code><code>#</code>

那么能不能在创建容器的时候指定特定的ip呢？这是当然可以实现的！

注意：宿主机的ip路由转发功能一定要打开，否则所创建的容器无法联网！

<code>[root@localhost ~]</code><code># cat /proc/sys/net/ipv4/ip_forward</code>

<code>11607da07401 centos </code><code>"/bin/bash"</code> <code>4 minutes ago Up 4 minutes my-</code><code>test</code>

<code>[root@localhost ~]</code><code># docker run -itd --name=test1 centos </code>

<code>4fb496dac251f60bcffaceea340847687ed4d7c9db20a351296bc9143c73d74b</code>

<code>[root@localhost ~]</code><code># docker exec -it test1 /bin/bash </code>

<code>[root@4fb496dac251 /]</code><code># ping www.baidu.com</code>

<code>PING www.a.shifen.com (115.239.211.112) 56(84) bytes of data.</code>

<code>64 bytes from 115.239.211.112 (115.239.211.112): icmp_seq=1 ttl=48 </code><code>time</code><code>=12.4 ms</code>

<code>64 bytes from 115.239.211.112 (115.239.211.112): icmp_seq=2 ttl=48 </code><code>time</code><code>=11.1 ms</code>

<code>--- www.a.shifen.com </code><code>ping</code> <code>statistics ---</code>

<code>2 packets transmitted, 2 received, 0% packet loss, </code><code>time</code> <code>1001ms</code>

<code>关闭ip路由转发功能，容器即不能联网</code>

<code>[root@localhost ~]</code><code># echo 0 > /proc/sys/net/ipv4/ip_forward</code>

<code>ping</code><code>: www.baidu.com: Name or service not known </code><code>//ping</code><code>不通~</code>

一、创建容器使用特定范围的IP

<code>Docker 会尝试寻找没有被主机使用的ip段，尽管它适用于大多数情况下，但是它不是万能的，有时候我们还是需要对ip进一步规划。</code>

<code>Docker允许你管理docker0桥接或者通过-b选项自定义桥接网卡，需要安装bridge-utils软件包。操作流程如下：</code>

<code>a）确保docker的进程是停止的</code>

<code>b）创建自定义网桥</code>

<code>c）给网桥分配特定的ip</code>

<code>d）以-b的方式指定网桥</code>

<code>具体操作过程如下（比如创建容器的时候，指定ip为10.10.172.202</code><code>/24</code><code>网段的）：</code>

<code>[root@localhost ~]</code><code># service docker stop</code>

<code>[root@localhost ~]</code><code># ip link set dev docker0 down</code>

<code>[root@localhost ~]</code><code># brctl delbr docker0</code>

<code>[root@localhost ~]</code><code># brctl addbr br0</code>

<code>[root@localhost ~]</code><code># ip addr add 10.10.172.202/24 dev br0 //注意，这个10.10.172.202就是所建容器的网关地址。通过docker inspect container_id能查看到</code>

<code>[root@localhost ~]</code><code># ip link set dev br0 up</code>

<code>[root@localhost ~]</code><code># ip addr show br0</code>

<code>[root@localhost ~]</code><code># vim /etc/sysconfig/docker //即将虚拟的桥接口由默认的docker0改为br0</code>

<code>OPTIONS=</code><code>'--selinux-enabled --log-driver=journald'</code>

<code>OPTIONS=</code><code>'--selinux-enabled --log-driver=journald -b=br0'</code> <code>//</code><code>即添加-b=br0</code>

<code>[root@localhost ~]</code><code># service docker restart</code>

<code>上面是centos7下的操作步骤,下面提供下ubuntu下的操作步骤：</code>

<code>$ </code><code>sudo</code> <code>service docker stop</code>

<code>$ </code><code>sudo</code> <code>ip link </code><code>set</code> <code>dev docker0 down</code>

<code>$ </code><code>sudo</code> <code>brctl delbr docker0</code>

<code>$ </code><code>sudo</code> <code>brctl addbr br0</code>

<code>$ </code><code>echo</code> <code>'DOCKER_OPTS="-b=br0"'</code> <code>>> </code><code>/etc/default/docker</code>

<code>$ </code><code>sudo</code> <code>service docker start</code>

<code>然后创建容器，查看下容器ip是否为设定的10.10.172.202</code><code>/24</code><code>网段的</code>

<code>docker.io</code><code>/ubuntu</code> <code>latest 0458a4468cbc 7 days ago 111.7 MB</code>

<code>[root@localhost ~]</code><code># docker run -t -i --name test1 centos /bin/bash</code>

<code>[root@localhost ~]</code><code># docker run -t -i --name test2 docker.io/ubuntu /bin/bash</code>

<code>0514266c80e0 docker.io</code><code>/ubuntu</code> <code>"/bin/bash"</code> <code>47 minutes ago Up 5 minutes test2</code>

<code>61a2cdea34f5 centos </code><code>"/bin/bash"</code> <code>46 minutes ago Up 46 minutes test1</code>

<code>[root@localhost ~]</code><code># docker inspect --format='{{.NetworkSettings.IPAddress}}' 0514266c80e0</code>

<code>[root@localhost ~]</code><code># docker inspect --format='{{.NetworkSettings.IPAddress}}' 61a2cdea34f5</code>

使用pipework给容器设置一个固定的ip

<code>可以利用pipework为容器指定一个固定的ip，操作方法非常简单，如下：</code>

<code>[root@localhost ~]</code><code># ip addr add 10.10.172.202/24 dev br0 //这个ip相当于br0网桥的网关ip，可以随意设定。</code>

<code>[root@localhost ~]</code><code># docker run -ti -d --net=none --name=my-test1 docker.io/nginx /bin/bash</code>

<code>[root@localhost ~]</code><code># pipework br0 -i eth0 my-test1 10.10.172.190/[email protected]</code>

<code>[root@localhost ~]</code><code># docker exec -ti my-test1 /bin/bash</code>

<code>root@7fe423b47afb:/</code><code># apt-get update </code>

<code>root@7fe423b47afb:/</code><code># apt-get install net-tools -y</code>

<code>root@7fe423b47afb:/</code><code># ifconfig </code>

<code>eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500</code>

<code> </code><code>inet 10.10.172.190 netmask 255.255.255.0 broadcast 10.10.172.255</code>

<code> </code><code>inet6 fe80::e4fe:e6ff:fedb:b4bc prefixlen 64 scopeid 0x20<link></code>

<code> </code><code>ether e6:fe:e6:db:b4:</code><code>bc</code> <code>txqueuelen 1000 (Ethernet)</code>

<code> </code><code>RX packets 5656 bytes 10813699 (10.3 MiB)</code>

<code> </code><code>TX packets 4849 bytes 336703 (328.8 KiB)</code>

<code>lo: flags=73<UP,LOOPBACK,RUNNING> mtu 65536</code>

<code> </code><code>inet 127.0.0.1 netmask 255.0.0.0</code>

<code> </code><code>inet6 ::1 prefixlen 128 scopeid 0x10<host></code>

<code> </code><code>loop txqueuelen 0 (Local Loopback)</code>

<code>再启动一个容器</code>

<code>[root@localhost ~]</code><code># docker run -ti -d --net=none --name=my-test2 docker.io/nginx /bin/bash</code>

<code>[root@localhost ~]</code><code># pipework br0 -i eth0 my-test2 10.10.172.191/[email protected]</code>

<code>这样，my-test1容器和my-test2容器在同一个宿主机上，所以它们固定后的ip是可以相互</code><code>ping</code><code>通的。</code>

二、不同主机间的容器通信（pipework config docker container ip）

<code>我的centos7测试机上的docker是yum安装的，默认自带pipework工具，所以就不用在另行安装它了。</code>

<code>如果没有pipework工具，可以安装下面步骤进行安装：</code>

<code># git clone https://github.com/jpetazzo/pipework.git</code>

<code># sudo cp -rp pipework/pipework /usr/local/bin/</code>

<code>安装相应依赖软件(网桥)</code>

<code># yum install bridge-utils -y</code>

<code>查看Docker宿主机上的桥接网络</code>

<code>有两种方式做法：</code>

<code>1）可以选择删除docker0，直接把docker的桥接指定为br0；</code>

<code>2）也可以选择保留使用默认docker0的配置，这样单主机容器之间的通信可以通过docker0；</code>

<code> </code><code>跨主机不同容器之间通过pipework将容器的网卡桥接到br0上，这样跨主机容器之间就可以通信了。</code>

<code>如果保留了docker0，则容器启动时不加--net=none参数，那么本机容器启动后就是默认的docker0自动分配的ip（默认是172.17.1.0</code><code>/24</code><code>网段），它们之间是可以通信的；</code>

<code>跨宿主机的容器创建时要加--net=none参数，待容器启动后通过pipework给容器指定ip，这样跨宿主机的容器ip是在同一网段内的同网段地址，因此可以通信。</code>

<code>一般来说：最好在创建容器的时候加上--net=none，防止自动分配的IP在局域网中有冲突。若是容器创建后自动获取ip，下次容器启动会ip有变化，可能会和物理网段中的ip冲突</code>

<code>实例说明如下：</code>

<code>宿主机信息</code>

<code>ip：10.10.172.202 （网卡设备为eth0）</code>

<code>gateway：10.10.172.1</code>

<code>netmask：255.255.255.0</code>

<code>CentOS Linux release 7.2.1511 (Core)</code>

<code>1）删除虚拟桥接卡docker0的配置</code>

<code>[root@localhost ~]</code><code># ip link set dev br0 up </code>

<code>[root@localhost ~]</code><code># ip addr del 10.10.172.202/24 dev eth0 //删除宿主机网卡的IP（如果是使用这个地址进行的远程连接，这一步操作后就会断掉；如果是使用外网地址连接的话，就不会断开）</code>

<code>[root@localhost ~]</code><code># ip addr add 10.10.172.202/24 dev br0 //将宿主主机的ip设置到br0</code>

<code>[root@localhost ~]</code><code># brctl addif br0 eth0 //将宿主机网卡挂到br0上</code>

<code>[root@localhost ~]</code><code># ip route del default //删除默认的原路由，其实就是eth0上使用的原路由10.10.172.1（这步小心，注意删除后要保证机器能远程连接上，最好是通过外网ip远程连的。别删除路由后，远程连接不上，中断了）</code>

<code>[root@localhost ~]</code><code># ip route add default via 10.10.172.1 dev br0 //为br0设置路由，此时CRT就可以远程连接服务器了。</code>

<code>[root@localhost ~]</code><code># vim /etc/sysconfig/docker //即将虚拟的桥接口由默认的docker0改为br0</code>

<code>[root@localhost ~]</code><code># service docker start</code>

<code>启动一个手动设置网络的容器</code>

<code>[root@localhost ~]</code><code># docker run -itd --net=none --name=my-test1 docker.io/centos</code>

<code>[root@localhost network-scripts]</code><code># docker ps</code>

<code>ba99871b4c45 docker.io</code><code>/centos</code> <code>"/bin/bash"</code> <code>7 minutes ago Up 9 seconds my-test1</code>

<code>为my-test1容器设置一个与桥接物理网络同地址段的ip（如下，</code><code>"ip@gateway"</code><code>）</code>

<code>默认不指定网卡设备名，则默认添加为eth0。可以通过-i参数添加网卡设备名</code>

<code>[root@localhost ~]</code><code># pipework br0 -i eth0 my-test1 10.10.172.190/[email protected] //网关为宿主机的IP地址或者是宿主机的网关地址</code>

<code>同理，在其他机器上启动容器，并类似上面用pipework设置一个同网段类的ip，这样跨主机的容器就可以相互</code><code>ping</code><code>通了！</code>

<code>2）保留默认虚拟桥接卡docker0的配置</code>

<code>[root@localhost ~]</code><code># cd /etc/sysconfig/network-scripts/</code>

<code>[root@localhost network-scripts]</code><code># cp ifcfg-eth0 ifcfg-eth0.bak</code>

<code>[root@localhost network-scripts]</code><code># cp ifcfg-eth0 ifcfg-br0</code>

<code>[root@localhost network-scripts]</code><code># vim ifcfg-eth0 //增加BRIDGE=br0，删除IPADDR,NETMASK,GATEWAY,DNS的设置</code>

<code>BRIDGE=br0</code>

<code>[root@localhost network-scripts]</code><code># vim ifcfg-br0 //修改DEVICE为br0,Type为Bridge,把eth0的网络设置设置到这里来（里面应该有ip，网关，子网掩码或DNS设置）</code>

<code>TYPE=Bridge</code>

<code>DEVICE=br0</code>

<code>[root@localhost network-scripts]</code><code># service network restart</code>

<code>[root@localhost network-scripts]</code><code># service docker restart</code>

<code>开启一个容器并指定网络模式为none（这样，创建的容器就不会通过docker0自动分配ip了，而是根据pipework工具自定ip指定）</code>

<code>[root@localhost network-scripts]</code><code># docker images</code>

<code>[root@localhost network-scripts]</code><code># docker run -itd --net=none --name=my-centos docker.io/centos /bin/bash</code>

<code>接着给容器配置网络</code>

<code>[root@localhost network-scripts]</code><code># pipework br0 -i eth0 my-centos 10.10.172.191/[email protected]</code>

<code>[root@localhost network-scripts]</code><code># docker attach ed945a089b68</code>

<code>[root@localhost network-scripts]</code><code># docker exec -it ed945a089b68 /bin/bash #推荐使用exec连接容器</code>

<code>[root@ed945a089b68 /]</code><code># ifconfig eth0 //若没有ifconfig命令，可以yum安装net-tools工具 </code>

<code> </code><code>inet 10.10.172.191 netmask 255.255.255.0 broadcast 10.10.172.255</code>

<code> </code><code>inet6 fe80::b8e8:27ff:fe7f:ce43 prefixlen 64 scopeid 0x20<link></code>

<code> </code><code>ether ba:e8:27:7f:ce:43 txqueuelen 1000 (Ethernet)</code>

<code> </code><code>RX packets 7060 bytes 13523313 (12.8 MiB)</code>

<code> </code><code>TX packets 5139 bytes 359449 (351.0 KiB)</code>

<code>[root@ed945a089b68 /]</code><code># route -n</code>

<code>Kernel IP routing table</code>

<code>Destination Gateway Genmask Flags Metric Ref Use Iface</code>

<code>另外pipework不能添加静态路由，如果有需求则可以在run的时候加上--privileged=</code><code>true</code> <code>权限在容器中手动添加，但这种方法安全性有缺陷。</code>

<code>除此之外，可以通过ip netns（--help参考帮助）添加静态路由，以避免创建容器使用--privileged=</code><code>true</code><code>选项造成一些不必要的安全问题：</code>

<code>如下获取指定容器的pid</code>

<code>[root@localhost network-scripts]</code><code># docker inspect --format="{{ .State.Pid }}" ed945a089b68</code>

<code>[root@localhost network-scripts]</code><code># ln -s /proc/19532/ns/net /var/run/netns/19532</code>

<code>[root@localhost network-scripts]</code><code># ip netns exec 19532 ip route add 192.168.21.0/24 dev eth0 via 10.10.172.1</code>

<code>[root@localhost network-scripts]</code><code># ip netns exec 19532 ip route //添加成功</code>

<code>同理，在其它宿主机进行相应的配置，新建容器并使用pipework添加虚拟网卡桥接到br0，如此创建的容器间就可以相互通信了。 </code>

-----------------------------------------------几个报错出来---------------------------------------------

<code>1）重启网卡报错如下：</code>

<code># systemctl restart network</code>

<code>Nov 23 22:09:08 hdcoe02 systemd[1]: network.service: control process exited, code=exited status=1 </code>

<code>Nov 23 22:09:08 hdcoe02 systemd[1]: Failed to start LSB: Bring up</code><code>/down</code> <code>networking. </code>

<code>Nov 23 22:09:08 hdcoe02 systemd[1]: Unit network.service entered failed state.<</code><code>/span</code><code>> </code>

<code># systemctl enable NetworkManager-wait-online.service</code>

<code># systemctl stop NetworkManager</code>

<code># systemctl restart network.service</code>

<code>2）创建容器，出现下面告警</code>

<code>WARNING: IPv4 forwarding is disabled. Networking will not work.</code>

<code>#vim /usr/lib/sysctl.d/00-system.conf</code>

<code>添加如下代码：</code>

<code>net.ipv4.ip_forward=1</code>

<code>执行以下命令，让其配置立即生效</code>

<code># sysctl -p</code>

-----------------------------------------------------------------------------------------------------------------------------------

其实除了上面使用的pipework工具还，还可以使用虚拟交换机(Open vSwitch)进行docker容器间的网络通信，废话不多说，下面说下Open vSwitch的使用：

<code>一、在Server1和Server2上分别安装openvswitch</code>

<code>[root@Slave1 ~]</code><code># yum install docker bridge-util wget openssl-devel kernel-devel -y </code>

<code>[root@Slave1 ~]</code><code># yum groupinstall "Development Tools" -y </code>

<code>[root@Slave1 ~]</code><code># adduser ovswitch</code>

<code>[root@Slave1 ~]</code><code># su - ovswitch</code>

<code>[ovswitch@Slave1 ~]$ wget http:</code><code>//openvswitch</code><code>.org</code><code>/releases/openvswitch-2</code><code>.3.0.</code><code>tar</code><code>.gz</code>

<code>[ovswitch@Slave1 ~]$ </code><code>tar</code> <code>-zxvpf openvswitch-2.3.0.</code><code>tar</code><code>.gz</code>

<code>[ovswitch@Slave1 ~]$ </code><code>mkdir</code> <code>-p ~</code><code>/rpmbuild/SOURCES</code>

<code>[ovswitch@Slave1 ~]$ </code><code>sed</code> <code>'s/openvswitch-kmod, //g'</code> <code>openvswitch-2.3.0</code><code>/rhel/openvswitch</code><code>.spec > openvswitch-2.3.0</code><code>/rhel/openvswitch_no_kmod</code><code>.spec</code>

<code>[ovswitch@Slave1 ~]$ </code><code>cp</code> <code>openvswitch-2.3.0.</code><code>tar</code><code>.gz rpmbuild</code><code>/SOURCES/</code>

<code>[ovswitch@Slave1 ~]$ rpmbuild -bb --without check ~</code><code>/openvswitch-2</code><code>.3.0</code><code>/rhel/openvswitch_no_kmod</code><code>.spec</code>

<code>[ovswitch@Slave1 ~]$ </code><code>exit</code>

<code>[root@Slave1 ~]</code><code># yum localinstall /home/ovswitch/rpmbuild/RPMS/x86_64/openvswitch-2.3.0-1.x86_64.rpm</code>

<code>[root@Slave1 ~]</code><code># mkdir /etc/openvswitch</code>

<code>[root@Slave1 ~]</code><code># setenforce 0</code>

<code>[root@Slave1 ~]</code><code># systemctl start openvswitch.service</code>

<code>[root@Slave1 ~]</code><code># chkconfig openswitch on</code>

<code>[root@Slave1 ~]</code><code># systemctl status openvswitch.service -l</code>

<code>二、在Slave1和Slave2上建立OVS Bridge并配置路由</code>

<code>1）在Slave1宿主机上设置docker容器内网ip网段172.17.1.0</code><code>/24</code>

<code>[root@Slave1 ~]</code><code># vim /proc/sys/net/ipv4/ip_forward</code>

<code>[root@Slave1 ~]</code><code># ovs-vsctl add-br obr0</code>

<code>[root@Slave1 ~]</code><code># ovs-vsctl add-port obr0 gre0 -- set Interface gre0 type=gre options:remote_ip=10.10.172.204</code>

<code>[root@Slave1 ~]</code><code># brctl addbr kbr0</code>

<code>[root@Slave1 ~]</code><code># brctl addif kbr0 obr0</code>

<code>[root@Slave1 ~]</code><code># ip link set dev docker0 down</code>

<code>[root@Slave1 ~]</code><code># ip link del dev docker0</code>

<code>[root@Slave1 ~]</code><code># brctl show </code>

<code>编辑</code><code>/usr/lib/systemd/system/docker</code><code>.service文件，添加docker启动选项</code><code>"--bip=172.17.1.1/24"</code><code>来指定docker0地址即可</code>

<code>[root@Slave1 ~]</code><code># cat /usr/lib/systemd/system/docker.service </code>

<code>Description=Docker Application Container Engine</code>

<code>Documentation=http:</code><code>//docs</code><code>.docker.com</code>

<code>After=network.target rhel-push-plugin.socket registries.service</code>

<code>Wants=docker-storage-setup.service</code>

<code>Requires=docker-cleanup.timer</code>

<code>[Service]</code>

<code>Type=notify</code>

<code>NotifyAccess=all</code>

<code>EnvironmentFile=-</code><code>/run/containers/registries</code><code>.conf</code>

<code>EnvironmentFile=-</code><code>/etc/sysconfig/docker</code>

<code>EnvironmentFile=-</code><code>/etc/sysconfig/docker-storage</code>

<code>EnvironmentFile=-</code><code>/etc/sysconfig/docker-network</code>

<code>Environment=GOTRACEBACK=crash</code>

<code>Environment=DOCKER_HTTP_HOST_COMPAT=1</code>

<code>Environment=PATH=</code><code>/usr/libexec/docker</code><code>:</code><code>/usr/bin</code><code>:</code><code>/usr/sbin</code>

<code>ExecStart=</code><code>/usr/bin/dockerd-current</code> <code>\</code>

<code> </code><code>--add-runtime docker-runc=</code><code>/usr/libexec/docker/docker-runc-current</code> <code>\</code>

<code> </code><code>--default-runtime=docker-runc \</code>

<code> </code><code>--</code><code>exec</code><code>-opt native.cgroupdriver=systemd \</code>

<code> </code><code>--userland-proxy-path=</code><code>/usr/libexec/docker/docker-proxy-current</code> <code>\</code>

<code> </code><code>$OPTIONS \</code>

<code> </code><code>$DOCKER_STORAGE_OPTIONS \</code>

<code> </code><code>$DOCKER_NETWORK_OPTIONS \</code>

<code> </code><code>$ADD_REGISTRY \</code>

<code> </code><code>$BLOCK_REGISTRY \</code>

<code> </code><code>$INSECURE_REGISTRY\</code>

<code> </code><code>$REGISTRIES </code>

<code>ExecReload=</code><code>/bin/kill</code> <code>-s HUP $MAINPID</code>

<code>LimitNOFILE=1048576</code>

<code>LimitNPROC=1048576</code>

<code>LimitCORE=infinity</code>

<code>TimeoutStartSec=0</code>

<code>Restart=on-abnormal</code>

<code>MountFlags=slave</code>

<code>KillMode=process</code>

<code>[Install]</code>

<code>WantedBy=multi-user.target</code>

<code>[root@Slave1 ~]</code><code>#</code>

<code>[root@Slave1 ~]</code><code># vim /etc/sysconfig/network-scripts/route-eth0</code>

<code>[root@Slave1 ~]</code><code># systemctl restart network.service</code>

查看宿主机网卡信息

<code>[root@dockerserver1 ~]</code><code># ip addr</code>

<code>1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN </code>

<code> </code><code>link</code><code>/loopback</code> <code>00:00:00:00:00:00 brd 00:00:00:00:00:00</code>

<code> </code><code>inet 127.0.0.1</code><code>/8</code> <code>scope host lo</code>

<code> </code><code>valid_lft forever preferred_lft forever</code>

<code> </code><code>inet6 ::1</code><code>/128</code> <code>scope host </code>

<code>2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000</code>

<code> </code><code>link</code><code>/ether</code> <code>00:50:56:86:3e:d8 brd ff:ff:ff:ff:ff:ff</code>

<code> </code><code>inet 10.10.172.203</code><code>/24</code> <code>brd 10.10.172.255 scope global eth0</code>

<code> </code><code>inet6 fe80::250:56ff:fe86:3ed8</code><code>/64</code> <code>scope link </code>

<code>4: ovs-system: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN </code>

<code> </code><code>link</code><code>/ether</code> <code>06:19:20:ae:f6:61 brd ff:ff:ff:ff:ff:ff</code>

<code>10: obr0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop master kbr0 state DOWN </code>

<code> </code><code>link</code><code>/ether</code> <code>f2:4f:08:04:07:41 brd ff:ff:ff:ff:ff:ff</code>

<code>11: kbr0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN </code>

<code>12: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN </code>

<code> </code><code>link</code><code>/ether</code> <code>02:42:ca:6c:84:a0 brd ff:ff:ff:ff:ff:ff</code>

<code> </code><code>inet 172.17.1.1</code><code>/24</code> <code>scope global docker0</code>

<code>[root@dockerserver1 ~]</code><code>#</code>

<code>2）在Slave2宿主机上设置docker容器内网ip网段172.17.2.0</code><code>/24</code>

<code>[root@Slave2 ~]</code><code># vim /proc/sys/net/ipv4/ip_forward</code>

<code>[root@Slave2 ~]</code><code># ovs-vsctl add-br obr0</code>

<code>[root@Slave2 ~]</code><code># ovs-vsctl add-port obr0 gre0 -- set Interface gre0 type=gre options:remote_ip=10.10.172.203</code>

<code>[root@Slave2 ~]</code><code># brctl addbr kbr0</code>

<code>[root@Slave2 ~]</code><code># brctl addif kbr0 obr0</code>

<code>[root@Slave2 ~]</code><code># ip link set dev docker0 down</code>

<code>[root@Slave2 ~]</code><code># ip link del dev docker0</code>

<code>[root@Slave2 ~]</code><code># brctl show </code>

<code>编辑</code><code>/usr/lib/systemd/system/docker</code><code>.service文件，添加docker启动选项</code><code>"--bip=172.17.2.1/24"</code><code>来指定docker0地址即可</code>

<code>[root@Slave2 ~]</code><code># cat /usr/lib/systemd/system/docker.service</code>

<code> </code><code>$REGISTRIES</code>

<code>[root@Slave2 ~]</code><code># </code>

<code>[root@Slave2 ~]</code><code># vim /etc/sysconfig/network-scripts/route-eth0</code>

<code>[root@Slave2 ~]</code><code># systemctl restart network.service</code>

查看宿主机网卡信息：

<code>[root@dockerserver2 ~]</code><code># ip addr</code>

<code> </code><code>link</code><code>/ether</code> <code>00:50:56:86:22:d8 brd ff:ff:ff:ff:ff:ff</code>

<code> </code><code>inet 10.10.172.204</code><code>/24</code> <code>brd 10.10.172.255 scope global eth0</code>

<code> </code><code>inet6 fe80::250:56ff:fe86:22d8</code><code>/64</code> <code>scope link </code>

<code> </code><code>link</code><code>/ether</code> <code>be:d4:64:ee:cb:29 brd ff:ff:ff:ff:ff:ff</code>

<code>8: obr0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop master kbr0 state DOWN </code>

<code> </code><code>link</code><code>/ether</code> <code>f6:ff:00:62:b8:49 brd ff:ff:ff:ff:ff:ff</code>

<code>9: kbr0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN </code>

<code>10: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN </code>

<code> </code><code>link</code><code>/ether</code> <code>02:42:03:28:ae:db brd ff:ff:ff:ff:ff:ff</code>

<code> </code><code>inet 172.17.2.1</code><code>/24</code> <code>scope global docker0</code>

<code>[root@dockerserver2 ~]</code><code>#</code>

<code>三、启动容器测试</code>

<code>Server1和Server2上修改docker启动的虚拟网卡绑定为kbr0，重启docker进程</code>

<code>1）在Server1宿主机上启动容器,然后登陆容器内查看ip，就会发现ip是上面设定值172.17.1.0</code><code>/24</code><code>网段的。</code>

<code>[root@Slave1 ~]</code><code># docker run -idt --name my-server1 docker.io/centos /bin/bash</code>

<code>[root@Slave1 ~]</code><code># docker exec my-server1 ifconfig eth0</code>

<code> </code><code>inet 172.17.1.2 netmask 255.255.255.0 broadcast 0.0.0.0</code>

<code> </code><code>inet6 fe80::42:acff:fe11:102 prefixlen 64 scopeid 0x20<link></code>

<code> </code><code>ether 02:42:ac:11:01:02 txqueuelen 0 (Ethernet)</code>

<code> </code><code>RX packets 6555 bytes 13556099 (12.9 MiB)</code>

<code> </code><code>TX packets 5456 bytes 423669 (413.7 KiB)</code>

<code>2）在Server2宿主机上启动容器，然后登陆容器内查看ip，就会发现ip是上面设定值172.17.2.0</code><code>/24</code><code>网段的</code>

<code>[root@Slave2 ~]</code><code># docker run -idt --name my-server1 docker.io/centos /bin/bash</code>

<code>[root@Slave2 ~]</code><code># docker exec my-server1 ifconfig eth0 </code>

<code> </code><code>inet 172.17.2.2 netmask 255.255.255.0 broadcast 0.0.0.0</code>

<code> </code><code>inet6 fe80::42:acff:fe11:202 prefixlen 64 scopeid 0x20<link></code>

<code> </code><code>ether 02:42:ac:11:02:02 txqueuelen 0 (Ethernet)</code>

<code> </code><code>RX packets 5979 bytes 13412345 (12.7 MiB)</code>

<code> </code><code>TX packets 5136 bytes 366985 (358.3 KiB)</code>

<code>[root@Slave2 ~]</code><code># docker exec -it my-server1 /bin/bash </code>

<code>PING 172.17.1.2 (172.17.1.2) 56(84) bytes of data.</code>

<code>64 bytes from 172.17.1.2: icmp_seq=1 ttl=62 </code><code>time</code><code>=0.926 ms</code>

<code>--- 172.17.1.2 </code><code>ping</code> <code>statistics ---</code>

<code>1 packets transmitted, 1 received, 0% packet loss, </code><code>time</code> <code>0ms</code>

<code>然后在上面启动的容内互</code><code>ping</code><code>对方容器，发现是可以</code><code>ping</code><code>通的。</code>

注：docker宿主机IP转发功能要启用，不然docker容器不能正常上网的。

本文转自 dengaosky 51CTO博客，原文链接：http://blog.51cto.com/dengaosky/2067727，如需转载请自行联系原作者

Docker容器学习梳理--容器间网络通信设置(Pipework和Open vSwitch)

继续阅读

unit 1 - redhat Enterprise 8.0 Linux 命令行使用技巧

Windows命令行中使用SSH连接Linux

Linux下命令行中的复制和粘贴

1.Linux命令行使用技巧

spec文件详解

HK-2000数据采集仪数据库操作说明

终端环境之tmux

查找文件中的字符串

(SpringBoot)日志种类：log、monitor、access、out、gc、backup

拒绝用户登录:/bin/false和/usr/sbin/nologin

Shell编程——sort排序、uniq忽略重复、tr替换压缩删除、cut指定删除字段、正则表达式元字符sort 命令uniq 命令tr 命令cut 命令正则表达式

Linxu常用命令技巧汇总

《Linux命令行与Shell脚本编程大全第2版.布卢姆》pdf

ACS基本配置-权限等级管理

CentOS 7,docker安装

【Docker】端口映射问题操作步骤