Docker Libnetwork 使用

前言

我們搭建一個網絡環境，一般遵循一定的網絡拓撲結構。由于Linux可以模拟相應的網絡裝置，并可以建立“虛拟機”（也就是容器），是以在Linux系統内，我們也可以遵循一定的網路拓撲結構，設計一個“内網”，實作容器之間的通信。

本文主要講述容器跨主機網絡通信。

實作方式

容器跨主機的網絡通信，主要實作思路有兩種：二層VLAN網絡和Overlay網絡。

二層VLAN網絡的解決跨主機通信的思路是把原先的網絡架構改造為互通的大二層網絡，通過特定網絡裝置直接路由，實作容器點到點的之間通信。

Overlay網絡是指在不改變現有網絡基礎設施的前提下，通過某種約定通信協定，把二層封包封裝在IP封包之上的新的資料格式。

libnetwork

Libnetwork是Docker團隊将Docker的網絡功能從Docker核心代碼中分離出去，形成一個單獨的庫。 Libnetwork通過插件的形式為Docker提供網絡功能。 使得使用者可以根據自己的需求實作自己的Driver來提供不同的網絡功能。

官方目前計劃實作以下Driver：

1. Bridge ： 這個Driver就是Docker現有網絡Bridge模式的實作。 （基本完成，主要從之前的Docker網絡代碼中遷移過來）
2. Null ： Driver的空實作，類似于Docker 容器的None模式。
3. Overlay ： 隧道模式實作多主機通信的方案。

“Libnetwork所要實作的網絡模型（網絡拓撲結構）基本是這樣的： 使用者可以建立一個或多個網絡（一個網絡就是一個網橋或者一個VLAN ），一個容器可以加入一個或多個網絡。 同一個網絡中容器可以通信，不同網絡中的容器隔離。”我覺得這才是将網絡從docker分離出去的真正含義，即在建立容器之前，我們可以先建立網絡（即建立容器與建立網絡是分開的），然後決定讓容器加入哪個網絡。

Libnetwork定義的容器網絡模型

• Sandbox：對應一個容器中的網絡環境（沒有實體），包括相應的網卡配置、路由表、DNS配置等。CNM很形象的将它表示為網絡的『沙盒』，因為這樣的網絡環境是随着容器的建立而建立，又随着容器銷毀而不複存在的；
• Endpoint：實際上就是一個容器中的虛拟網卡，在容器中會顯示為eth0、eth1依次類推；
• Network：指的是一個能夠互相通信的容器網絡，加入了同一個網絡的容器直接可以直接通過對方的名字互相連接配接。它的實體本質上是主機上的虛拟網卡或網橋。

Libnetwork網絡使用方式

直接使用

1. 假設存在主機

   192.168.56.101

   ,

   192.168.56.102

2. 修改每個主機的docker啟動參數

   DOCKER_OPTS=--insecure-registry 192.168.3.56:5000 -H 0.0.0.0:2375 --cluster-store=etcd://192.168.56.101:2379/ --cluster-advertise=192.168.56.101:2375

   ，重新開機docker。
3. docker建立overlay網絡net1和net2

   • 192.168.56.101

     或

     192.168.56.102

     執行

     docker network create -d overlay net1``docker network create -d overlay net2

   • 192.168.56.101

     運作容器net1c1,net2c1

     docker run -itd --name net1c1 --net net1 ubuntu:14.04

   • 192.168.56.102

     運作容器net1c2,net2c2。

通過docker swarm使用

1. 啟動etcd叢集，存儲docker swarm節點資訊

   192.168.56.101

   上etcd配置

   ETCD_OPTS=--data-dir=/var/lib/etcd/ \
             --name wily1 \
             --initial-advertise-peer-urls http://192.168.56.101:2380 \
             --listen-peer-urls http://192.168.56.101:2380 \
             --listen-client-urls http://192.168.56.101:2379,http://127.0.0.1:2379 \
             --advertise-client-urls http://192.168.56.101:2379 \
             --initial-cluster-token etcd-cluster-1 \
             --initial-cluster-state new \
             --initial-cluster wily1=http://192.168.56.101:2380,wily2=http://192.168.56.102:2380
              

   192.168.56.102

   上etcd配置

   ETCD_OPTS=--data-dir=/var/lib/etcd/ \
             --name wily1 \
             --initial-advertise-peer-urls http://192.168.56.102:2380 \
             --listen-peer-urls http://192.168.56.102:2380 \
             --listen-client-urls http://192.168.56.102:2379,http://127.0.0.1:2379 \
             --advertise-client-urls http://192.168.56.102:2379 \
             --initial-cluster-token etcd-cluster-1 \
             --initial-cluster-state new \
             --initial-cluster wily1=http://192.168.56.101:2380,wily2=http://192.168.56.102:2380
              

2. 啟動 docker swarm

   • 192.168.56.101

     執行

     docker run --name swarm-agent -d swarm join --addr=192.168.56.101:2375 etcd://192.168.56.101:2379/swarm

   • 192.168.56.102

     執行

     docker run --name swarm-agent -d swarm join --addr=192.168.56.102:2375 etcd://192.168.56.102:2379/swarm

   • 192.168.56.101

     上啟動swarm-manager

     docker run --name swarm-manager -d -p 3375:2375 swarm manage etcd://192.168.56.101:2379/swarm

   docker-swarm啟動建議做成systemd的形式，并配置docker DOCKER_HOST環境變量

3. 192.168.56.101

   上建立網絡net3并啟動容器

   docker -H tcp://localhost:3375 network create -d overlay net3

   docker -H tcp://localhost:3375 run -it --net net3 ubuntu bash

4. 192.168.56.101

   上建立網絡net4并啟動容器，并且指定容器的ip，這個效果在實際場景中很有用

   docker -H tcp://localhost:3375 network create -d overlay net4 --subnet 172.19.0.0/16

   docker -H tcp://localhost:3375 run -it --net net4 --ip=172.19.0.6 ubuntu bash

使用

--ip

參數時，必須值定特定的子網，參見

https://github.com/docker/docker/issues/20547

一些坑

如果你使用virtual box虛拟了兩個主機

192.168.56.101

和

192.168.56.102

，并且

192.168.56.102

是由

192.168.56.101

克隆而來，則你需要清除

xx/docker/key.json

（不同系統位置不同），并重新開機docker。否則兩個主機啟動的容器可能具有同一個id，進而導緻使用docker swarm時出現問題。參見

https://github.com/docker/swarm/issues/380

小結

docker 真是做的越來越全面了，如果僅僅是用用，一切都是參數配置，搞得人家很沒有成就感嘛。

參考文獻

聊聊Docker 1.9的新網絡特性

了解Docker跨多主機容器網絡