本文将探讨 Kubernetes 中的網絡模型，以及對各種網絡模型進行分析。
Underlay Network Model
什麼是 Underlay Network
底層網絡 Underlay Network 顧名思義是指網絡裝置基礎設施，如交換機，路由器, DWDM 使用網絡媒體将其連結成的實體網絡拓撲，負責網絡之間的資料包傳輸。
underlay network 可以是二層，也可以是三層；二層的典型例子是以太網 Ethernet，三層是的典型例子是網際網路 Internet。
而工作于二層的技術是 vlan，工作在三層的技術是由 OSPF，BGP 等協定組成。
k8s 中的 underlay network
在 kubernetes 中，underlay network 中比較典型的例子是通過将主控端作為路由器裝置，Pod 的網絡則通過學習路由條目進而實作跨節點通訊。
這種模型下典型的有 flannel 的 host-gw 模式與 calico BGP 模式。
flannel host-gw
flannel host-gw 模式中每個 Node 需要在同一個二層網絡中，并将 Node 作為一個路由器，跨節點通訊将通過路由表方式進行，這樣方式下将網絡模拟成一個underlay network。
Notes：因為是通過路由方式，叢集的 cidr 至少要配置 16，因為這樣可以保證，跨節點的 Node 作為一層網絡，同節點的 Pod 作為一個網絡。如果不是這種用情況，路由表處于相同的網絡中，會存在網絡不可達
Calico BGP
BGP（Border Gateway Protocol）是去中心化自治路由協定。它是通過維護 IP 路由表或字首表來實作 AS （Autonomous System）之間的可通路性，屬于向量路由協定。
與 flannel 不同的是，Calico 提供了的 BGP 網絡解決方案，在網絡模型上，Calico 與 Flannel host-gw 是近似的，但在軟體架構的實作上，flannel 使用 flanneld 程序來維護路由資訊；而 Calico 是包含多個守護程序的，其中 Brid 程序是一個 BGP 用戶端與路由反射器(Router Reflector)，BGP 用戶端負責從 Felix 中擷取路由并分發到其他 BGP Peer，而反射器在 BGP 中起了優化的作用。在同一個 IBGP 中，BGP 用戶端僅需要和一個 RR 相連，這樣減少了AS内部維護的大量的 BGP 連接配接。通常情況下，RR 是真實的路由裝置，而 Bird 作為 BGP 用戶端工作。
IPVLAN & MACVLAN
IPVLAN 和 MACVLAN 是一種網卡虛拟化技術，兩者之間的差別為， IPVLAN 允許一個實體網卡擁有多個 IP 位址，并且所有的虛拟接口用同一個 MAC 位址；而 MACVLAN 則是相反的，其允許同一個網卡擁有多個 MAC 位址，而虛拟出的網卡可以沒有 IP 位址。
因為是網卡虛拟化技術，而不是網絡虛拟化技術，本質上來說屬于 Overlay network，這種方式在虛拟化環境中與 Overlay network 相比最大的特點就是可以将 Pod 的網絡拉平到 Node 網絡同級，進而提供更高的性能、低延遲的網絡接口。本質上來說其網絡模型屬于下圖中第二個。
• 虛拟網橋：建立一個虛拟網卡對(veth pair)，一頭在容器内，一頭在主控端的 root namespaces 内。這樣一來容器内發出的資料包可以通過網橋直接進入主控端網絡棧，而發往容器的資料包也可以經過網橋進入容器。
• 多路複用：使用一個中間網絡裝置，暴露多個虛拟網卡接口，容器網卡都可以介入這個中間裝置，并通過 MAC/IP 位址來區分 packet 應該發往哪個容器裝置。
• 硬體交換，為每個 Pod 配置設定一個虛拟網卡，這樣一來，Pod 與 Pod 之間的連接配接關系就會變得非常清晰，因為近乎實體機之間的通信基礎。如今大多數網卡都支援 SR-IOV 功能，該功能将單一的實體網卡虛拟成多個 VF 接口，每個 VF 接口都有單獨的虛拟 PCIe 通道，這些虛拟的 PCIe 通道共用實體網卡的 PCIe 通道。
在 kubernetes 中 IPVLAN 這種網絡模型下典型的 CNI 有，multus 與 danm。
multus
multus 是 intel 開源的 CNI 方案，是由傳統的 cni 與 multus，并且提供了 SR-IOV CNI 插件使 K8s pod 能夠連接配接到 SR-IOV VF 。這是使用了 IPVLAN/MACVLAN 的功能。
當建立新的 Pod 後，SR-IOV 插件開始工作。配置 VF 将被移動到新的 CNI 名稱空間。該插件根據 CNI 配置檔案中的 “name” 選項設定接口名稱。最後将 VF 狀态設定為 UP。
下圖是一個 Multus 和 SR-IOV CNI 插件的網絡環境，具有三個接口的 pod。
• eth0 是 flannel 網絡插件，也是作為 Pod 的預設網絡
• VF 是主機的實體端口 ens2f0 的執行個體化。這是英特爾 X710-DA4 上的一個端口。在 Pod 端的 VF 接口名稱為 south0 。
• 這個 VF 使用了 DPDK 驅動程式，此 VF 是從主機的實體端口 ens2f1 執行個體化出的。這個是英特爾 ® X710-DA4 上另外一個端口。Pod 内的 VF 接口名稱為 north0。該接口綁定到 DPDK 驅動程式 vfio-pci 。
Notes：術語
NIC：network interface card，網卡
SR-IOV：single root I/O virtualization，硬體實作的功能，允許各虛拟機間共享 PCIe 裝置。
VF：Virtual Function，基于 PF，與 PF 或者其他 VF 共享一個實體資源。
PF：PCIe Physical Function，擁有完全控制 PCIe 資源的能力
DPDK：Data Plane Development Kit
與此同時，也可以将主機接口直接移動到 Pod 的網絡名稱空間，當然這個接口是必須存在，并且不能是與預設網絡使用同一個接口。這種情況下，在普通網卡的環境中，就直接将 Pod 網絡與 Node 網絡處于同一個平面内了。
danm
DANM 是諾基亞開源的 CNI 項目，目的是将電信級網絡引入 kubernetes 中，與 multus 相同的是，也提供了 SR-IOV/DPDK 的硬體技術，并且支援 IPVLAN.
Overlay Network Model
什麼是 Overlay
疊加網絡是使用網絡虛拟化技術，在 underlay 網絡上建構出的虛拟邏輯網絡，而無需對實體網絡架構進行更改。本質上來說，overlay network 使用的是一種或多種隧道協定 (tunneling)，通過将資料包封裝，實作一個網絡到另一個網絡中的傳輸，具體來說隧道協定關注的是資料包（幀）。
常見的網絡隧道技術
• 通用路由封裝 ( Generic Routing Encapsulation ) 用于将來自 IPv4/IPv6 的資料包封裝為另一個協定的資料包中，通常工作與 L3 網絡層中。
• VxLAN (Virtual Extensible LAN)，是一個簡單的隧道協定，本質上是将 L2 的以太網幀封裝為 L4 中 UDP 資料包的方法，使用 4789 作為預設端口。VxLAN 也是 VLAN 的擴充，對于 4096（ 位 VLAN ID） 擴充為 1600 萬（ 位 VN·ID ）個邏輯網絡。
這種工作在 overlay 模型下典型的有 flannel 與 calico 中的的 VxLAN，IPIP 模式。
IPIP
IP in IP 也是一種隧道協定，與 VxLAN 類似的是，IPIP 的實作也是通過 Linux 核心功能進行的封裝。IPIP 需要核心子產品 ipip.ko 使用指令檢視核心是否加載 IPIP 子產品lsmod | grep ipip ；使用指令modprobe ipip 加載。
Kubernetes 中 IPIP 與 VxLAN 類似，也是通過網絡隧道技術實作的。與 VxLAN 差别就是，VxLAN 本質上是一個 UDP 包，而 IPIP 則是将包封裝在本身的封包包上。
Notes：公有雲可能不允許 IPIP 流量，例如 Azure
VxLAN
kubernetes 中不管是 flannel 還是 calico VxLAN 的實作都是使用 Linux 核心功能進行的封裝，Linux 對 vxlan 協定的支援時間并不久，2012 年 Stephen Hemminger 才把相關的工作合并到 kernel 中，并最終出現在 kernel 3.7.0 版本。為了穩定性和很多的功能，你可以會看到某些軟體推薦在 3.9.0 或者 3.10.0 以後版本的 kernel 上使用 VxLAN。
在 kubernetes 中 vxlan 網絡，例如 flannel，守護程序會根據 kubernetes 的 Node 而維護 VxLAN，名稱為 flannel.1 這是 VNID，并維護這個網絡的路由，當發生跨節點的流量時，本地會維護對端 VxLAN 裝置的 MAC 位址，通過這個位址可以知道發送的目的端，這樣就可以封包發送到對端，收到包的對端 VxLAN 裝置 flannel.1 解包後得到真實的目的位址。
檢視 Forwarding database 清單
$ bridge fdb
26:5e:87:90:91:fc dev flannel.1 dst 10.0.0.3 self permanent Notes：VxLAN 使用的 4789 端口，wireshark 應該是根據端口進行分析協定的，而 flannel 在 linux 中預設端口是 8472，此時抓包僅能看到是一個 UDP 包。
通過上述的架構可以看出，隧道實際上是一個抽象的概念，并不是建立的真實的兩端的隧道，而是通過将資料包封裝成另一個資料包，通過實體裝置傳輸後，經由相同的裝置（網絡隧道）進行解包實作網絡的疊加。
weave vxlan
weave 也是使用了 VxLAN 技術完成的包的封裝，這個技術在 weave 中稱之為 fastdp (fast data path)，與 calico 和 flannel 中用到的技術不同的，這裡使用的是 Linux 核心中的 openvswitch datapath module，并且 weave 對網絡流量進行了加密。
來源：twt社群