1. 某某訂單管理系統項目整體網絡拓撲
某某公司訂單管理系統項目整體網絡拓撲，如圖1所示：
圖1. 訂單管理系統項目整體網絡拓撲
訂單系統伺服器：訂單背景系統主要部署在某某辦公樓二樓機房，建設内容包括：
- 伺服器裝置，在網絡機櫃部署1台伺服器硬體；
- 虛拟化套件，在伺服器上部署1套虛拟化套件；
與辦公監控網互通：訂單背景系統與辦公監控網互聯互通，實作辦公終端通路訂單背景系統，實作訂單背景系統與金蝶伺服器打通。建設内容包括：
- 訂單背景系統網段，訂單背景系統獨立劃分VLAN10，與辦公監控網VLAN20做虛拟隔離；
- VLAN網段互聯互通，VLAN10和VLAN20通過多業務網關XMG-5100做三層轉發，實作VLAN10和VLAN20的互聯互通；
訂單系統通路控制：訂單背景系統需要對外開放服務端口，是以需要對訂單系統的通路做好通路權限和規則控制，建設内容包括：
- 在既有的多業務網關XGM-5100配置好好對外開放的服務端口；
- 允許小程式伺服器的對伺服器對訂單背景系統通路，其餘外網使用者不允許通路。
2. 訂單系統伺服器建設
訂單系統伺服器的建設，主要包括伺服器硬體裝置的安裝，虛拟化套件的安裝和調試等内容，訂單系統伺服器網絡架構如圖2所示。
圖2. 總部機房網絡架構
訂單系統伺服器：AI伺服器硬體采用的是白牌通用伺服器，白牌通用伺服器是一款2U雙路高端旗艦機架式伺服器，适用于資料分析處理、深度學習分布式存儲等多種應用場景。
訂單系統虛拟化平台：基于超融合技術，實作對訂單系統伺服器的計算資源、存儲資源及網絡資源進行虛拟化，在虛拟資源池的基礎之上，按需提供虛拟機服務，實作一機多跑業務，實作資源靈活配置。AI伺服器的GPU顯示卡采用直通模式，直接将實體GPU映射給跑AI系統的虛拟機。
訂單系統虛拟網絡：虛拟路由器、虛拟交換機、虛拟主機運作在虛拟化平台之上，訂單業務虛拟主機接入到虛拟網關，再通過虛拟路由器與交換機RS3300-52T-4F互聯互通。
訂單系統通路控制：允許公衆号小程式伺服器的對伺服器對訂單背景系統通路，其餘外網使用者不允許通路。
2.1. 訂單系統伺服器
2.1.1. VLAN劃分及IP位址配置設定
訂單系統伺服器的VLAN劃分及IP配置設定，如表1所示。
表1. 訂單伺服器的VLAN劃分及IP配置設定
| 端口 | IP位址 | VLAN ID | 對應裝置及端口 |
|---|---|---|---|
| 虛拟路由器口 | 10.129.255.254/24 | Vlan1 | 訂單系統伺服器 虛拟路由器口 → RS3300-52T-4F G45口 |
| 管理口 | 10.129.255.31/24 | Vlan1 | 訂單系統伺服器 管理口 → RS3300-52T-4F G46口 |
| BMC口 | 10.129.255.21/24 | Vlan1 | 訂單系統伺服器 BMC口 → RS3300-52T-4F G47口 |
既有網絡裝置的VLAN劃分及IP位址配置設定，如表2所示。
表2. 既有網絡裝置的VLAN劃分及IP位址配置設定
| 選項 | 端口 | IP位址 | VLAN ID | 對應裝置及端口 |
|---|---|---|---|---|
| 多業務網關XMG-5100 | ETH3 | XX.XX.XX.XX/24 | Vlan1 | XMG-5100 ETH3 → 移動OUN裝置 |
| ETH2.10 | 10.129.255.1/24 | Vlan10 | XMG-5100 ETH2.10 → RS3300-52T-4F G48口 | |
| ETH2.20 | 192.168.20.1/24 | Vlan20 | XMG-5100 ETH2.20 → RS3300-52T-4F G48口 | |
| 核心交換機RS3300-52T-4F | GE48 | / | TUNK | RS3300-52T-4F G48口 → XMG-5100 ETH2.20 |
| RS3300-52T-4F G48口 → XMG-5100 ETH2.10 | ||||
| GE47 | / | Vlan10 | RS3300-52T-4F G47口 → 訂單伺服器系統 BMC口 | |
| GE46 | / | Vlan10 | RS3300-52T-4F G46口 → 訂單伺服器系統 管理口 | |
| GE45 | / | Vlan00 | RS3300-52T-4F G45口 → 訂單伺服器系統 虛拟路由器口 |
2.1.2. 訂單伺服器技術規格
本項目中，訂單系統伺服器硬體采用的是白牌通用伺服器，白牌通用伺服器是一款2U雙路高端旗艦機架式伺服器，以強勁的計算性能，完善的生态相容，極緻的空間擴充能力，滿足各行業應用配置需求，适用于資料分析處理、深度學習分布式存儲等多種應用場景。白牌通用伺服器如圖4所示。
圖4. 白牌通用伺服器
白牌通用伺服器的技術規格如表3所示：
表3. 白牌通用伺服器的技術規格
2.2. 訂單系統虛拟網絡
訂單系統虛拟網絡的核心是PVE虛拟化平台上建立虛拟路由器（rt）1台、虛拟交換機（OVS）2台、虛拟主機7台，通過虛拟交換機（OVS）将實體交換機、虛拟路由器和虛拟主機等連接配接起來，組成虛拟化網絡。訂單系統虛拟網絡的邏輯結構如圖5所示。
圖5. 訂單系統虛拟網絡邏輯結構
2.2.1. 虛拟網絡IP位址及VLAN規劃
虛拟網絡的IP位址及VLAN映射規劃表，如表4所示。
表4. 虛拟網絡IP位址及VLAN映射表
| 裝置名稱 | 裝置型号 | 端口 | IP位址 | 網關 | VLAN ID |
|---|---|---|---|---|---|
| 多業務網關 | XMG-5100 | ETH3 | XX.XX.XX.XX/24 | XX.XX.XX.XX | Vlan1 |
| ETH2.10 | 10.129.255.1/24 | / | Vlan10 | ||
| ETH2.20 | 192.168.20.1/24 | / | Vlan20 | ||
| 核心交換機 | RS3300-52T | GE48 | / | / | TRUNK |
| GE47 | / | / | Vlan10 | ||
| GE46 | / | / | Vlan10 | ||
| GE45 | / | / | Vlan10 | ||
| GEX | / | / | Vlan20 | ||
| 實體伺服器 | 訂單系統伺服器 | eno1 | / | / | Access |
| eno2 | / | / | Access | ||
| BMC | 10.129.255.21/24 | 10.129.255.1 | Access | ||
| 虛拟路由器 | VM110(rt) | ens18 | 10.129.255.254/24 | 10.129.255.1 | Access |
| ens19 | 10.129.110.1/24 | / | Vlan110 | ||
| ens20 | 10.129.120.1/24 | / | Vlan120 | ||
| 虛拟主機 | VM111(big01) | eth0 | 10.129.110.11/24 | 10.129.110.1 | Vlan110 |
| VM112(big02) | eth0 | 10.129.110.12/24 | 10.129.110.1 | Vlan110 | |
| VM113(big03) | eth0 | 10.129.110.13/24 | 10.129.110.1 | Vlan110 | |
| VM114(big04) | eth0 | 10.129.110.14/24 | 10.129.110.1 | Vlan110 | |
| VM115(big05) | eth0 | 10.129.110.15/24 | 10.129.110.1 | Vlan110 | |
| VM116(big06) | eth0 | 10.129.110.16/24 | 10.129.110.1 | Vlan110 | |
| VM103(svr) | eth0 | 10.129.120.19/24 | 10.129.120.1 | Vlan120 |
2.2.2. 虛拟網絡IP位址及VLAN配置
虛拟路由器網卡與虛拟主機網卡要進行虛拟連接配接，必須通過虛拟交換機，即将虛拟路由器的網卡與虛拟主機的網卡捆綁到虛拟主機的某個VLAN中，那麼這兩個網卡即可實作虛拟連接配接，實作資料通信。虛拟交換機（網橋）實作二層MAC轉發，虛拟路由器實作三層IP轉發。不同虛拟交換機之間無法通信，需要通過虛拟路由器進行三層IP轉發才能通信。
根據圖5及表4所示，nda節點的VM111(big01)業務資料走向路徑為：
vm111(big01):eth0→vmbr1:vlan110→vm110(rt):ens19→vm110(rt):ens18→nda:eno2→RS3300-52T:GE45→RS3300-52T:GE48→XMG-5100:ETH2→XMG-5100:ETH3
nda節點的VM103(svr)業務資料走向路徑為：
vm103(svr):eth0→vmbr1:vlan120→vm110(rt):ens20→vm110(rt):ens18→nda:eno2→RS3300-52T:GE45→RS3300-52T:GE48→XMG-5100:ETH2→XMG-5100:ETH3
- 虛拟交換機IP位址及VLAN配置
Open vSwitch（OVS）是運作在BVE虛拟化平台上的虛拟交換機，OVS自身可以依靠MAC位址學習實作二層資料包轉發功能。實體伺服器有2張業務網卡（BMC不屬于業務網卡），隻需要建立2個虛拟交換機（網橋）即可。虛拟交換機IP位址及VLAN配置步驟如下所示：
第一步：建立1個名稱為“vmbr0”的虛拟交換機，并捆綁實體網卡eno1
選擇“資料中心→bve-node1→網絡→建立→OVS Bridge”，彈出界面如圖6所示。
圖6. 建立vmbr0虛拟交換機
虛拟交換機配置資訊如圖6所示。eno1是實體網卡，将eno1橋接到虛拟交換機vmbr0上，實作實體網卡eno1與虛拟交換機vmbr0的捆綁，進而實作vmbr0資料轉發。eno1捆綁到vmbr0之後，eno1的IP位址會失效，是以需要為vmbr0配置IP位址。根據表4所示，eno1規劃為管理網卡接口，而不是資料轉發接口，是以vmbr0不需要再捆綁其他網卡，直接為vmbr0配置IP位址即可。
第二步：建立1個名稱為“vmbr1”的虛拟交換機，并捆綁實體網卡eno2
選擇“資料中心→bve-node1→網絡→建立→OVS Bridge”，彈出界面如圖7所示。
圖7. 建立vmbr1虛拟交換機
虛拟交換機配置資訊如圖7所示。eno2是實體網卡，将eno2橋接到虛拟交換機vmbr1上，實作實體網卡eno2與虛拟交換機vmbr1的捆綁，進而實作vmbr1資料轉發。vmbr1無需配置IP位址，因為vmbr1與虛拟路由器的ens18之間是二層轉發關系，隻需要将虛拟路由器的ens18也捆綁到vmbr1上，那麼“eno2——access——ens18”之間就形成了捆綁關系，“eno2——access——ens18”相當于一根網線或者一個二層交換機的作用。
第三步：将虛拟路由器（rt）的虛拟網卡ens18捆綁到vmbr1，并配置虛拟網卡IP位址
虛拟路由器的虛拟網卡ens18在捆綁到vmbr1之前，先确認網卡ens18的MAC位址，因為網卡ens18需要通過MAC位址進行識别。網卡ens18的MAC位址如圖8所示。
圖8. 網卡ens18的MAC位址
選擇“資料中心→bve-node1→VM110(rt)→硬體→添加→網絡裝置(net0)”，界面如圖9所示。
圖9. 網卡ens18與vmbr1捆綁
完成虛拟路由器（rt）的網卡ens18與vmbr1捆綁之後，虛拟網卡ens18就可以與實體網卡eno2進行資料通信了。接下來，為虛拟路由器（rt）的虛拟網卡ens18配置IP位址，如圖10所示。
圖10. 網卡ens18的IP位址配置
第四步：将虛拟路由器（rt）的虛拟網卡ens19捆綁到vmbr1，并配置虛拟網卡IP位址
虛拟路由器的虛拟網卡ens19在捆綁到vmbr1之前，先确認網卡ens19的MAC位址，因為網卡ens19需要通過MAC位址進行識别。網卡ens19的MAC位址如圖11所示。
圖11. 網卡ens19的MAC位址
選擇“資料中心→bve-node1→VM110（rt）→硬體→添加→網絡裝置(net1)”，彈出界面如圖12所示。
圖12. 網卡ens19與vmbr1捆綁
由于虛拟網卡ens19與ens18位于同一台虛拟路由器之上，是以ens19與ens19之間是直連路由，可直接進行三層轉發通信。可以看到，ens19與ens18之間的資料通信無需經過虛拟交換機，因為這兩個網卡位于同一台虛拟路由器之上。
隻有兩個網卡位于不同的裝置之上時，這兩個網卡想要連接配接起來進行資料通信，就必須使用虛拟交換機來進行通信。如上圖所示，将ens19的VLAN标簽為“110”的同時，将虛拟主機如vm111(big1)的虛拟網卡eth0的VLAN标簽也設定為“110”，那麼ens19就可以實作與虛拟主機的網卡eth0連接配接起來，使之能與虛拟主機的網卡能進行資料通信。
不同裝置的網卡需要連接配接起來進行通信，就需要将這些網卡捆綁到同一個網橋之下，在同一個網橋之下，在設定相同的VLAN标簽，即可實作将不同裝置上的網卡虛拟連接配接起來，使之能進行資料通信。
完成虛拟路由器網卡ens19與vmbr1捆綁之後，還需要将虛拟路由器網卡ens19對端的網卡也跟vmbr1捆綁，并設定相同的VLAN标簽，才可以與對端網卡連接配接起來。
接下來，為虛拟路由器的虛拟網卡ens19配置IP位址，如圖13所示。
圖13. 網卡ens19的IP位址配置
網卡ens19主要用于連接配接虛拟主機終端，ens19的IP位址就是虛拟主機的網關，ens19本身沒有網關。
第五步：将虛拟路由器（rt）的虛拟網卡ens20捆綁到vmbr1，并配置虛拟網卡IP位址
虛拟路由器的虛拟網卡ens20在捆綁到vmbr1之前，先确認網卡ens20的MAC位址，因為網卡ens20需要通過MAC位址進行識别。網卡ens20的MAC位址如圖14所示。
圖14. 網卡ens20的MAC位址
選擇“資料中心→bve-node1→VM110（rt）→硬體→添加→網絡裝置(net2)”，彈出界面如圖15所示。
圖15. 網卡ens20與vmbr1捆綁
第五步：将虛拟主機VM111(bg01)的虛拟網卡eh0捆綁到vmbr1，并配置虛拟網卡IP位址
虛拟主機VM111(bg01)的虛拟網卡eth0在捆綁到vmbr1之前，先确認網卡eth0的MAC位址，因為網卡eth0需要通過MAC位址進行識别。網卡eth0的MAC位址如圖16所示。
圖16. 網卡eth0的MAC位址
選擇“資料中心→bve-node1→VM111(bg01)→硬體→添加→網絡裝置”，彈出界面如圖17所示。
圖17. 網卡eth0與vmbr1捆綁
根據圖17所示，虛拟主機VM111(bg01)的虛拟網卡eth0與虛拟路由器（rt）的虛拟網卡ens19位于同一個vlan之内，是以VM111(bg01)的虛拟網卡eth0的VLAN标簽是“vlan110”。
完成虛拟主機的eth0與vmbr1捆綁之後，VM111(bg01)的虛拟網卡eth0就可以跟虛拟路由器的虛拟網卡ens19連接配接起來，進行資料通信。接下來，為VM111(bg01)的虛拟網卡eth0配置IP位址，如圖18所示。
圖18. 網卡ens18的IP位址配置
其他的虛拟主機的配置與此類似，就不再列舉配置過程，更詳細配置請見《工程實施》文檔。
2.2.3. 虛拟網絡IP路由配置
為了友善對虛拟網絡IP路由做配置，圖5的《訂單系統虛拟網絡邏輯結構》圖可簡化為如圖19所示。
圖19. 虛拟網絡邏輯結構簡化圖
- 多業務網關XMG-5100的IP路由配置
多業務網關XMG-5100作為某某企業網出口網關，外網口接入移動專線與網際網路互聯，内網口啟用兩條單臂路由，同時與核心交換機RS3300-52T連接配接。
第一步：多業務網關XMG-5100的接口配置如圖20所示。
圖20. 多業務網關XMG-5100的接口配置
第二步：多業務網關XMG-5100的VLAN配置如圖21所示。
圖21. 多業務網關XMG-5100的VLAN配置
第三步：多業務網關XMG-5100的靜态預設路由配置如圖22所示。
圖22.多業務網關XMG-5100的靜态預設路由配置
第四步：多業務網關XMG-5100的NAT配置如圖23所示。
圖23. 多業務網關XMG-5100的NAT配置
如圖20所示，虛拟路由器VM110（rt）的工作模式是NAT模式，虛拟路由器VM110（rt）的所有内網IP都要進行NAT轉化，内網位址不會暴露到外網口，是以多業務網關XMG-5100無需再做靜态路由指向“10.129.110.0”和“10.129.120.0”網段。
- 核心交換機RS3300-52T的IP路由配置
由于三層VLAN虛拟接口配置在多業務網關XMG-5100，是以核心交換機RS3300-52T無需配置三層VLAN虛拟接口，隻需配置二層VLAN即可，及GE48接口配置為“TRUNK”特性。
- 虛拟路由器（rt）的IP路由配置
訂單系統虛拟主機網段需要與某某辦公網（192.168.20.0/24）互聯互通，需要與網際網路互通。根據圖20所示，虛拟路由器（rt）隻有南北走向的一條路由，是以在虛拟路由器（rt）上需要做一條靜态預設路由，如圖24所示。
圖24. 虛拟路由器（rt）預設靜态路由
隻需要把虛拟路由器（rt）的虛拟網卡ens18的網關設定為“10.129.255.1”即可等同于靜态預設路由，靜态預設路由的優先級是最低的。也可以不使用網關設定模式，即ens18的網關留白，在路由表中做一條八個零的靜态預設路由也可以。虛拟路由器（rt）的IP路由配置完成之後，登入到指令行界面檢視目前路由表，這一條路由已生效，如圖25所示。
圖25. 靜态路由目前路由生效
2.2.4. 多業務網關XMG-5100的轉發規則配置
多業務網關XMG-5100的轉發規則配置，如圖26所示。
圖26. 多業務網關XMG-5100的轉發規則
2.2.5. 虛拟路由器（rt）的iptables轉發規則配置
虛拟路由器（rt）的iptables轉發規則配置表如圖27所示。
圖27. iptables轉發規則配置
檢視虛拟路由器（rt）的iptables轉發規則是否生效，如圖28所示。
圖28. iptables轉發規則生效檢視