1. 5G+雲上智慧工廠整體網絡拓撲
某某公司5G+雲上智慧工廠項目整體網絡拓撲，如圖1所示：
圖1. 5G+雲上智慧工廠整體網絡拓撲
資料中心：資料中心位于某某公司辦公大樓三樓機房，建設内容包括基于超融合技術的本地雲資源池、資料中心網絡、UPS電源以及機櫃，為大資料系統以及業務系統提供承載環境；
移動5G專網：基站采用BBU+AAU拉遠方式建設，組網方式為5G SA獨立組網，建設内容包括在某某公司廠區部署AAU、在某縣移動機房部署BBU、在某市移動機房部署MEC，從MEC到資料中心直接部署雲專線實作業務流量回傳，從MEC通過傳輸網接入某省會移動機房5G GC實作非業務流量上公網。
5G接入網：5G接入網的關鍵裝置是5G智能網關，建設内容包括在5G信号覆寫的廠區，部署5G智能網關，5G智能網關上行鍊路通過5G空口接入5G基站，下行鍊路通過LAN口或接入工控機/工業一體機做數采，或接入看闆系統做回傳。
辦公監控網：辦公監控網為某某公司的既有網絡，在5G+雲上智慧工廠項目中需要做一定的網絡改造，以便實作辦公監控網的AI監控終端以及作業終端與資料中心互聯互通。改造内容包括在辦公監控網出口增加智能網關，采用V-P-N隧道與資料中心互聯互通。
AI監控終端：AI監控終端部署在辦公監控網，在某某區域、某某區域以及某某區控制室部署AI高清攝像頭，AI高清攝像頭做數采，然後通過辦公監控網的智能網關回傳至資料中心的AI背景。
既有作業終端：辦公監控網的一些作業終端，如銷售經理終端、原料經理終端以及生産經理終端，需要通路資料中心的業務背景，通過辦公監控網的智能網關V-P-N通道通路資料中心業務背景。
2. 資料中心建設
某某公司5G+雲上智慧工廠項目的資料中心建設，主要包括資料中心實體網絡、資料中心UPS電源、資料中心虛拟化平台、資料中心虛拟網絡、業務子網隔離、資料中心與辦公監控互聯等，如圖2所示。
圖2. 5G+雲上智慧工廠資料中心
資料中心實體網絡：在實體網絡結構上，采用“路由器+核心交換機”極簡二層網絡結構，伺服器直接接入到核心交換機，提升轉發效率。
資料中心UPS電源：一方面資料中心運作着某某公司的核心應用系統和資料系統，另一方面，某某公司強電電力不穩定，經常發生跳閘，是以資料中心UPS不斷電系統方案不可或缺。
資料中心虛拟化平台：基于PVE虛拟化技術，實作對2台實體伺服器的計算資源、存儲資源及網絡資源進行虛拟化，在虛拟資源池的基礎之上，按需提供虛拟機服務，實作一機多跑業務，實作資源靈活配置。
資料中心虛拟網絡：虛拟網關、虛拟交換機、虛拟防火牆運作在虛拟化平台之上，5G智能網關則分布在各個分支節點，5G智能網關和資料中心之間配置虛拟網絡實作互聯互通。
業務子網隔離：SDWAN路由器與資料中心之間，針對業務子網配置***隧道進行加密，進而確定業務資料安全性。
資料中心與辦公監控網互聯：考慮到辦公監控網的上網行為的複雜性，資料中心與辦公監控網互聯互通需要做好安全控制。在辦公監控網的出口部署1台智能網關，通過智能網關建立到資料中心之間的危屁恩隧道，并做好IP通路控制。
2.1. 資料中心建設
在實體網絡結構上，采用“路由器+核心交換機”極簡二層網絡結構，伺服器直接接入到核心交換機，提升轉發效率。資料中心實體網絡拓撲如圖3所示。
圖3. 資料中心實體網絡拓撲
資料中心實體網絡介紹如下：
- 使用2台華三的S5048PV3-EI交換機做為核心交換機，利用S5048PV3-EI提供二層網絡環境，以滿足資源靈活排程的需求。
- 使用1台華為AR101W-S路由器做為資料中心外部網關出口，AR101W-S既是二層網絡的網關，又是WAN出口，是資料中心與業務子網互聯互通必不可少的裝置。
S5048PV3-EI-01的配置執行個體舉例如下：
- 建立VLAN120、VLAN130、VLAN130、VLAN130、VLAN130、VLAN130、VLAN130、VLAN130、VLAN130-255。并将端口加入相對應的VLAN ID。
[H3C_SW1]vlan 120
[H3C_SW1-vlan120] port GigabitEthernet1/0/1 to GigabitEthernet1/0/4
[H3C_SW1-vlan120]quit
- 端口設定為TRUNK模式，隻允許特定VLAN ID透傳。
[H3C_SW1] interface GigabitEthernet1/0/35
[H3C_SW1-GigabitEthernet1/0/35]port link-type trunk
[H3C_SW1-GigabitEthernet1/0/35]port trunk permit vlan 110 120 130 140 150 160 251 to 255
[H3C_SW1-GigabitEthernet1/0/35]undo port trunk permit vlan 1 #預設vlan1可透傳trunk，容易産生環路，關閉掉vlan1。
[H3C_SW1-GigabitEthernet1/0/35]quit
- 配置VLAN255的IP位址
[H3C_SW1]interface Vlan-interface 255
[H3C_SW1-vlan-interface255]ip address 10.129.255.11 255.255.255.0
[H3C_SW1-vlan-interface255]quit
華三S5048PV3-EI的完整配置、華為路由器AR101W-S完整配置，詳見《工程實施》的相關文檔。
2.2. 資料中心UPS電源建設
UPS不斷電系統方案，確定資料中心在停電之後，電力可續航兩個小時，防止突然斷電而導緻的資料丢失和裝置非正常關機導緻的性能損壞。續航兩個小時的UPS不斷電系統方案，裝置選型如表1所示。
表1. 機房UPS電源蓄電池
| 裝置 | 型号 | 數量 | 備注 | 品牌 |
|---|---|---|---|---|
| UPS電源 | YDC9310H | 1 | 380V輸入，220V輸出，線上式高頻機 | 科士達 |
| 蓄電池 | KHD100-12 | 16 | 12V 100AH閥控式免維護鉛酸蓄電池 | 科士達 |
| 電池櫃 | A16 | 1 | 放置16節12V 100AH蓄電池組 | 科士達 |
續航兩個小時的UPS不斷電系統方案，網絡拓撲如圖4所示。
圖4. UPS不斷電系統方案
2.3. 資料中心虛拟化平台
本項目中，伺服器在硬體上，采用兩台浪潮伺服器NF5280M5做為伺服器節點，在軟體上，采用PVE虛拟化平台套件，基于超融合技術，實作對2台實體伺服器的計算資源、存儲資源及網絡資源進行虛拟化，在虛拟資源池的基礎之上，按需提供虛拟機服務，實作一機多跑業務，實作資源靈活配置。
2.3.1. 伺服器硬體平台
本項目中，伺服器硬體采用的是浪潮通用伺服器NF5280M5，NF5280M6是浪潮一款2U雙路高端旗艦機架式伺服器，以強勁的計算性能，完善的生态相容，極緻的空間擴充能力，滿足各行業應用配置需求，适用于資料分析處理、深度學習分布式存儲等多種應用場景。浪潮通用伺服器NF5280M5如圖5所示。
圖5. 浪潮通用伺服器NF5280M5
浪潮通用伺服器NF5280M5的技術規格如表2所示：
表2. NF5280M5的技術規格
2.3.2. 伺服器硬體平台
本項目中，伺服器軟體采用的是PVE虛拟化平台，PVE采用超融合的虛拟化架構，将計算、存儲和網絡全部實施在一個主機之上，并且支援主機級别的叢集功能，無論是對中小型企業還是對規模較大的中型企業，都是一個非常适合的虛拟化平台産品。PVE管理界面如圖6所示。
圖6. PVE管理界面
2.3.3. 超融合解決方案架構
PVE超融合虛拟化軟體安裝在浪潮伺服器上，PVE采用超融合虛拟化架構，将計算、存儲、網絡和安全進行虛拟化，聚合成一個統一的虛拟資源池，為上層平台提供虛拟主機資源服務，然後通過在虛拟機上安裝應用所需要的作業系統，就可以在虛拟機上運作業務應用系統。
在本項目中，超融合解決方案架構如圖7所示。
圖7. 超融合解決方案架構
2.4. 資料中心虛拟網絡
資料中心虛拟網絡的核心是在超融合平台上配置虛拟防火牆（RT0）、虛拟路由器（GW1-6）、虛拟交換機1-3。VM7~VM15這9個虛拟機接入虛拟路由器（GW1），VM16虛拟機接入虛拟路由器（GW2），VM18虛拟機接入虛拟路由器（GW6），所有的虛拟路由器接入虛拟交換機1，并通過虛拟防火牆（RT0）進行轉發。資料中心虛拟網絡的邏輯結構如圖8所示。
圖8. 資料中心虛拟網絡邏輯結構
2.4.1. 虛拟網絡IP位址及VLAN劃分
資料中心虛拟網絡的IP位址及端口映射表，如表3、表4所示。
表3. 資料中心虛拟網絡IP位址及端口映射表
資料中心虛拟主機的IP位址及端口映射表，如表4所示。
表4. 資料中心虛拟主機IP位址及端口映射表
虛拟路由器網卡與虛拟主機網卡要進行虛拟連接配接，必須通過虛拟交換機，即将虛拟路由器的網卡與虛拟主機的網卡捆綁到虛拟主機的某個VLAN 中，那麼這兩個網卡即可實作虛拟連接配接，實作資料通信。
虛拟交換機（網橋）實作二層MAC 轉發，虛拟路由器實作三層IP 轉發。不同虛拟交換機之間無法通信，需要通過虛拟路由器進行三層IP 轉發才能通信。
根據圖8所示以及表3、表4所示，nda節點的vm103(bg1)業務資料走向路徑為：
nda:vm103(bg1):eth0→nda:vmbr1:vlan110→nda:GW1:ens18→nda:GW1:ens19→nda:vmbr1:vlan251→nda:ens41f1→S5048P-02:G1/0/38→S5048P-02:G1/0/35→S5048P-01:G1/0/35→S5048P-01:G1/0/38→ndb:ens41f1→ndb:vmbr1:vlan251→ndb:RT0:ens19
→ndb:RT0:ens18→ndb:vmbr0:vlan255→ndb:ens41f0→S5048P-02:G1/0/37→S5048P-02:G1/0/35→S5048P-01:G1/0/35→S5048P-01:G1/0/1→AR101W-S:GE0→AR101W-S:GE1。
ndb節點的vm104(bg2)業務資料走向路徑為：
ndb:vm104(bg2):eth0→ndb:vmbr1:vlan110→ndb:ens41f1→S5048PV3-01:G1/0/38
→S5048PV3-01:G1/0/35→S5048PV3-02:G1/0/35→S5048PV3-02:G1/0/38
→nda:ens41f1→nda:vmbr1:vlan110→nda:GW1:ens18→nda:GW1:ens19→nda:vmbr1:vlan251→nda:ens41f1→S5048PV3-02:G1/0/38→S5048PV3-02:G1/0/35
→S5048PV3-01:G1/0/35→S5048PV3-01:G1/0/38→ndb:ens41f1→ndb:vmbr1:vlan251→
ndb:RT0:ens19→ndb:RT0:ens18→ndb:vmbr0:vlan255→ndb:ens41f0→
S5048PV3-02:G1/0/37→S5048PV3-02:G1/0/35→S5048PV3-01:G1/0/35→S5048PV3-01:G1/0/1→AR101W-S:GE0→AR101W-S:GE4。
從資料走向路徑可以發現，假如nda節點出現故障或者nda節點的ens41f1出現故障，将會導緻一部分虛拟主機無法使用。這個時候，vm103(bg1)虛拟機遷移到ndb之後，這個故障就可以解決，因為兩個節點的網橋配置是相同的，遷移到ndb之後，vm103(bg1)就等于是ndb節點。如果網橋配置不同，如名稱不同，vlan也不同，vm103(bg1)綁定nda節點網橋的配置就會與ndb網橋的配置不同，進而導緻無法通信。vm103(bg1)遷移到ndb之後（假設其他GW1也一起遷過來），那麼vm103(bg1)資料走向路徑為：
ndb:vm103(bg1):eth0→ndb:vmbr1:vlan110→ndb:GW1:ens18→ndb:GW1:ens19→ndb:vmbr1:vlan251→ndb:RT0:ens19→ndb:RT0:ens18→ndb:vmbr0:vlan255→ndb:ens41f0→S5048P-02:G1/0/37→S5048P-02:G1/0/35→S5048P-01:G1/0/35→S5048P-01:G1/0/1
→AR101W-S:GE0→AR101W-S:GE1。
從這裡可以看出來，nda:vmbr0與ndb:vmbr0互為“備份”，當nda的虛拟機遷移到ndb上，可以直接使用ndb:vmbr0，起到一種災備作用。
同理，假如nda:ens41f1發生故障，nda:GW1沒有遷移到ndb的話，那麼整個“110”網段的虛拟主機都無法轉發，進而導緻“110”網段虛拟主機網絡故障。
同理，假如ndb:ens41f1發生故障，ndb:vmbr1:vlan110無法透傳，而從導緻ndb的“110”網段的虛拟主機無法轉發，進而導緻ndb的“110”網段虛拟主機網絡故障。
2.4.2. 虛拟網絡IP位址及VLAN配置
- 虛拟交換機IP 位址及VLAN 配置
Open vSwitch（OVS）是運作在BVE 虛拟化平台上的虛拟交換機，OVS 自身可以依靠MAC位址學習實作二層資料包轉發功能。每個實體伺服器有2 張業務網卡（BMC 不屬于業務網卡），隻需要建立2 個虛拟交換機（網橋）即可。虛拟交換機IP 位址及VLAN 配置步驟如下所示：
第一步：在節點nda中，建立1個名稱為“vmbr0”的虛拟交換機，并捆綁實體網卡ens41f0（OVS Port）和虛拟網卡br0mgnt（OVS IntPort）
選擇“資料中心→nda→網絡→建立→OVS Bridge”，彈出界面如圖9 所示。
圖9. 建立vmbr0虛拟交換機
虛拟交換機配置資訊如圖9 所示。ens41f0是實體網卡，将ens41f0橋接到虛拟交換機vmbr0 上，實作實體網卡ens41f0與虛拟交換機vmbr0 的捆綁，進而實作vmbr0 資料轉發。
第二步：在節點nda中，建立1個名稱為“br0mgnt”的虛拟網卡，并捆綁虛拟網卡br0mgnt（OVS IntPort）到vmbr0中
選擇“資料中心→nda→網絡→建立→OVS IntPort”，彈出界面如圖10所示。
圖10. 建立br0mgnt虛拟網卡
虛拟網卡名稱輸入“br0mgnt”，所屬網橋OVS Bridge輸入“vmbr0”，IP位址及子網路遮罩輸入“10.129.255.10/24”，網關輸入“10.129.255.1”，VLAN标簽輸入“255”，br0mgnt虛拟網卡配置IP位址，該IP位址用于nda節點的管理。
由圖9和圖10所示，vmbr0中捆綁了1個實體網卡ens41f0和1個虛拟網卡br0mgnt，其中br0mgnt所屬vlan為vlan255。而根據規劃，實體網絡ens41f0需要透傳vlan252、vlan253、vlan254、vlan255，是以進一步配置實體網絡ens41f0的透傳屬性，如圖11所示。
圖11. 實體網卡ens41f0透傳屬性
可以發現，br0mgnt屬于vlan255，而ens41f0可以透傳vlan252、vlan253、vlan254、vlan255，是以ens41f可以透傳br0mgnt。
第三步：在節點nda中，建立1個名稱為“vmbr1”的虛拟交換機，并捆綁實體網卡ens41f1
選擇“資料中心→nda→網絡→建立→OVS Bridge”，彈出界面如圖12 所示。
圖12. 建立vmbr1虛拟交換機
根據規劃，ens41f1需要透傳vlan110、vlan120、vlan130、vlan140、vlan150、vlan160、vlan170、vlan180、vlan190、vlan251，是以需要進一步配置ens41f1的vlan屬性，如圖13所示。
圖13. 配置ens41f1的vlan屬性
以上的配置是節點nda的實體網卡ens41f0、虛拟網卡br0mgnt、虛拟網橋vmbr0以及vmbr1的屬性配置。
節點ndb的實體網卡ens41f0、虛拟網卡br0mgnt、虛拟網橋vmbr0以及vmbr1的屬性配置與nda的類似。
第四步：在節點ndb中，建立1個名稱為“vmbr0”的虛拟交換機，并捆綁實體網卡ens41f0（OVS Port）和虛拟網卡br0mgnt（OVS IntPort）
選擇“資料中心→ndb→網絡→建立→OVS Bridge”，彈出界面如圖14 所示。
圖14. 建立vmbr0虛拟交換機
虛拟交換機配置資訊如圖14 所示。ens41f0是實體網卡，将ens41f0橋接到虛拟交換機vmbr0 上，實作實體網卡ens41f0與虛拟交換機vmbr0 的捆綁，進而實作vmbr0 資料轉發。
第五步：在節點ndb中，建立1個名稱為“br0mgnt”的虛拟網卡，并捆綁虛拟網卡br0mgnt（OVS IntPort）到vmbr0中
選擇“資料中心→nda→網絡→建立→OVS IntPort”，彈出界面如圖15所示。
圖15. 建立br0mgnt虛拟網卡
虛拟網卡名稱輸入“br0mgnt”，所屬網橋OVS Bridge輸入“vmbr0”，IP位址及子網路遮罩輸入“10.129.255.20/24”，網關輸入“10.129.255.1”，VLAN标簽輸入“255”，br0mgnt虛拟網卡配置IP位址，該IP位址用于nda節點的管理。
由圖13和圖14所示，vmbr0中捆綁了1個實體網卡ens41f0和1個虛拟網卡br0mgnt，其中br0mgnt所屬vlan為vlan255。而根據規劃，實體網絡ens41f0需要透傳vlan252、vlan253、vlan254、vlan255，是以進一步配置實體網絡ens41f0的透傳屬性，如圖16所示。
圖16. 實體網卡ens41f0透傳屬性
可以發現，br0mgnt屬于vlan255，而ens41f0可以透傳vlan252、vlan253、vlan254、vlan255，是以ens41f可以透傳br0mgnt。
第六步：在節點ndb中，建立1個名稱為“vmbr1”的虛拟交換機，并捆綁實體網卡ens41f1
選擇“資料中心→nda→網絡→建立→OVS Bridge”，彈出界面如圖17所示。
圖17. 建立vmbr1虛拟交換機
根據規劃，ens41f1需要透傳vlan110、vlan120、vlan130、vlan140、vlan150、vlan160、vlan170、vlan180、vlan190、vlan251，是以需要進一步配置ens41f1的vlan屬性，如圖18所示。
圖18. 配置ens41f1的vlan屬性
- 虛拟網絡裝置IP 位址及VLAN 配置
虛拟網絡裝置包括節點nda中的虛拟路由器（GW1）、虛拟路由器（GW3）、虛拟路由器（GW5），節點ndb中的虛拟防火牆（RT0）、虛拟路由器（GW2）、虛拟路由器（GW4）、虛拟路由器（GW6）。
節點ndb的虛拟防火牆（RT0）的IP位址及VLAN配置步驟如下所示：
第一步：将虛拟防火牆（RT0）的ens18捆綁到vmbr0:vlan255，ens19捆綁到vmbr1:vlan251，并分别配置虛拟網卡IP位址
虛拟防火牆（RT0）的虛拟網卡ens18和ens19 在捆綁到vmbr1 之前，先确認網卡ens18和ens19 的MAC 位址，因為網卡需要通過MAC 位址進行識别。
虛拟防火牆（RT0）的虛拟網卡ens18和ens19的MAC 位址如圖19所示。
圖19. 虛拟防火牆（RT0）的網卡MAC位址
選擇“資料中心→ndb→VM100(RT0)→硬體→網絡裝置(net0) →編輯”，彈出界面如圖20所示。
圖20. 虛拟防火牆（RT0）的網卡ens18與vmbr0捆綁
選擇“資料中心→ndb→VM100(RT0)→硬體→網絡裝置(net1) →編輯”，彈出界面如圖21所示。
圖21. 虛拟防火牆（RT0）的網卡ens19與vmbr1捆綁
接下來，為虛拟防火牆（RT0）的虛拟網卡ens18 配置IP 位址，如圖22 所示。
圖22. 虛拟防火牆（RT0）的網卡ens18的IP位址配置
接下來，為虛拟防火牆（RT0）的虛拟網卡ens19 配置IP 位址，如圖23 所示。
圖23. 虛拟防火牆（RT0）的網卡ens19的IP位址配置
節點ndb的虛拟路由器（GW2）的IP位址及VLAN配置步驟如下所示：
第一步：将虛拟路由器（GW2）的ens19捆綁到vmbr1:vlan251，ens18捆綁到vmbr1:vlan120，并分别配置虛拟網卡IP位址
虛拟路由器（GW2）的虛拟網卡ens18和ens19 在捆綁到vmbr1 之前，先确認網卡ens18和ens19 的MAC 位址，因為網卡需要通過MAC 位址進行識别。
虛拟路由器（GW2）的虛拟網卡ens18和ens19的MAC 位址如圖24所示。
圖24. 虛拟路由器（GW2）的網卡MAC位址
選擇“資料中心→ndb→VM102(GW2)→硬體→網絡裝置(net1) →編輯”，彈出界面如圖25所示。
圖25. 虛拟路由器（GW2）的網卡ens19與vmbr1捆綁
選擇“資料中心→ndb→VM102(GW2)→硬體→網絡裝置(net0) →編輯”，彈出界面如圖26所示。
圖26. 虛拟路由器（GW2）的網卡ens18與vmbr1捆綁
接下來，為虛拟路由器（GW2）的虛拟網卡ens19 配置IP 位址，如圖27所示。
圖27. 虛拟路由器（GW2）的網卡ens19的IP位址配置
接下來，為虛拟路由器（GW2）的虛拟網卡ens18 配置IP 位址，如圖28 所示。
圖28.虛拟路由器（GW2）的網卡ens18的IP位址配置