天天看點

Proxmox VE直通GPU與虛拟網絡項目實戰(下)

2.3. 總部機房AI虛拟網絡

總部機房AI虛拟網絡的核心是BVE虛拟化平台上建立虛拟路由器(router)1台、虛拟交換機(OVS)2台、虛拟主機3台,通過虛拟交換機(OVS)将實體AI交換機、虛拟路由器和虛拟主機等連接配接起來,組成虛拟化網絡。虛拟主機的業務通過虛拟路由器(router)進行轉發。AI虛拟網絡的邏輯結構如圖26所示。

Proxmox VE直通GPU與虛拟網絡項目實戰(下)

圖26. AI虛拟網絡邏輯結構

2.3.1. 虛拟網絡IP位址及VLAN規劃

虛拟網絡的IP位址及VLAN映射規劃表,如表6所示。

表6. 虛拟網絡IP位址及VLAN映射表

裝置名稱 裝置型号 端口 IP位址 網關 VLAN ID
核心交換機 核心交換機-01 int-vlan100 192.168.0.3/24 192.168.0.1 Vlan100
G1/0/13 / / Vlan100
AI交換機 S5110V2-28P-SI int-vlan60 10.129.255.1 / Vlan60
int-vlan100 192.168.0.1/24 192.168.0.3 Vlan100
G1/0/1 / / Vlan100
G1/0/3 / / Vlan60
G1/0/4 / / Vlan100
G1/0/5 / / Vlan100
G1/0/6 / / Vlan100
實體伺服器 AI伺服器 eno1 / / Access
eno2 / / Access
BMC 192.168.0.221/24 192.168.0.3 Access
虛拟交換機 OVS Bridge vmbr0 192.168.0.222/24 192.168.0.3 Access
vmbr1 / / Trunk
虛拟路由器 VM109(router) ens18 192.168.0.173/24 192.168.0.3 Access
192.168.0.1 Access
ens19 10.129.110.1/24 / Vlan1110
虛拟主機 VM106(ubuntu18vm3) ens18 10.129.110.13/24 10.129.110.1 Vlan1110
VM107(centos7vm1) eth0 10.129.110.11/24 10.129.110.1 Vlan1110
VM108(centos7vm2) eth0 10.129.110.12/24 10.129.110.1 Vlan1110

2.3.2. 虛拟網絡IP位址及VLAN配置

虛拟路由器網卡與虛拟主機網卡要進行虛拟連接配接,必須通過虛拟交換機,即将虛拟路由器的網卡與虛拟主機的網卡捆綁到虛拟主機的某個VLAN 中,那麼這兩個網卡即可實作虛拟連接配接,實作資料通信。虛拟交換機(網橋)實作二層MAC 轉發,虛拟路由器實作三層IP 轉發。不同虛拟交換機之間無法通信,需要通過虛拟路由器進行三層IP 轉發才能通信。

根據圖26及表6 所示,nda節點的VM106(ubuntu18vm3)與小AI伺服器的業務資料走向路徑為:

VM106(ubuntu18vm3):ens18→vmbr1:vlan1110→vm109(router):ens19→vm109(router):ens18→nda:eno2→S5110V2-28P:G1/0/5→S5110V2-28P:G1/0/1→核心交換機-01:G1/0/13→……

nda節點的VM106(ubuntu18vm3)與視訊監控系統的業務資料走向路徑為:

VM106(ubuntu18vm3):ens18→vmbr1:vlan1110→vm109(router):ens19→vm109(router):ens18→nda:eno2→S5110V2-28P:G1/0/5→S5110V2-28P:G1/0/3→視訊監控系統

  • 虛拟交換機IP位址及VLAN配置

Open vSwitch(OVS)是運作在BVE虛拟化平台上的虛拟交換機,OVS自身可以依靠MAC位址學習實作二層資料包轉發功能。實體伺服器有2張業務網卡(BMC不屬于業務網卡),隻需要建立2個虛拟交換機(網橋)即可。虛拟交換機IP位址及VLAN配置步驟如下所示:

第一步:建立1個名稱為“vmbr0”的虛拟交換機,并捆綁實體網卡eno1

選擇“資料中心→bve-node1→網絡→建立→OVS Bridge”,彈出界面如圖27所示。

Proxmox VE直通GPU與虛拟網絡項目實戰(下)

圖27. 建立vmbr0虛拟交換機

虛拟交換機配置資訊如圖27所示。eno1是實體網卡,将eno1橋接到虛拟交換機vmbr0上,實作實體網卡eno1與虛拟交換機vmbr0的捆綁,進而實作vmbr0資料轉發。eno1捆綁到vmbr0之後,eno1的IP位址會失效,是以需要為vmbr0配置IP位址。根據表6所示,eno1規劃為管理網卡接口,而不是資料轉發接口,是以vmbr0不需要再捆綁其他網卡,直接為vmbr0配置IP位址即可。

第二步:建立1個名稱為“vmbr1”的虛拟交換機,并捆綁實體網卡eno2

選擇“資料中心→bve-node1→網絡→建立→OVS Bridge”,彈出界面如圖28所示。

Proxmox VE直通GPU與虛拟網絡項目實戰(下)

圖28. 建立vmbr1虛拟交換機

虛拟交換機配置資訊如圖29所示。eno2是實體網卡,将eno2橋接到虛拟交換機vmbr1上,實作實體網卡eno2與虛拟交換機vmbr1的捆綁,進而實作vmbr1資料轉發。vmbr1無需配置IP位址,因為vmbr1與虛拟路由器(router)的ens18之間是二層轉發關系,隻需要将虛拟路由器(router)的ens18也捆綁到vmbr1上,那麼“eno2——access——ens18”之間就形成了捆綁關系,“eno2——access——ens18”相當于一根網線或者一個二層交換機的作用。

第三步:将虛拟路由器(router)的虛拟網卡ens18捆綁到vmbr1,并配置虛拟網卡IP位址

虛拟路由器的虛拟網卡ens18在捆綁到vmbr1之前,先确認網卡ens18的MAC位址,因為網卡ens18需要通過MAC位址進行識别。網卡ens18的MAC位址如圖29所示。

Proxmox VE直通GPU與虛拟網絡項目實戰(下)

圖29. 網卡ens18的MAC位址

選擇“資料中心→bve-node1→VM109(router)→硬體→添加→網絡裝置”,彈出界面如圖30所示。

Proxmox VE直通GPU與虛拟網絡項目實戰(下)

圖30. 網卡ens18與vmbr1捆綁

完成虛拟路由器(router)的網卡ens18與vmbr1捆綁之後,虛拟網卡ens18就可以使用實體網卡eno2進行資料通信了。接下來,為虛拟路由器的虛拟網卡ens18配置IP位址,如圖31所示。

Proxmox VE直通GPU與虛拟網絡項目實戰(下)

圖31. 網卡ens18的IP位址配置

第四步:将虛拟路由器的虛拟網卡ens19捆綁到vmbr1,并配置虛拟網卡IP位址

虛拟路由器的虛拟網卡ens19在捆綁到vmbr1之前,先确認網卡ens19的MAC位址,因為網卡ens19需要通過MAC位址進行識别。網卡ens19的MAC位址如圖32所示。

Proxmox VE直通GPU與虛拟網絡項目實戰(下)

圖32. 網卡ens19的MAC位址

選擇“資料中心→bve-node1→VM109(router)→硬體→添加→網絡裝置”,彈出界面如圖33所示。

Proxmox VE直通GPU與虛拟網絡項目實戰(下)

圖33. 網卡ens18與vmbr1捆綁

由于虛拟網卡ens19 與ens18 位于同一台虛拟路由器之上,是以ens19 與ens19 之間是直連路由,可直接進行三層轉發通信。可以看到,ens19 與ens18 之間的資料通信無需經過虛拟交換機,因為這兩個網卡位于同一台虛拟路由器之上。

隻有兩個網卡位于不同的裝置之上時,這兩個網卡想要連接配接起來進行資料通信,就必須使用虛拟交換機來進行通信。如上圖所示,将ens19 的VLAN 标簽設定為“1110”的同時,将虛拟主機網卡的VLAN 标簽也設定為“1110”,那麼ens19 就可以實作與虛拟主機的網卡連接配接起來,使之能與虛拟主機的網卡能進行資料通信。

不同裝置的網卡需要連接配接起來進行通信,就需要将這些網卡捆綁到同一個網橋之下,在同一個網橋之下,在設定相同的VLAN 标簽,即可實作将不同裝置上的網卡虛拟連接配接起來,使之能進行資料通信。

也就是說,完成虛拟路由器(router)的網卡ens19 與vmbr1 捆綁之後,還需要将虛拟路由器(router)的網卡ens19 對端的網卡也跟vmbr1 捆綁,并設定相同的VLAN 标簽,才可以與對端網卡連接配接起來。

接下來,為虛拟路由器(router)的虛拟網卡ens19 配置IP 位址,如圖34所示。

Proxmox VE直通GPU與虛拟網絡項目實戰(下)

圖34. 網卡ens19的IP位址配置

網卡ens19主要用于連接配接虛拟主機終端,ens19(int-vlan1110)的IP位址就是虛拟主機的網關,ens19本身沒有網關。

第五步:将虛拟主機VM106(ubuntu18vm3)的虛拟網卡ens18捆綁到vmbr1,并配置虛拟網卡IP位址

虛拟主機VM106(ubuntu18vm3)的虛拟網卡ens18在捆綁到vmbr1之前,先确認網卡ens18的MAC位址,因為網卡ens18需要通過MAC位址進行識别。網卡ens18的MAC位址如圖35所示。

Proxmox VE直通GPU與虛拟網絡項目實戰(下)

圖35. 網卡ens18的MAC位址

選擇“資料中心→bve-node1→VM106(ubuntu18vm3)→硬體→添加→網絡裝置”,彈出界面如圖36所示。

Proxmox VE直通GPU與虛拟網絡項目實戰(下)

圖36. 網卡ens18與vmbr1捆綁

根據圖26所示,各虛拟主機的虛拟網卡與虛拟路由器(router)的虛拟網卡ens19位于同一個vlan之内,是以VM106(ubuntu18vm3)的虛拟網卡ens18的VLAN标簽是“vlan1110”。

完成虛拟主機的ens18與vmbr1捆綁之後,虛拟網卡ens18就可以使用實體網卡eno2進行資料通信了。接下來,為虛拟主機VM106(ubuntu18vm3)的虛拟網卡ens18配置IP位址,如圖37所示。

Proxmox VE直通GPU與虛拟網絡項目實戰(下)

圖37. 網卡ens18的IP位址配置

其他的虛拟主機的配置與此類似,就不再列舉配置過程,更詳細配置請見《工程實施》文檔。

2.3.3. 虛拟網絡IP路由配置

為了友善對虛拟網絡IP路由做配置,圖27的《AI虛拟網絡邏輯結構》圖可簡化為如圖38所示。

Proxmox VE直通GPU與虛拟網絡項目實戰(下)

圖38. AI虛拟網絡邏輯結構簡化圖

1. 核心交換機IP路由配置

根據某某視覺AI項目規劃,視訊監控系統網段與某某辦公網段(192.168.0.0/24)互通,實作,是以核心交換機需做靜态路由到視訊監控系統網段,如下所示:

[hexin] interface GigabitEthernet1/0/13
[hexin-GigabitEthernet1/0/13] port GigabitEthernet1/0/3
[hexin-GigabitEthernet1/0/13] port acess vlan 100
[hexin-GigabitEthernet1/0/13] quit
[hexin] ip route-static 10.129.255.0 255.255.255.0 192.168.0.1
           

虛拟路由器(rouer)采用NAT工作模式,虛拟主機網段屬于内網網段,是以核心交換機無需做靜态路由到虛拟主機網段。

管理接口(eno1)和BMC口與核心交換機的G1/0/13位于同一個vlan100之内,這兩個端口屬于直連路由,隻需要把管理接口(eno1)和BMC口的網關設定成“192.168.0.3”即可,視訊監控系統的主機及終端,隻需要把網關設定成“10.129.255.1”即可。

2. AI交換機IP路由配置

AI交換機需要做一條靜态預設路由,以确認所有資料與某某視辦公網段互聯互通,如下所示:

[AI-sw5110] ip route-static 0.0.0.0 0.0.0.0 192.168.0.3
           

3. 虛拟路由器IP路由配置

AI系統虛拟主機網段需要與某某辦公網(192.168.0.0/24)互聯互通,且AI系統虛拟主機需要調用物料倉庫的小AI伺服器資料,是以AI系統虛拟主機必須跨越總部與物料倉庫的小AI伺服器關聯,是以在虛拟路由器(router)上需要做一條靜态預設路由,如圖39所示。

Proxmox VE直通GPU與虛拟網絡項目實戰(下)

圖39. 虛拟路由器(router)預設靜态路由

隻需要把虛拟路由器(router)的虛拟網卡ens18的網關設定為“192.168.0.3”即可等同于靜态預設路由,靜态預設路由的優先級是最低的。也可以不使用網關設定模式,即ens18的網關留白,在路由表中做一條八個零的靜态預設路由也可以。

AI系統虛拟主機網段需要與視訊監控系統互聯互通,需要在虛拟路由器(router)上做一條靜态路由指向視訊監控系統網段,如圖40所示。

Proxmox VE直通GPU與虛拟網絡項目實戰(下)

圖40. 指向視訊監控網段的靜态路由

虛拟路由器(router)的IP路由配置完成之後,登入到指令行界面檢視目前路由表,這兩條路由已生效,如圖41所示。

Proxmox VE直通GPU與虛拟網絡項目實戰(下)

圖41. 靜态路由目前路由生效

2.3.4. 虛拟路由器iptables轉發規則配置

虛拟路由器(router)的iptables轉發規則配置表如圖42所示。

Proxmox VE直通GPU與虛拟網絡項目實戰(下)

圖42. iptables轉發規則配置

檢視虛拟路由器(router)的iptables轉發規則是否生效,如圖43所示。

Proxmox VE直通GPU與虛拟網絡項目實戰(下)

圖43. iptables轉發規則生效檢視

添加新的iptables轉發規則,如圖44所示,紅框中的端口服務對外開放。

Proxmox VE直通GPU與虛拟網絡項目實戰(下)

圖44. 新增WIN系統遠端桌面開放

新增紅框中的端口服務,如圖45所示。

Proxmox VE直通GPU與虛拟網絡項目實戰(下)

圖45 新增iptables的nat規則

修改完規則之後,使防火牆規則生效,如下指令行所示。

繼續閱讀