水之積也不厚，則其負大舟也無力，如果将高性能計算、機器學習、大資料、雲、web 3.0 、存儲平台等應用看作“舟”，那InfiniBand網絡無疑是承載這些大舟的水。随着資料的爆發式增長，這些應用對網絡帶寬、延時、效率的要求不斷提升，面對這些挑戰，NVIDIA也相繼推出InfiniBand 100G EDR、200G HDR以及400G NDR的解決方案。
納多德是NVIDIA網絡産品的Elite Partner，在InfiniBand高性能網絡建設與應用加速方面擁有深刻的業務了解和豐富的項目實施經驗。納多德基于QM8700、QM8790交換機、HDR網卡與AOC/DAC/光子產品，建構InfiniBand高性能網絡，提供更出色的資料吞吐和網絡計算能力，滿足越來越高的計算需求。
什麼是InfiniBand？
InfiniBand (IB) 是一個計算機網絡通信标準，在高性能計算（HPC）領域有廣泛的應用，可以提供高吞吐帶寬和超低的網絡傳輸時延。IB可以用于計算機内部或外部的資料互聯。通過直連或者交換機互聯的方式，提供伺服器與存儲，儲存設備之間的高性能網絡。IB網絡可以通過交換機網絡實作橫向擴充，适應各種規模的組網需求。
圖一 InfiniBand速率演進
作為計算機叢集互聯技術，IB技術相比以太網/Fibre Channel 和已經淘汰的Omni-Path技術有明顯的優勢，是InfiniBand Trade Association（IBTA）主要推薦的網絡通信技術。從2014年開始，大多數的TOP500 超級計算機都采用了InfiniBand網絡技術。近些年，AI/大資料相關的應用，也已經大規模的采用IB網絡實作高性能的叢集部署，其中Top100的超算中心有62%是使用的IB技術（2022年6月資料）。
圖二 Top 100超算中心網絡選擇
InfiniBand較Omni-Path的優勢
盡管NVIDIA已經推出了IB 400G NDR的解決方案，但現階段仍有部分客戶在使用100G解決方案。對于100G的高性能網絡，常用的方案有Omni-Path和IB兩種，雖然速率相同，性能相似，但網絡結構差異巨大。以400節點叢集為例，使用IB方案隻需要15台NVIDIA Quantum 8000系列交換機+200條200G分支線纜與200條200G直連線纜；而使用Omni-Path則需要24台交換機+876條100G直連線纜（384節點）。IB方案在前期的裝置成本以及後期運維成本上都極具優勢，且整體功耗遠低于Omni-Path，更加環保。
圖三 InfiniBand方案與Omni-Path方案對比
InfiniBand HDR産品方案介紹
從用戶端的需求來看，EDR正逐漸退出市場，NDR速率太高，目前隻有頭部客戶嘗試使用，HDR憑借HDR 100G與HDR 200G的靈活性得到了廣泛應用。在這裡，納多德針對HDR産品方案做詳細介紹。
HDR交換機
HDR交換機有兩類，一類是HDR CS8500框式交換機，一台29U的交換機提供最多800 個HDR 200Gb/s 端口，每個200G端口支援拆分為2X100G，即可支援1600個HDR100 100Gb/s端口。
另一類是QM8000系列盒式交換機，1U的面闆上內建了40個200G QSFP56端口，最多可拆分為80個HDR 100G端口用來下連100G HDR網卡，同時每個端口也支援EDR，與EDR的網卡直連，需要注意的是200G HDR端口隻能降速至100G與EDR網卡互聯，無法拆分為2X100G連接配接兩張EDR網卡。
圖四 QM8700前面闆
200G HDR盒式交換機有兩種選擇：QM8700和QM8790，兩個型号交換機唯一差別在管理方式上，QM8700有control口支援帶外管理，QM8790則需要NVIDIA Unified Fabric Manager (UFM®) platform進行管理。
圖五 QM8790前面闆
對于QM8700和QM8790，每個型号的交換機都有兩種風向選擇，其中8790-HS2F為 P2C airflow(前後風道) 風扇子產品上藍色标記，如果不認識标記，也可以用手浮在交換機的進風和出風口來辨識；8790-HS2R為 C2P airflow(後前風道)風扇子產品上紅色标記。這裡P2C和C2P中 P表示Power電源，C表示Cable（線路接口），P2C（Power to Cable），C2P（Cable to Power ）這裡參照系是Power電源側為前，Cable線路接口側為後。
表一 HDR交換機型号參數
QM8700和QM8790在實際使用中一般有兩種方式，一是與200G HDR網卡互連，直接使用200G to 200G AOC/DAC即可；還有一種常見的使用方式是與100G HDR網卡互連，需要使用200G to 2X100G線纜，在使用的時候是将交換機的一個實體200G（4X50G） QSFP56端口拆分為2個虛拟的100G（2X50G）端口，在拆分之後該端口的符号從x/y更改為x/ Y /z，其中“x/ Y”表示拆分之前端口的先前符号，“z”表示産生的單車道端口的編号(1,2)，然後将每個子實體端口作為單個端口。
圖六 HDR二層胖樹典型結構
HDR網卡
HDR的網卡相對交換機來說種類豐富很多。首先，在速率上有兩種選擇HDR100與HDR，其中HDR100網卡支援100G的傳輸速率，2個HDR100端口可通過200G to 2X100G線纜與HDR交換機互聯。與100G EDR網卡不同，HDR100網卡的100G端口既支援4X25G NRZ傳輸，也支援2X50G PAM4傳輸。HDR網卡支援200G的傳輸速率，可直接使用200G直連線纜與交換機互聯。除了有兩種接口速率之外，每種速率的網卡可根據業務需求選擇單口和雙口以及PCIe 的類型，納多德提供的常用IB HDR網卡型号如下：