Infiniband基本知識

InfiniBand架構是一種支援多并發連結的“轉換線纜”技術，在這種技術中，每種連結都可以達到2.5 Gbps的運作速度。這種架構在一個連結的時候速度是500 MB/秒，四個連結的時候速度是2 GB/秒，12個連結的時候速度可以達到6 GB /秒。

1                基本特征

InfiniBand技術不是用于一般網絡連接配接的，它的主要設計目的是針對伺服器端的連接配接問題的。是以，InfiniBand技術将會被應用于伺服器與伺服器（比如複制，分布式工作等），伺服器和儲存設備（比如SAN和直接存儲附件）以及伺服器和網絡之間（比如LAN， WANs和the Internet）的通信。

2              概述

與目前計算機的I/O子系統不同，InfiniBand是一個功能完善的網絡通信系統。

InfiniBand貿易組織把這種新的總線結構稱為I/O網絡，并把它比作開關，因為所給資訊尋求其目的位址的路徑是由控制校正資訊決定的。InfiniBand使用的是網際協定版本6的128位位址空間，是以它能提供近乎無限量的裝置擴充性。

通過InfiniBand傳送資料時，資料是以資料包方式傳輸，這些資料包會組合成一條條資訊。這些資訊的操作方式可能是遠端直接記憶體存取的讀寫程式，或者是通過信道接受發送的資訊，或者是多點傳送傳輸。就像大型機使用者所熟悉的信道傳輸模式，所有的資料傳輸都是通過信道擴充卡來開始和結束的。每個處理器（例如個人電腦或資料中心伺服器）都有一個主機通道擴充卡，而每個周邊裝置都有一個目标通道擴充卡。通過這些擴充卡交流資訊可以確定在一定服務品質等級下資訊能夠得到有效可靠的傳送。[1] 

3              作用

我們為什麼需要InfiniBand？

采用Intel架構的處理器的輸入/輸出性能會受到PCI或者PCI-X總線的限制。總線的吞吐能力是由總線時鐘決定的（比如33.3MHz，66.6MHz 以及133.3MHz）和總線的寬度（比如32位或者64位）。在最通常的配置中，PCI總線速度被限制在500 MB /秒，而PCI-X總線速度被限制在1 GB/秒。這種速度上的限制制約了伺服器和儲存設備、​​網絡節點​​以及其他伺服器通訊的能力。在InfiniBand的技術構想中，InfiniBand直接內建到​​系統闆​​内，并且直接和CPU以及記憶體子系統互動。但是，在短期内，InfiniBand支援将由PCI和PCI-X擴充卡完成；這樣，InfiniBand在最初将會受到總線的制約。在2002年年底，InfiniBand技術将會完全被整合在Intel伺服器供應商以及Sun生産的伺服器中（80%的可能性）

誰在倡導InfiniBand？

InfiniBand是由InfiniBand行業協會所倡導的。協會的主要成員是：​​康柏​​，戴爾，惠普，IBM，Intel，微軟和Sun。從曆史的角度看，InfiniBand代表了兩種計算潮流的融合：下一代I/O（NGIO）和未來的I-O（FIO）。大部分NGIO和FIO潮流的成員都加入了InfiniBand陣營。

InfiniBand是純硬體的嗎？

不。InfiniBand的成功還需要軟體--包括很多不同的層。這種技術架構和架構上的代理（伺服器，儲存設備，通訊裝置，switch以及其他的一些裝置）都需要​​軟體管理​​。應用軟體也必須适應這種架構。作業系統也必須進行調整以和​​晶片組​​進行最優化的通信。我們認為InfiniBand的相關軟體的發展将會成為InfiniBand産品應用的一個瓶頸。但是，到2005年，80%大、中型企業都會有在​​資料中心​​環境下的正式的InfiniBand産品。

Windows 2000支援InfiniBand嗎？

既支援也不支援。在InfiniBand的試制，測試階段，對InfiniBand的支援是由裝置供應商的驅動來提供的，而不是直接由作業系統來支援。而且，微軟沒有時間把對InfiniBand的支援加入到它的Windows 2000中。不過微軟有可能在2002年第二季度把這種支援添加進來。（60%的可能性）

InfiniBand會取代線纜通道嗎？

還沒有計劃。就象InfiniBand技術完全被整合到伺服器的軟體和硬體中需要時間一樣，它被完全整合到儲存設備和SAN中也需要時間。2003年，90%的InfiniBand伺服器會采用InfiniBand-線纜通道、InfiniBand-​​千兆以太網​​或者InfiniBand- SCSI橋的方式連接配接網絡上的外接存儲。（90%的可能性）。

InfiniBand會取代千兆（或者更快的）​​以太網​​嗎？

對這個問題的回答是：不會。以太網是應用于高層網絡通信（比如TCP/IP）的技術，而InfiniBand是用于低層輸入/輸出通信的技術。即使以太網達到甚至超過了InfiniBand的速度，高層網絡通信的特點使得它也不能夠成為适合伺服器端輸入/輸出的解決方案。 總結：InfiniBand架構肩負着改善伺服器端輸入/輸出性能的使命。但是，InfiniBand不僅僅是晶片和硬體。為了發揮應有的作用，硬體和軟體必須充分在作業系統，管理層以及​​應用層​​整合起來。按照技術激程序度劃分，“A類型”的企業将會在2002年第二季度考慮小批量生産InfiniBand産品，而沒有那麼激進的企業可能會等到2003年第一季度或者更遲。

如果你還沒有關注InfiniBand，那要準備好應付鋪天蓋地的相關資訊，甚至是産品。經過多年的醞釀，和使其成為規範的努力，以及實驗室的開發。InfiniBand即将橫空出世。不管你最終采用InfiniBand，或是放棄，亦或是等等看看，你都要了解這種用于​​資料中心​​的新型互聯技術。

InfiniBand産品正逐漸進入市場，預計在2003年将有大批産品上市。由​​康柏​​、戴爾、惠普、IBM、​​英特爾​​、微軟和SUN公司于1999年建立的InfiniBand行業協會(IBTA)，有180多家公司參加。這些業界巨人也組成了籌劃指導委員會。自從2000年1月以來，共吸收了3億美元的風險資金，很明顯，InfiniBand是業界推出的重大項目。

存儲網絡界的許多大公司認為，InfiniBand将會作為PCI總線的替代品，首先出現在伺服器内部。這樣就很容易解釋為什麼他們對InfiniBand互聯不熱心。但是，沒有什麼事情是必然的。随着啟動的一系列工作，InfiniBand将會很容易地進入存儲網絡。如果InfiniBand确實作為PCI的替代品用于資料中心，則會出現這樣的情況，或者InfiniBand證明自己同樣适用網絡傳輸，或者需要進一步的開發。

這就是要關注該技術的原因。或許需要投入時間、資金，并重新規劃，但是，這會潛在地改進公司的互聯體系結構。

InfiniBand如何工作

InfiniBand是一個統一的互聯結構，既可以處理存儲I/O、網絡I/O，也能夠處理​​程序間通信​​(IPC)。它可以将​​磁盤陣列​​、SANs、LANs、伺服器和​​叢集伺服器​​進行互聯，也可以連接配接外部網絡（比如WAN、VPN、網際網路）。設計InfiniBand的目的主要是用于企業資料中心，大型的或小型的。目标主要是實作高的可靠性、可用性、可擴充性和高的性能。InfiniBand可以在相對短的距離内提供高帶寬、低延遲的傳輸，而且在單個或多個​​網際網路絡​​中支援​​備援​​的​​I/O通道​​，是以能保持資料中心在局部故障時仍能運轉。

如果深入了解，你會發現InfiniBand與現存的I/O技術在許多重要的方面都不相同。不像PCI、PCI-X、 IDE/ATA 和 SCSI那樣共享總線，是以沒有相關的電子限制、仲裁沖突和記憶體一緻性問題。相反，InfiniBand在交換式網際網路絡上，采用點到點的、基于通道的消息轉發模型，同時，網絡能夠為兩個不同的​​節點​​提供多種可能的通道。

這些方面，InfiniBand更像​​以太網​​，而以太網構成LANs、WANs和網際網路的基礎。InfiniBand和以太網都是拓撲獨立──其​​拓撲結構​​依賴于​​交換機​​和​​路由器​​在源和目的之間轉發資料分組，而不是靠具體的總線和環結構。像以太網一樣，InfiniBand能夠在網絡部件故障時重新路由分組，分組大小也類似。InfiniBand的分組大小從256b到4KB，單個消息（攜帶I/O處理的一系列資料分組）可以達到2GB。

以太網跨越全球，InfiniBand則不同，其主要用于隻有幾間機房的資料中心，分布于校園内或者位于城市局部。最大距離很大程度上取決于纜線類型（銅線或光纖）、連接配接的品質、資料速率和收發器。如果是光纖、單模的收發器和基本資料速率的情況下，InfiniBand的最大距離大約是10公裡。

如同​​以太網​​一樣使用​​交換機​​和​​路由器​​， InfiniBand在理論上能夠跨越更遠的距離，盡管如此，在實際應用中距離要受到更多的限制。為了確定資料分組的​​可靠傳輸​​，InfiniBand具備諸如反應逾時、流控等特點，以防止阻塞造成的分組丢失。延長InfiniBand的距離将降低這些特征的有效性，因為延遲超過了合理的範圍。

為了超越資料中心的範圍，其它I/O技術必須解決長距離的問題。InfiniBand廠商通過能夠連接配接到以太網和​​光纖通道​​網絡的裝置來解決這個問題（光纖通道的最大距離大約為10公裡，是以​​橋接​​裝置使得InfiniBand能夠與現存的用光纖通道連接配接的校園網絡和城域網絡的分布式資料中心相相容）。

更高的速度

InfiniBand的基本​​帶寬​​是2.5Gb/s，這是InfiniBand 1.x。InfiniBand是全雙工的，是以在兩個方向上的理論最大帶寬都是2.5Gb/s，總計5Gb/s。與此相反，PCI是半雙工，是以32位、33MHz的PCI總線單個方向上能達到的理論最大帶寬是1Gb/s，64位、133MHz的PCI-X總線能達到8.5Gb/s，仍然是半雙工。當然，任何一種總線的實際吞吐量從來沒有達到理論最大值。

如果要擷取比InfiniBand 1.x更多的​​帶寬​​，隻要增加更多纜線就行。InfiniBand 1.0規範于2000年10月完成，支援一個通道内多個連接配接的網絡，資料速率可提高4倍(10Gb/s)和12倍(30Gb/s)，也是雙向的。

InfiniBand是在​​串行鍊路​​上實作超高速率的，是以電纜和連接配接器相對并行I/O接口PCI、IDE/ATA、SCSI和IEEE-1284來說，接口小也便宜。并行鍊路有一個固有的優勢，因為它的多個纜線相當于高速公路上的多個車道，但現代的I/O收發器晶片使串行鍊路達到更高的資料速率，并且價格便宜。這就是為什麼最新的技術──InfiniBand、​​IEEE-1394​​、串行ATA、串行連接配接SCSI、USB采用串行I/O而不是并行I/O。

InfiniBand的擴充性非常高，在一個​​子網​​内可支援上萬個​​節點​​，而每個網絡中可有幾千個子網，每個安裝的系統中可以有多個網絡結構。InfiniBand​​交換機​​通過子網​​路由​​分組，InfiniBand​​路由器​​将多個子網連接配接在一起。相對​​以太網​​，InfiniBand可以更加分散地進行管理，每個子網内有一個管理器，其在路由分組、映射網絡拓撲、在網絡内提供多個鍊路、監視性能方面起決定性的作用。子網管理器也能保證在特别通道内的​​帶寬​​，并為不同優先權的​​資料流​​提供不同級别的服務。子網并不一定是一個單獨的裝置，它可以是内置于​​交換機​​的智能部件。

虛拟高速公路

為了保證帶寬和不同級别的服務，​​子網​​管理器使用虛拟通道，其類似于高速公路的多個車道。通道是虛拟的，而不是實際存在的，因為它不是由實際的纜線組成的。通過使用​​位元組​​​​位元組​​，并根據不同的優先權，同一對纜線可攜帶不同分組的片斷。

開發中的标準：

産品 實體I/O 主要應用 最大帶寬 最大距離

InfiniBand 1x 串行存儲

IPC 網絡 2.5Gb/s 10公裡

InfiniBand 4x 串行－多鍊路 存儲、IPC、網絡 10Gb/s 10公裡

InfiniBand 12x 串行－多鍊路 存儲、IPC、網絡 30Gb/s 10公裡

​​光纖通道​​ 串行存儲

IPC 網絡 2Gb/s 10公裡

Ultra2 SCSI 16位并行 存儲 0.6Gb/s 12米

Ultra3 SCSI1 6位并行 存儲 1.2Gb/s 12米

IDE/Ultra ATA 100 32位并行 存儲 0.8Gb/s 1米

IEEE-1394a (FireWire) 串行 存儲 0.4Gb/s 4.5米

串行 ATA 1.0 串行 存儲 1.5Gb/s 1米

串行連接配接SCSI 串行 存儲 未定義 未定義

PCI 2.2 (33/66MHz) 32/64位并行 底闆 1 / 2 Gb/s 主機闆

PCI-X 1.0 (133MHz) 64位并行 底闆 8.5Gb/s 主機闆

PCI-X 2.0 (DDR-QDR) 64位并行 底闆 34 Gb/s 主機闆

InfiniBand 1.0定義了16個虛拟通道，0到15通道。通道15預留給管理使用，其它通道用于資料傳輸。一個通道專用于管理可以防止流量擁塞時妨礙網絡的正常管理。比如，網絡随時準備改變其​​拓撲結構​​。InfiniBand裝置是熱插拔的，從網絡中拔出裝置時要求網絡迅速重新配置拓撲映射。子網管理器使用通道15來查詢​​交換機​​、​​路由器​​和終端節點其有關配置的改變。

除了資料虛拟通道外預留虛拟管理通道，這就是帶内管理。InfiniBand也提供​​帶外管理​​的選項。在InfiniBand的底闆配置中，管理信号使用獨立于資料通道的特殊通道。底闆配置更多用于伺服器内和存儲子系統，同樣地，PCI和PCI-X的底闆也位于此。

除了虛拟通道上直接傳輸，​​子網​​管理器也可以對兩個​​節點​​之間的點對點的通道調整并比對資料速率。比如，如果一個伺服器有一個到網絡的4倍的接口，而發送資料的目标存儲子系統隻有1倍的接口，​​交換機​​能夠自動建立相容的1倍通道，而不丢失分組和阻止更高速率的資料傳輸。

實作InfiniBand

InfiniBand不是必須要取代現存的I/O技術。但會造成相關的争論，因為其它的I/O标準也有很多的支援者，而且許多公司已經對這種傳統的技術進行大量的投資。在計算機業界，每一種新技術的出現都傾向于将其它的技術規類于傳統的範疇。至少在理論上，InfiniBand能與PCI、PCI-X、 SCSI、 ​​光纖通道​​、IDE/ATA、串行 ATA、 IEEE-1394以及其它在​​資料中心​​存在I/O标準共存。相反，3GIO和HyperTransport是闆級的互聯，而快速I/O和緻密PCI主要用于内嵌式系統。

為了與其它的I/O技術協同工作，InfiniBand需要能比對實體接口和轉換通信協定的​​橋接​​擴充卡。舉例來說，Adaptec正在測試能将InfiniBand連接配接到串行ATA和串行SCSI的磁盤接口。然而，不要假定你需要的橋接裝置已經存在，并且經過實際工作的驗證、價格可行。

另一個要考慮的是性能問題。連接配接兩種不同的I/O标準通常要增加資料通道的延遲。在最壞的情況下，将InfiniBand網絡引入到一個已經安裝多個不同技術組成的網絡中，如果組織管理差，會降低其整體性能。InfiniBand的支援者聲稱理想的解決方案是完整的InfiniBand​​體系結構​​。任何部件都可以直接連接配接到InfiniBand網絡，可以使用優化的檔案協定，最好是使用直接通路檔案系統(DAFS)。

DAFS獨立于傳輸，是基于NFS的共享式檔案通路協定。它是優化過的，用于1到100台機器的​​叢集伺服器​​環境中的I/O密集、CPU受限、面向檔案的任務。典型的應用包括資料庫、web服務、e-mail和​​地理資訊系統​​(GIS)，當然也包括存儲應用。

IT管理者感興趣的其它的與InfiniBand相關協定是：SCSI遠端直接記憶體通路(RDMA)協定、共享資源協定(SRP)、IP over InfiniBand (IPoIB)、直接套節字協定(SDP)、遠端​​網絡驅動接口規範​​(RNDIS)。

SRP的開發在一些公司進展順利，比如，已經開發出早期版本并運作在Windows 2000上協定的Adaptec。OEM的廠商和合作夥伴正在測試beta系統。Adaptec認為SRP對于高性能的SANs會相當出衆，但必須解決多廠商産品間的相容。最終版本的SRP可能取決于作業系統的驅動程式和伺服器的支援，預計在2002年下半年或2003年上半年完成。

IpoIB，将IP協定映射到InfiniBand，正在被IETF的一個工作組定義。IpoIB包括IPv4/IPv6的​​位址解析​​、IPv4/IPv6的資料報的封裝、網絡初始化、​​多點傳播​​、廣播和管理資訊庫。預計在2002年下半年或2003年上半年完成。

SDP試圖解決其它協定的幾個缺陷，特别是相對高的CPU和​​記憶體帶寬​​的使用率。SDP基于微軟的Winsock Direct協定，類似于TCP/IP，但優化後用于InfiniBand，以降低負荷。一個工作組在2000年下半年開始定義SDP，2002年2月完成了1.0規範。

RNDIS是微軟開發的協定，用于基于通道的即插即用總線的網絡I/O，比如USB和IEEE-1394。InfiniBand RNDIS 1.0規範即将完成。

不要期望一夜成功

盡管所有的廠商都大肆宣傳，市場分析人員也預計有良好前景，但不要期望InfiniBand在一夜之間獲得成功，或者失敗。一方面，InfiniBand要求繼續投資于一個未經完全驗證的技術，特别是當今經濟正從衰退中恢複。盡管可能生産出更多的InfiniBand産品，而不使現存的裝置過時，但獲得最大收益要求更廣泛地支援InfiniBand技術，因為InfiniBand技術利用大型交換式網絡和本地接口和協定。

一些IT管理者可能會反對這種同時用于存儲、​​程序間通信​​和網絡傳輸的網絡結構，盡管這是InfiniBand的目的。将不同形式的通信運作在不同的總線和網絡上可以提供一定的​​備援​​，而InfiniBand也可以通過多個點到點的交換式網絡同樣提供備援。但他們認為互相分離的網絡能夠防止存儲I/O同伺服器和網絡通信競争帶寬。

而另一方面的論點是，InfiniBand統一的網絡結構可以簡化IT管理者的工作。一方面，你不必保留不同形式的備份。連接配接伺服器的同一種電纜也可以同​​存儲系統​​協同工作，磁盤子系統可以在不同的子系統之間互換。帶寬的争奪不大可能成為一個問題，因為InfiniBand可以擴充的網絡結構能提供足夠的帶寬，并且很容易增加。而其它的I/O技術，一旦定義了總線寬度和​​時鐘頻率​​，其理論最大帶寬是固定的，你不能僅僅通過插入纜線來增加更多的帶寬容量，但InfiniBand可以做到這一點。

同樣，統一的、可以重新配置的網絡結構能夠很容易地在存儲、網絡通信和IPC之間再配置設定帶寬，而不必關掉關鍵系統來更換硬體。

應該說，InfiniBand的技術基礎是穩固的。當然，除了技術的原因，新的技術有時會因為這樣那樣的原因而出現故障。另外，不成熟的市場和高于期望的費用使許多好的點子成為過眼煙雲。

Infiniband的現狀和未來

2006年11月13日在美國佛羅裡達Tampa召開的一年兩次的巨型計算機博覽會（SC06）上公布的世界前500名巨型機的排名中用于伺服器互聯的公開标準協定Infiniband的占有率首次超過了私有協定Myrinet，而在所有使用了Infiniband的巨型機中Voltaire又以絕對優勢占了2/3。另外到今年六月為止的世界前500名巨型計算機排名中占有率一直持續上漲的千兆以太網也首次下跌18%。至此經過3年多的較量，在​​高性能計算​​（HPC）領域伺服器網際網路絡的首選協定已經明确為Infiniband。在此想就Infiniband的現狀和發展趨勢向各位讀者做一下介紹。

Infiniband的特點：

Infiniband協定的主要特點是高帶寬（現有産品的帶寬4xDDR 20Gbps,12x DDR 60Gbps, 4xSDR 10Gbps, 12xSDR 30Gbps、預計兩年後問世的QDR技術将會達到4xQDR 40Gbps,12x QDR 120Gbps）、低延遲時間（交換機延時140ns、應用程式延時3μs、一年後的新的網卡技術将使應用程式延時降低到1μs水準）、系統擴充性好（可輕松實作完全無擁塞的數萬端裝置的Infiniband網絡）。另外Infiniband标準支援RDMA(Remote Direct Memory Access)，使得在使用Infiniband構築伺服器、​​存儲器​​網絡時比​​萬兆以太網​​以及Fibre Channel具有更高的性能、效率和靈活性。

Infiniband與RDMA:

Infiniband發展的初衷是把伺服器中的總線給網絡化。是以Infiniband除了具有很強的網絡性能以外還直接繼承了總線的高帶寬和低延遲時間。大家熟知的在​​總線技術​​中采用的DMA(Direct Memory Access)技術在Infiniband中以RDMA(Remote Direct Memory Access)的形式得到了繼承。這也使Infiniband在與CPU、記憶體及儲存設備的交流方面天然地優于​​萬兆以太網​​以及Fibre Channel。可以想象在用Infiniband構築的伺服器和存儲器網絡中任意一個伺服器上的CPU可以輕松地通過RDMA去高速搬動其他伺服器中的記憶體或存儲器中的​​資料塊​​，而這是Fibre Channel和萬兆以太網所不可能做到的。

Infiniband與其他協定的關系：

作為總線的網絡化，Infiniband有責任将其他進入伺服器的協定在Infiniband的層面上整合并送入伺服器。基于這個目的,今天Volatire已經開發了IP到Infiniband的​​路由器​​以及Fibre Channel到Infiniband的路由器。這樣一來客觀上就使得幾乎所有的網絡協定都可以通過Infiniband網絡整合到伺服器中去。這包括Fibre Channel, IP/GbE, NAS, iSCSI等等。另外2007年下半年Voltaire将推出​​萬兆以太網​​到Infiniband的路由器。這裡有一個插曲：萬兆以太網在其開發過程中考慮過多種線纜形式。最後發現隻有Infiniband的線纜和光纖可以滿足其要求。最後萬兆以太網開發陣營直接采用了Infiniband線纜作為其實體連接配接層。

Infiniband在存儲中的地位：

今天的Infiniband可以簡單地整合Fibre Channel SAN、NAS以及iSCSI進入伺服器。事實上除了作為網絡化總線把其他存儲協定整合進伺服器之外，Infiniband可以發揮更大的作用。存儲是記憶體的延伸，具有RDMA功能的Infiniband應該成為存儲的主流協定。比較一下Infiniband和Fibre Channel我們可以看到Infiniband的性能是Fibre Channel的5倍，Infiniband​​交換機​​的延遲是Fibre Channel交換機的1/10。另外在構築連接配接所有伺服器和存儲器的高速網絡時使用Infiniband Fabric可以省去Fiber Channel Fabric,進而給客戶帶來巨大的成本節省。

今天在使用Infiniband作為存儲協定方面已經有了很大的進展。作為iSCSI RDMA的存儲協定​​iSER​​已被IETF标準化。

不同于Fibre Channel，Infiniband在存儲領域中可以直接支援SAN和NAS。​​存儲系統​​已不能滿足于傳統的Fibre Channel SAN所提供的伺服器與裸存儲的網絡連接配接架構。Fibre Channel SAN加​​千兆以太網​​加NFS的架構已經嚴重限制了系統的性能。在這種情況下應運而生的則是由在Infiniband fabric連接配接起來的伺服器和iSER Infiniband存儲的基礎架構之上的并行檔案系統（諸如HP的SFS、IBM的GPFS等等）。在未來的伺服器、存儲器網絡的典型結構将會是由Infiniband将伺服器和Infiniband存儲器直接連接配接起來，所有的IP資料網絡将會通過​​萬兆以太網​​到Infiniband的​​路由器​​直接進入Infiniband Fabric。

在存儲廠商方面Sun, SGI, LIS LOGIC,​​飛康​​軟體等公司都已推出自己的Infiniband存儲産品。在中國新禾科技公司也推出了他們的Infiniband​​存儲系統​​。

從價格的角度，今天的Infiniband是萬兆以太網的幾分之一。Inifiniabnd有比FibreChannel高5倍的性能，在價格上則已與Fibre Channel在同一個數量級上。

在HPC以外的領域的Infiniband的應用：

在過去一年裡我們看到Infiniband在HPC以外的領域得到了長足的進步。這主要包括Infiniband在大型網絡遊戲中心的應用、Inifiniband在電視媒體編輯及動畫制作方面的應用。在證券業方面，人們也已經在着手開發以Infiniband為核心的高速、低遲延交易系統。在銀行業我們也看到了一些以Inifiniband全面取代Fibre Channel的努力。

明、後年Infiniband的看點：

Voltaire将于2003年秋天推出​​萬兆以太網​​到Infiniband的路由器。這将使由Infiniband對資料​​網絡存儲​​網絡的整合得到加速。

Voltaire已經開發出全套的​​iSER​​ Initiator、Target code。很多存儲合作夥伴在利用Voltaire的iSER code開發他們獨自Infiniband​​存儲系統​​。預計在明、後年大家會看到更多的Infiniband存儲系統投放市場。

Infiniband已經進入​​刀片伺服器​​（IBM、HP等等），我們在未來的兩年還會看到這方面更多的努力和成功。

Infiniband标準裝配在伺服器上的努力和成功。

裝載Infiniband存儲的巨型機進入世界前500巨型機清單。

Infiniband在網絡遊戲業、石油業、電視媒體業、制造業等方面進入企業級應用。

Infiniband：曲高和寡前途未蔔

步入2008，​​資料中心​​的應用環境發生了巨大的變化，​​多核​​、虛拟化和刀片成為新一代資料中心的主流趨勢，在這樣的主流趨勢下，有些人預測InfiniBand也将迎來其生命周期的黃金時代，有些人則持反對意見

銜着金鑰匙出生

早在2001年，一位國外專家Sandra Gittlen第一次為Network Word的年度熱門問題撰寫了關于當時出現的被稱作的互聯架構的文章。

以下是Sandra Gittlen文章的開篇：

“它就是治療​​網絡瓶頸​​問題的靈丹妙藥，InfiniBand，下一代的個人電腦輸入/輸出架構，将随時準備取代PCI的地位，成為伺服器的新标準。”

那時候，大多數人都對InfiniBand給予厚望，有充分的理由相信InfiniBand即将闖入市場，将會大展拳腳，并可一舉取代資料中心的網絡。當時，有排成行的公司為此下了重資。事實上，有超過2億美元的風險投資在那個時候注入了與InfiniBand相關的公司。其中的翹楚有Dell，HP，Compaq，Intel，IBM，Microsoft和Sun，這些大公司都為這項技術的發展而努力着。

InfiniBand，用最簡單的話說，就是在伺服器端一個​​主機通道​​擴充卡和儲存設備等外設上的目标擴充卡之間的高速架構，因為這些擴充卡之間直接通訊，下載下傳、安全和服務品質等可以内置。

适者生存

時間一閃到了2005年，情況發生了巨變。

那時候，很多早期獲得了關注的創業公司或是破産，或是被兼并，或是被收購。隻有一些幸存了下來。在這段期間，同樣是Sandra Gittlen給Network World寫了另外一篇文章，是關于​​高性能計算​​和​​資料中心​​使用者在高速度互聯方面有成千上萬的選擇。

一家存活至今的InfiniBand公司，Mellanox Technologies的市場部副總裁Thad Omura承認：雖然InfinBand技術發展至今已經相對成熟了，但卻受到了經濟衰退的影響。“在那段蕭條的時期裡，人們不會傾向于在新的互聯技術上進行投資。”

一晃又是兩年，情況又發生了一些改變。今天，我們在互聯方面的投資不斷增加，而如何利用互聯技術降低資料中心或高性能計算的成本方面也開始回暖。時至今日，恐怕大家又要重新審視這個問題了：InfiniBand的時代終于來臨了嗎？

上個月，IDC釋出了一份有關InfiniBand的調研報告，在這份關于InfiniBand在全世界範圍内的發展預測中，IDC認為：“正是由于網絡中不斷增長的需要，才推動了超越從前的重要商業服務的出現，以前那種伺服器和存儲資源之間的互聯已經不能滿足現在的​​帶寬​​和容量了。是以，有些客戶在尋找現有互聯結構的替代品，能夠完全滿足吞吐量上的要求，也就是需要更多的帶寬和更短的延遲。”

IDC還認為：“​​高性能計算​​，向外擴充的資料庫環境，共享和虛拟化的輸入/輸出，以及有類似高性能計算特征的​​财務軟體應用​​已經推動了很多InfiniBand的發展，并将帶來更多InfiniBand的推廣和應用。”

在報告中，IDC預測2011年InfiniBand産品制造收入将從2010年的15，720萬美元升至61，220萬美元。

多核、虛拟化和刀片是推動力

這些消息對于Omura這樣的infiniband廠商來說是個好消息。Omura的客戶包括HP、IBM以及Network Appliance，這些一流的大廠都将InfiniBand技術使用到了自己的産品中，讓人對infiniband更增添了一些信心。

Omura發言人表示，各種趨勢都在推動這種應用。“我們已經進入了多核CPU的時代，是以需要更多帶寬和更短的延遲；虛拟化則推動了統一輸入/輸出架構程序；​​刀片伺服器​​端口有限，但卻連接配接到同一塊背闆上，這些趨勢都在加速着InfiniBand的發展。”

根據infiniband技術的發展，InfiniBand的吞吐量是20Gb每秒，到2008年能達到40Gb每秒。與之相比的​​10G以太網​​，2008年之前吞吐量上則不會有什麼改變。

此外，對于​​資料中心​​目前而言最重要的問題是解決延遲時間的問題，InfiniBand延遲時間是1微妙，以太網的延遲則接近于10微秒。

難怪Omura發言人如此樂觀：“如果InfiniBand可以幫助我們既降低成本，又節約能源，還有更快的處理速度，人們肯定會選擇它的。”

他以一個貿易公司為例，“如果你在交易過程中快了1毫秒，你一年的收益就可以達到1億美元。最先吃螃蟹的是​​高性能計算​​領域的公司，其次是金融機構。如今我們看到那些資料庫驅動的實時應用，比如票務預訂系統，正在普遍使用InfiniBand産品。”

應該說整個IT行業最近幾年在InfiniBand上的收益可能并不夠豐厚，但是産品的研究與開發并沒有停滞不前。另外一家InfiniBand公司Mellanox也賺了個盆滿缽滿。他說：“從2001年到2005年，我們的收入年年都翻番。” 而且他認為大規模生産的出現還要再過上幾個月的時間。

發展的阻礙

就在一些infiniband廠商對InfiniBand的前途異常樂觀之時，在2005年曾經收購了InifiniBand廠商Topspin Communications的Cisco卻認為IDC關于InfiniBand技術在企業級應用前景的預測是“過于樂觀了”。

Cisco的​​伺服器虛拟化​​事業部銷售主管Bill Erdman認為：“目前InfiniBand的應用還不足以說明InfiniBand時代的到來。”

Erdman說延遲時間短是InfiniBand産品的最大價值，但是IDC提到的其他驅動力，比如虛拟化，則在InfiniBand應用上有點困難。

“虛拟化需要特殊的裝置和做好定義的管理範式，輸入/輸出整合則需要在InfiniBand和以太網/​​光纖通道​​之間的通路，并且簡單假設随着客戶增加應用軟體和網站主機層卻不需要額外的​​防火牆​​、内容​​負載均衡​​以及網絡​​入侵防禦系統​​等服務。”他說，“InfiniBand并沒有和這些服務整合在一起。”

Cisco已經看到InfiniBand産品在資料庫、後端資料庫主機以及資訊總線程式上的應用。“不過，如果有其他應用程式，需要更豐富的​​主機​​服務，以太網仍然是伺服器主機技術的選擇。”Erdman表示。

Cisco與IDC意見相左，是以很難說InfiniBand産品是否能最終大舉進攻企業級市場。但是infiniband技術已經蹒跚了這麼久，走了這麼遠，筆者有信心infiniband還能繼續走下去。那就讓我們拭目以待吧。

4              應用案例

應用案例1：大資料持續爆發

像Oracle Exadata這樣的大資料方案提供商已經将InfiniBand部署在他們的裝置内部好幾年了，對于需要高速計算能力和大量内部資料流的橫向擴充應用程式來說，InfiniBand是一個理想的交換結構解決方案。

正在部署開源Hadoop的使用者應該了解他們的大資料叢集是如何在InfiniBand網絡中變得更強大的，與傳統的10GB以太網相比，hadoop叢集中的InfiniBand網絡将分析吞吐量翻了一倍，因為需要更少的計算節點，由此累計省下來的開支比部署InfiniBand網絡通常要多很多。

隻要資料在容量和種類上持續增長，高性能的資料交換就會一直是資料中心網絡的一個巨大挑戰，如此一來高帶寬和低延遲的InfiniBand網絡使得它成為一個具有競争力的替代方案。

應用案例2：虛拟資料中心的虛拟I/O

為了滿足虛拟環境下關鍵應用程式的可用性和性能，IT必須虛拟整個I/O的資料路徑，包括共享存儲和連接配接網絡，反過來，I/O資料路徑，必須能夠支援多協定和動态配置。

為了加強運作關鍵程式的虛拟機的移動性，虛拟機必須能夠無縫而且快速的将整個網絡和存儲遷移到另外一個地方。這意味着支撐其運作的實體架構必須被每台主機同等的連接配接到。但是由于主機一般都有不同的實體網卡和實體網絡連接配接，虛拟機的無縫移動成了一個挑戰。像InfiniBand這樣聚合、平坦的網絡架構提供了一個巨大的管道，可以動态按需配置設定，這使得其在緊密、高移動性的虛拟環境下變得尤為理想。

應用案例3：橫向擴充的網頁需要緊密互連

基于網頁的應用程式需要的基礎設施不僅僅支援虛拟化的雲計算資源，還需要額外的移動性和靈敏性去支援動态重新配置，而不用去關心現有的資料流或者現有的連接配接要求。是以，InfiniBand的扁平位址空間對于服務提供商和基于網頁的大型商業程式來說，是一個巨大而且實用的福利。

對那些資料流展現為數量衆多而且資料量很小的（比如随機存儲讀寫、遠端記憶體直接讀寫、消息隊列）應用程式來說，在同等條件下将網絡延遲減少一半可以極大的改善應用程式基本的性能和吞吐量，極大的減少對基礎設施的要求和極大的縮減開支。

應用案例4：高度密集的裝置共享和彙聚

随着資料中心裡的裝置越來越密集，使用者正在利用前端網絡來比對後端帶寬的方式來将資産的使用率最大化。換句話說，如果InfiniBand能夠成為高性能、橫向擴充存儲系統的選擇，它也應該成為存儲前段連接配接的一種選擇。

最近流行的擴充伺服器端存儲的趨勢需要一個InfiniBand這樣一個更優于進階緩存的架構，它要麼在伺服器之間直接共享資料，或者緊密整合外在共享儲存設備。兼顧到存儲和伺服器的實際效果就是它同時可以處理前端存儲I/O和後端存儲I/O，因而InfiniBand網絡可以扮演一個非常傑出的角色。

參考連結：

1.​​InfiniBand ​​

2.​​存儲經理人必知：用于存儲和融合資料中心的InfiniBand網絡 ​​