2015美國閃存峰會特稿——NVMe + RDMA = 非凡的 性能!
Stephen Bates
簡介
我在前一篇博文中介紹了Donard 項目，該項目實作了NVMe SSD與GPU、NVMe SSD及遠端直接記憶體通路（RDMA）之間的PCIe點到點傳輸。現下，我倍感興奮地宣布，在2015美國閃存峰會 (FMS)上，PMC與RDMA領域的領軍公司Mellanox共同聯手，将上述工作推向了更高的層次！本篇博文将稍加深入地闡述我們于8月11-13日在FMS所進行的展示，并解釋為何NVMe +RDMA=非凡的性能！
閃存峰會上，我們在PMC的#213号展台進行了兩項獨立的NVMe+RDMA示範。頭一個示範展示了如何将NVMe和RDMA組合起來，在遠端大規模提供低延遲、高性能、基于塊的NVM通路。第二個示範則将Mellanox的RDMA對端發起操作與PMC的Flashtec NVRAM加速卡內建在一起，以将記憶體映射的I/O（MMIO）作為一個RDMA目标，進而實作遠端大規模的持久性記憶體通路。下面逐一詳細介紹：
NVM Express over RDMA
NVMe over RDMA (NoR)示範向大家展示出将NVMe協定延展到RDMA之上的潛在可能。該項示範中共采用了兩台電腦，一個作為用戶端，另一台則作為伺服器，采用Mellanox ConnectX-3 Pro NIC通過RoCEv2相連。其中采用的NVMe裝置即為性能極高而延遲極低的PMC Flashtec™ NVRAM 加速卡。下圖為該示範的框圖。
我們的示範顯示出，利用RDMA來傳送NVMe指令及資料結果帶來了微乎其微的額外延遲，且不影響吞吐量。
下表将本地NVMe裝置與遠端NVMe裝置的平均延遲作了一個對比。NoR方案中延遲增加低于10微妙。
下表則比較了本地NVMe裝置與遠端NVMe裝置的吞吐量測試結果。可以看出，NoR方案中吞吐量并無減少。
RDMA與PCIe裝置之間的點到點傳輸
此項示範中，通過在标準 RDMA之上增加伺服器CPU和DRAM的分流，采用對端發起的方式來将遠端用戶端與一台伺服器的NVRAM/NVMe裝置直連。我們将Mellanox提供的RoCEv2-capable ConnectX-3 Pro RDMA NIC與PMC的Flashtec NVRAM加速卡組合在一起，實作NIC和NVRAM之間的對端發起操作。對端發起操作可以實作遠端客戶對NVRAM加速卡的直接通路，相比傳統的RDMA流程，可降低延遲，并解除安裝CPU和DRAM。
該示範采用的硬體裝置包括兩台電腦，一台作為用戶端，另一台則作為伺服器。利用伺服器中的PCIe交換裝置來将對端發起操作的性能提升到遠遠超出采用Intel CPU根聯合體所能達到的名額。
下表比較了采用傳統RDMA和對端發起的RDMA時伺服器上可用的背景DRAM帶寬。結果得自于perftest:
下表對采用傳統RDMA和對端發起的RDMA時的平均延遲作出了對比。結果得自于 RDMA mode of fio:
對端發起操作代碼庫
如前所述，實作Donard項目時，我們即懷揣着開源的構想，如若不将Donard代碼開放給研發社群，那将是我們的過失。是以，我們将Donard的源代碼存放于GitHub，并為之擷取了Apache 2.0 及GPL 2.0的許可。任何經過我們改動的源于GPL的代碼均要求保持GPL，而全部新開發的代碼則都存放在Apache，供大家随意取用。
我們希望社群中的朋友們能用到這些代碼，對其進行進一步的改進，并将改進再貢獻到代碼庫當中。該代碼的git庫可由此通路。
此外，開放交換網絡企業發行版（OFED）的12月期釋出中将包括該項目相關的代碼。不久将提供該期釋出的更多詳細資訊，請持續關注。
結論
RDMA以及NVMe兩項技術均處于蓬勃上升的階段！RDMA能提供遠距離、大規模的低延遲及高效率的資料移動，而NVMe則能提供對SSD的低延遲通路。将兩項技術相結合能實作非凡的性能。PMC與Mellanox正精誠合作，将之付諸實踐！