天天看點

2U 4節點Xeon SP伺服器 (上):PowerEdge C6420更受重視

盡管以前Dell等OEM大廠也提供2U 4節點伺服器機型,但該領域受關注更多的似乎是SuperMicro、廣達這樣的ODM廠商。

在網際網路公司這一輪興起之前,計算密度高的2U 4節點最初用于HPC應用多一些,該部分市場有些不溫不火——增長更多在于GPU/協處理器。如今政策變化的原因是什麼呢?不知您的答案是否和我一樣——超融合。

最近寫的新一代Xeon Scalable伺服器主要是圍繞Dell的機型,有讀者朋友給我留言,能否分析下不同廠商的産品?

一旦涉及到橫向對比,我都會比較謹慎。首先要對各家的産品有一定的了解,更重要的是客觀中立,如果做不到則不如不寫。既然這麼說,我也做好準備談一些Dell伺服器設計上的限制,并嘗試分析其背後的原因。

大功率電源子產品:110V電壓下輸出下降一半?

2U 4節點的PowerEdge C6420,是本次Dell 14G伺服器釋出型号當中,我要寫的最後一款。上面這台24盤位樣機一共安裝了8個SSD,每節點連接配接2個。

Intel OEM給Dell的SATA接口SSD DC S3610 800GB

C6420的後視圖。我們看到1+1備援電源的位置現在位于中間,上一代的PowerEdge C6320電源子產品在機箱最左邊。

抽出其中一個節點,除了固化的管理網口、USB 3.0和DP顯示輸出等之外,右上方安裝了一塊PCIe網卡。除此之外還能擴充幾個PCIe裝置呢?請大家往後面看。

之前介紹另外幾款Dell 14G伺服器時沒太注意電源部分。這款2000W 80plus Platinum(白金)電源子產品的轉換效率可達94%。需要注意的是,其最大交流輸入電流為11.5A,也就是說隻有在200-240V輸入時才能達到最大2000W的輸出功率,而在100-120V輸入時隻能達到1000W輸出。

我們知道,Xeon SP的最高功耗可達205W,一個節點光是2顆CPU就有可能達到400W。是以PowerEdge C6420支援的電源子產品有1600W、2000W和2400W三種。根據我的了解,在110V供電時也可以将負載分攤到2個子產品上,支撐總體功率的同時犧牲一部分備援能力。至于最佳實踐,請以官方說明為準。

同時我也核對了C6420的另外兩種電源子產品規格,100-120V交流輸入下,1600W電源的輸出為800W,2400W的輸出為1400W。我想其他伺服器廠商應該也會有類似的情況,這一點對于國内使用者基本沒啥影響。

我又翻閱了上周拍的照片,R940用的1100W電源在100-120V交流輸入下可輸出1050W,而R640使用的750W輸出功率則不受輸入電壓影響,供參考。

上圖是C6400機箱内部的線纜連接配接示意,其中MB 1-4對應的是4個節點的主機闆,Linking Board負責連接配接驅動器,而Midplane、CM和PIB闆則是用于供電轉接、機箱管理(風扇控制)等。

Xeon 61xxF、81xxF的Omni-Path 100Gb/s互連

這張照片就是其中一個節點,光線不夠好請大家諒解:)除了位于下風方向的CPU散熱器尺寸較大之外,左下方節點尾部可以看到有PCIe轉接闆的托架。

為什麼兩顆一樣的CPU配不同散熱器呢?我想不少朋友都知道,右邊處理器更靠近系統風扇,散熱氣流會先經過它,帶走熱量并升溫後再經過左邊的CPU。或者說位于風道後面的CPU進風溫度更高,而風壓則較小一些,是以散熱壓力相對較大,就要靠散熱器補回來。

LGA-3647這一代CPU的Socket成本看來較高,而易用性也相當到位。首先CPU不用鎖扣而直接靠散熱器壓在插座上,其次有防呆設計不用擔心散熱器方向裝反。

大家可能也看到了,該示意圖中用的CPU有點特别,也就是本次推出的Xeon Scalable家族中帶有“F”結尾的型号。

上圖截自《Intel Xeon Processor ScalableFamily - Specfication Update》,當在PowerEdge C6420中配置這些CPU時,就多出了100Gb/s的Omni-Path Fabric(也稱為OPA)互連接配接口,目前主要用于HPC高性能計算,與InfiniBandEDR競争。

與此同時,Dell還推出了一款專門支援Xeon Phi 7200的2U 4節點伺服器PowedEdge C6320p,和上圖中的節點長得比較像。有了這個專門針對HPC的機型,可以說在LGA-3647和OPA方面提前積累了一些經驗吧。

在上周7月12日的釋出會現場,Intel EPSD展台上擺出了這樣一塊OPA接口子卡,相當于是2個100Gb/s的QSFP28接口實體層。

目前Xeon 61xxF、81xxF的用途明顯還是高性能計算,對于C6420以外的PowerEdge 14G機型,可以通過獨立的OPA PCIe擴充卡來獲得類似功能。據了解100Gb/s Omni-Path卡的價格可能比56Gb/s IB還要便宜,另外交換機端口數上還有優勢。雖說Mellanox的IB王國短時間内不會動搖,但他們或許需要更重視以太網市場了,比如未來空間巨大的25GbE。

從Dell的網卡支援清單來看,雖說技術上可以通過40G晶片降速到25GbE,但Intel新一代25G網卡的動作還是慢了點。為什麼這樣說呢?因為RDMA的重要性,未來大緻是兩種标準的PK——RoCE和iWARP,後者主要靠Chelsio和Intel,而目前使用Intel XL710晶片的25GbE網卡XXV710還不支援iWARP。

最後再來看一下C6420的PCIe擴充。這個插槽的作用大家可以猜一下,會不會轉接支援M.2 SSD呢?

這張照片裡下方的黑色插槽在樣機上用于轉接網卡,而上方的黑色插槽和一對白色連接配接器又是怎麼使用的呢?此外PowerEdge C6420最多支援多少個NVMe SSD...

在下篇裡我再給大家介紹吧,另外我還想深入讨論下2U 4節點伺服器結構設計的兩個分支方向,敬請繼續關注!