半寬機箱裡的HyperScale：天蠍、OCP們來看看吧

無意中發現了一款比較有特色的硬體在網上查閱資料費了好大勁才算基本搞清楚。說高密度吧計算可能不是最強說高可擴充性吧網絡I/O帶寬并不驚人。然而我卻在其中看到了RSDRack Scale Design資源池化的影子也算是補充了自己知識的空白吧。

Artesyn MaxCore Hyperscale平台

這款裝置的名字叫做MaxCore Hyperscale超大規模平台——适用于DellDSS 9000的機架式高密度計算和媒體平台也可用于OCP環境。它來自Artesyn雅特生一家專業做嵌入式計算和嵌入式電源的公司之前我也不熟悉。

具體點說就是可用于DSS 9000整機架伺服器中的一個半寬子機箱DSS 9050 sub-chassis裡支援最多288個Xeon D CPU核心全寬2個節點就是576 Core、100Gb輸入輸出還支援各種用于媒體轉碼和優化的PCIe加速卡。内建PCI ExpressFabric架構完整的SDN/NFV 資料包轉發和虛拟化支援。

單論計算密度的話以上圖中的2U PowerEdge FX2平台為例配置8個FC430雙路Xeon E5伺服器節點雖然也能支援288個核心但E5的主頻要比Xeon D高不少。如果隻是純CPU計算的HPC叢集我想MaxCore Hyperscale估計不劃算這種不太标準化的裝置銷量有限估計不便宜。顯然它還有别的長處。

上圖就是兩台MaxCore Hyperscale并排放在一起我感覺應該是3U的高度。下面來看看它的規格概要

MaxCore Hyperscale

設計用于戴爾 DSS 9000 機架架構

靈活的可配置型 PCIe 交換半标準寬度托架可容納多達九 (9) 個 PCIe 卡

每插槽最高 150W

2x 10G 接口支援 SR-IOV所有插槽中的所有卡之間均可共用

4x 2.5”驅動盤位和 14x M.2 SSD 插槽

SharpServer 英特爾 Xeon D 微伺服器卡

SharpSwitch 雙 100G 智能 NIC具備vSwitch 卸荷功能

可選配媒體轉碼加速器

首先在一個半寬機箱中可以插9塊PCIe卡不是普通的卡哦6個PCIe Gen3x16 和3個Gen3 x8之間通過PCIe交換互連。2個10Gb以太網口通過SR-IOV在所有插槽的PCIe卡之間共用這隻是基本網絡。

在2個熱插拔托架上的4個2.5英寸SATA驅動器位用于機箱中PCIe插槽1和9的主機最多14個M.2 228080mm尺寸SSD插槽直接通路PCIe插槽2-8的主機。有點意思吧

3種“PCIe插卡”SharpServer是Intel Xeon DCPU伺服器子卡SharpSwitch不是個普通的雙100Gb端口網卡從名字可以看出它帶有交換功能另外還可以選配一種SharpStreamer媒體轉碼加速器。

雙Xeon D微伺服器計算子卡

不難看出2個Xeon D SoC和對應記憶體的分布位置。連接配接“底闆”的金手指左邊是一個PCIe x16右邊的不太标準具體用途後面我再解釋。

SharpServer™ PCIE-7410

MaxCore™ 伺服器卡

雙 Intel® Xeon® D 處理器卡适用于高密度微伺服器應用

标準高度、标準長度的 PCI Express 外形尺寸單插槽

一個或兩個 8 核英特爾 Xeon D-1541 處理器

• 每個處理器最大支援 64GB DDR4 記憶體

• 多達 4 個 PCI Express Gen3 x4 接口

• 每個處理器均支援本地閃存大容量存儲

• 2x 1Gbps 以太網可選配内部以太網基礎架構

每個處理器配備 USB、重置按鈕和 COM端口

軟體支援包括

• Linux KVM

• Intel® DPDK

• 多主機 PCI Express 輸入/輸出虛拟化

上面引用的中文資料可能有點老寫的還是8核Xeon D處理器要滿配2顆16核CPU才能達到前面所說的半寬機箱288核密度。Xeon D的好處是SoC不用加PCH晶片但不支援多處理器是以一塊SharpServer PCIE-7410上就是2個節點前面提到的M.2 SSD正好每節點1個。

4個PCIe Gen3 x4應該是合并在實體x16的金手指上如果SharpServer插在x16插槽裡每個Xeon DCPU分到2個PCIe x4要是在x8插槽裡工作每個CPU就隻有1個PCIe x4了。

暫時先介紹這麼多互連啥的後面還會講。

PCIeto雙100Gb智能交換網卡

這塊卡上可以看出2顆不同的處理器還有金屬擋片上2個QSFP高速網絡接口。

SharpSwitch™ PCIE-9205

MaxCore 智能網絡接口卡

适用于高帶寬應用的高性能 輸入/輸出卡

Intel® 以太網多主機控制器 FM10840配備

• 2x QSFP28 實作最高 200Gbps 的輸入/輸出帶寬

• PCIe 3x16 ~ 100GE 聚合系統帶寬

• L2/3 交換

• 負載均衡

• 虛拟交換機

• 通過 Open vSwitch 和 OVSDB 實作OpenFlow

• 基于 LBaaS 代理和 DPDK 的 OpenStack

軟體

Intel® Xeon® D-1541 處理器

• 最大 64GB DDR4

• PCI Express Gen3 x8 接口連接配接到FM10840 交換機

SharpSwitch PCIE-9205的作用是SharpServer之間的高速網絡交換并對外提供2個100Gb以太網口也會占用1個PCIe插槽。它的主晶片缺不是正常網卡用的下面先看看“以太網多主機控制器FM10840”的特點

Intel Ethernet Multi-host Controller FM10000家族我多少有點印象在前幾年的IDF上好像介紹過。用途大概和RSDRack Scale Design整機架資源池化的互連有關。

在SharpSwitch卡上似乎還不能充分發揮FM10840的規格。我了解在MaxCore Hyperscale機箱裡它應該插在PCIe插槽1和9并且是PCIe x16規格。提供4個PCIeendpoint以太網控制器連接配接到SharpServer最多64個VF另外2個PCIe endpoints面向卡上本地的一顆Xeon-D CPU——用于MaxCore系統管理。

對内一共PCIe Gen3 x16提供相當于100GbE的12.5GB/s單向帶寬應該ok對外可以是2個100Gb以太網也可以向下相容40Gb或者通過轉接線分出8個25Gb / 8個10Gb端口。

本文中介紹的Artesyn就是将Intel FM10000用于多主機子產品化伺服器平台。

網絡和SDN我比較外行OpenStack也了解有限。上圖一方面給大家參考另一方面也是想說明“基于PCIe的網絡通信”PEX-VF估計是用于虛拟機的網卡吧。

利用Intel GT4e內建顯示卡轉碼/編碼視訊

左上方的短卡帶有1顆Xeon E3-1578Lv5 CPU長卡則是2顆

SharpStreamer™ Pro PCIE-7210

高密度視訊處理加速器

H.264/AVC 與 H.265/HEVC 轉碼和編碼、VDI 應用和圖像處理裝置等應用的理想選擇

标準高度、半标準長度或标準長度的 PCI Express 外形尺寸

每張卡多達 4 路 HD HEVC 轉碼流

每張卡多達兩 (2) 路 4KP30 HEVC 編碼流

1x 或 2x IntelXeonE3-1578L v5 GT4e 可擴充視訊處理引擎

每個 CPU 配備 PCI Express Gen3 x8 接口

具體到性能名額每張卡可以實時轉碼4路HD HEVC高清視訊流或者編碼2路4KP30 HEVC。注意這裡可是實時處理哦4K分辨率逐行、每秒30幀。

這個架構圖幫我了解很多。與Xeon D SoC不同為了Xeon E3需要搭配PCH此外一塊SharpStreamer上的2套子系統還各自添加Intel 82599網卡實作内部通信。這裡可以看到兩段金手指的定義了——First Edge是來自兩顆CPU的PCIe x8Second Edge則包括了PCH引出的4個SATA、2個USB、PCIe 3.0 x1和LPC。

SharpStreamer加速卡是做為一個特殊的PCIe裝置連接配接到SharpServer子卡。

關于視訊轉碼應用方案我借用了MaxCore平台中另一款3000機型的資料。

MaxCore架構與矽光互連的思考

全寬機箱的MaxCore 3000支援15個PCIe子卡子產品

由于MaxCore Hyperscale的資料有限我再引用一些MaxCore 3000的資料做為輔助說明。

在MaxCore 3000的底闆上中間兩顆最大的晶片就是PCIe Switch。

MaxCore 3000有上面這種配置方式11個PCIe 7410計算子卡+4個RRCSharpSwitch PCIE-9205網絡子卡。SharpSwitch經由PCI ExpressFabric交換架構将網卡映射給SharpServer可以SR-IOV的形式“直通”給虛拟機。

上圖引用自OCP資料中的Intel草案文檔《DesignGuide for Photonic Architecture》也就是有段宣傳比較多的“矽光互連”我曾經把它和Omni-Path搞混過。其中的Switch應該就有Intel FM10000系列種種因素導緻它未能在RSD整機架伺服器中普及而這次卻出現在了MaxCore機箱内部。

主要針對網際網路/雲服務商的Dell DSS9000樣機

最後再簡單聊下MaxCore Hyperscale與Dell之間的關系會不會是某一家大客戶在DSS 9000整機架伺服器上産生了相關需求進而促成該産品出現呢