明敏 發自 凹非寺
量子位 | 公衆号 QbitAI
11分鐘内訓練一遍GPT-3，8秒訓完BERT。
這就是英偉達給AI圈的一點“小小震撼”。
在最新MLPerf訓練基準測試中，英偉達H100叢集，橫掃八項測試，全部創下新紀錄，并且在大語言模型任務中表現尤為突出！
在大語言模型任務中，H100叢集的加速性能逼近線性增長。
即随着叢集處理器數量增加，加速效果也幾乎同比增加。
這意味着在叢集内GPU之間的通信效率非常高。
除此之外，H100還完成了推薦算法、CV、醫學圖像識别以及語音識别等任務，是唯一一個參加8項測試的叢集。
而在算力就是生産力的時代下，這波成績意味着什麼，懂得都懂。
據悉，本次測試系統由英偉達和Inflection AI聯合開發，在雲廠商CoreWeave上托管。
單節點性能增長明顯
這次MLPerf Training v3.0中增加了兩項新任務：
- 大語言模型（基于GPT-3）
- 推薦算法
這意味着測試任務包含了更大的資料集和更先進的模型。
如上重新整理各項記錄的，是由3584塊H100組成的超大叢集。
它的具體成績如下：
這是本輪測試中，英偉達拿出的最大叢集。
實際上他們還送出了一個包含768塊H100的叢集進行測試，并分别在雲上和本地部署。
結果顯示二者性能幾乎完全相同。
更進一步還論證了随着叢集中顯示卡數量的增加，其性能提升可以接近線性增長。
（NVIDIA Pre-Eos為本地部署，NVIDIA+CoreWeave為雲上部署）
除此之外，這輪測試中英偉達還重新整理了單節點加速記錄。
和6個月前MLPef Training v2.1的資料比較，單個DGX H100系統（8塊H100組成）在各項任務中平均提速17%。
和A100 Tensor Core GPU相比，最高能提速3.1倍（BERT任務）。
這些加速效果的實作，主要得益于兩個方面。
一方面是H100本身就足夠強悍。
H100基于最新Hopper架構，采用台積電4nm工藝，內建800億個半導體，較A100增加了260億個。
核心數量達到前所未有的16896個，是A100的2.5倍。
由于面向AI計算，H100中專門搭載了Transformer Engine，讓大模型訓練速度可直接×6。
另一方面則是依賴叢集内的加速網絡。
這裡使用的是英偉達Quantum-2 InfiniBand網絡，是該網絡架構的第七代。
官網介紹，加速網絡能夠提供軟體定義網絡、網絡内計算、性能隔離、優越加速引擎、RDMA和最快達400Gb/s的安全加速。
據悉，共有90個系統參與最新一輪測試，其中82個使用了英偉達的GPU，英特爾方面有7個系統參與。
英特爾的加速系統使用了64-96 Intel Xeon Platinum 8380處理器和256-389 Intel Habana Gaudi2加速器。
其高配系統完成LLM的訓練時間為311分鐘。
基于這次報告的測試結果，有分析師表示他感受到的最大震撼不是H100本身的性能，而是在雲上訓練AI實作的卓越效果。
那麼這次和英偉達合作的雲廠商CoreWeave是誰？聯合開發系統Inflection AI又來者何人？
計算叢集還會進一步擴大
首先來看CoreWeave。
它成立于2017年，是一家大型雲廠商，号稱提供業内最快、最靈活的大規模GPU計算資源，提供渲染、機器學習等雲上方案，速度比大型公共雲快35倍，成本低80%。
而這家雲廠商很受科技巨頭青睐，英偉達在此之前沒少cue過它。
5月，CoreWeave拿下2億美元融資，主要來自對沖基金Magnetar Capital，B輪總融資額達到4.21億美元。
6月，有消息稱微軟與CoreWeave簽署AI算力協定，用于計算基礎設施，未來數年内的投資金額可能數十億美元。
英偉達也向CoreWeave投資了1億美元，4月時它的估值為20億美元。
另一家AI初創公司Inflection AI由DeepMind創始成員穆斯塔法·蘇萊曼（Mustafa Suleyman）等人創立。
這家公司成立于22年3月，已拿下2.25億美元融資，估值超12億美元。
公司已經開發出了一個大語言模型Pi，正是在H100叢集上訓練出來的。
據了解，Pi的定位是幫助人類更好和計算機互動，它能通過聊天内容來逐漸了解使用者，然後提供更加個性化的回答，類似于個人智能管家的感覺。
Inflection AI的最新Blog裡表示，基于目前的合作，他們計劃在未來幾個月内進一步擴大底層計算基礎設施的規模。
參考連結：
[1]https://blogs.nvidia.com/blog/2023/06/27/generative-ai-debut-mlperf/?continueFlag=685ee2dc8db6455efed731baa85e2741
[2]https://developer.nvidia.com/blog/breaking-mlperf-training-records-with-nvidia-h100-gpus/
[3]https://www.forbes.com/sites/stevemcdowell/2023/06/27/nvidia-h100-dominates-new-mlperf-v30-benchmark-results/?sh=62b226c35e99
— 完 —
量子位 QbitAI · 頭條号簽約
關注我們，第一時間獲知前沿科技動态