“資料中心正在轉變成‘AI工廠’，它們處理大量資料，以實作智能。”3月22日晚，NVIDIA創始人兼CEO黃仁勳在2022 NVIDIA GTC大會上表示。
在GTC大會的主題演講中，黃仁勳多次提到“AI工廠”（AI factory）這個詞，“AI資料中心處理海量且連續的資料以訓練和完善AI模型，原始資料進來，經過提煉，然後智能輸出——企業正在制造智能并營運大型AI工廠。”
從曾經介紹Omniverse時說的“數字蟲洞”，到現在描述“新資料中心”的“AI工廠”， 黃仁勳似乎一直長于用隐喻集合自己的思考。
是以，什麼是“AI工廠”？
在3月23日的媒體交流會上，記者提問演講中提到的“AI工廠”是否真的存在時，黃仁勳表示，“事實上，它們是隐藏的，同時也是顯而易見的。它們就在你的眼前，隻是你沒有意識到它。”
似乎非常玄學，但聽了黃仁勳接下來的解釋好像也就可以了解為什麼這麼說。
黃仁勳首先提出，讓我們定義一下什麼是工廠。在他看來，工廠是一個‘大盒子’，輸入進去原材料，使用一些能量，于是将原材料轉化成一些有價值的商品輸出，“食品用這種方式加工，汽車是這樣制造的，晶片也是這樣制造的”。
“就世界上最大的網際網路公司而言，無論他是誰，他都是資料進來，通電，然後出來智能——一個可以識别語言的模型抑或一個可以預測和向使用者推薦其可能喜歡的内容的模型。”黃仁勳表示。
進一步而言，黃仁勳認為在未來，它可能是一個了解你，能幫你推薦藥物、讀物、治療方案等的模型，這個必須在輸入資料和輸出模型之間反複訓練。“是以你已經可以看到很多這樣的AI工廠，它們非常顯而易見。在未來，每家公司都會有AI工廠，因為每家公司從根本上說所做的都是智能。對于世界上大多數地區來說，這是一種新型的資料中心。它已經無處不在，但這隻是開始。”
了解這一點，似乎就能了解NVIDIA的很多動作，比如在最新釋出的H100 GPU中首次配備Transformer引擎，比如瞄準圖形處理和人工智能兩大賽道。市場也給這個判斷帶來了實際的成績——英偉達的市值為6631億，高出全球半導體市值第二名台積電1080億（截至發稿，台積電市值為5551億）。
“隻有自己才能戰勝自己”：性能怪獸H100 CPU
Transformer是現在自然語言處理的标準模型方案，也是深度學習模型領域最重要的模型之一。H100 GPU配備的Transformer引擎可以讓這類模型在訓練時保持精度不變、性能提升6倍，這意味着将原本需要幾周的訓練時間縮短至幾天。
具體而言，無論是GPT-3（1750億參數），還是“對于大型Transformer模型訓練，H100将提供高達9倍的性能，過去需要數周時間才能完成的訓練可以減少到幾天内，”NVIDIA産品管理進階總監Paresh Kharya在釋出會上表示。
對于為何鐘情Transformer，黃仁勳解釋道，Transformers使自我監督學習成為可能，并無需人類标記資料，AI領域出現了“驚人的進展”。是以，Transformer正在越來越多的領域中發揮作用。比如用于語言了解的Google BERT，用于藥物發現的NVIDIA MegaMolBART以及DeepMind的AlphaFold2都要追溯到Transformer的突破。”
除此之外，H100推理性能也大幅提升。英偉達推出的Megatron-Turing模型（5300億參數）在H100上推理時的吞吐量比上一代A100高出30倍，響應延遲降低到1秒。在FP16、FP32和FP64張量運算方面，H100比上一代A100快三倍，在8位浮點數學運算方面快六倍。
NVIDIA H100戰勝NVIDIA A100，接棒全球最大AI加速晶片（H100內建了800億個半導體，比上一代A100多了260億個；CUDA核心飙升至16896個，為A100的近2.5倍），這可能就是傳說中的“隻有自己才能戰勝自己”。
無獨有偶，“自己戰勝自己” 的還有Hopper架構。NVIDIA宣布Hopper新一代加速計算平台将取代兩年前推出的Ampere架構，Ampere是NVIDIA迄今為止最成功的GPU架構。
H100就是NVIDIA首款基于Hopper架構的GPU。據黃仁勳介紹，H100采用台積電最新的4nm工藝，而非之前流傳很久的5nm。同時，H100配備第四代NVLink高速GPU互連技術，最多可連接配接256個H100 GPU，帶寬速度擴充至900GB/s。
同時，H100數學計算能力也提升了，Hopper引入了名為DPX的新指令集，可以加速動态規劃，在運算路徑優化和基因組學等動态規劃算法優化問題，與CPU和上一代GPU相比，其速度提升分别達40倍和7倍。
“20張H100即可承載全球網際網路流量”，黃仁勳在GTC大會上表示，“Hopper H100是有史以來最大的一次性能飛躍——其大規模訓練性能是A100的9倍大型語言模型推理吞吐量是A100的30倍”。據介紹，H100将會在今年第三季度開始供貨。
目前，H100有兩個版本可選：一個是熱功耗達前所未有的700W（專業領域自媒體稱英偉達“核彈工廠”）的SXM，用于高性能伺服器；另一個是适用于更主流的伺服器PCIe，功耗比上一代A100的300W多了50W。
基于H100推出的最新DGX H100計算系統，是常見的配備8塊GPU。但DGX H100系統在FP8精度下達到32 Petaflop的AI性能，比上一代DGX A100系統高了6倍，900GB/s的GPU連接配接速度接近上一代的1.5倍。
在GTC大會上，黃仁勳還介紹了在DGX H100基礎上搭建的Eos超級計算機，又創造了AI超算性能世界第一（其18.4 Exaflops的AI計算性能比日本“富嶽”（Fugaku）超級計算機快了4倍）。Eos配備了576個DGX H100系統，用了4608塊H100。在傳統科學計算，算力能達275Petaflops ，第一名富嶽是442 Petaflops。
H100的新一代Hopper架構以“計算機軟體工程第一夫人”Grace Hopper命名。Grace Hopper是計算機科學的先驅之一，發明了世界上第一個編譯器——A-0 系統。1945年，Grace Hopper在 Mark Ⅱ中發現了一隻導緻機器故障的飛蛾，從此“bug” 和 “debug” (除蟲) 便成為計算機領域的專用詞彙。
有“Hopper”也有“Grace”，在GTC大會上，黃仁勳也介紹了超級伺服器晶片Grace的最新進展：Grace Hopper超級晶片和Grace CPU超級晶片，前者由由一個Grace CPU和一個Hopper架構的GPU組成；後者由兩個Grace CPU組成，通過NVIDIA NVLink-C2C技術互連，包括144個Arm核心，記憶體帶寬高達1TB/s，能耗500w。
黃仁勳現場也秀出一個資料——Grace超級晶片在SPECrate2017_int_base基準測試中模拟性能達到740分，是目前DGX A100搭載的CPU的1.5倍（460分）。
“性能怪獸”用來幹點什麼？黃仁勳：造世界/元宇宙
NVIDIA近幾年持續在建設的Omniverse現在看起來已經像是個“元宇宙基建”工具，數字孿生也可以了解為在虛拟空間重制實體世界，簡稱“造世界”。
但這不是一個娛樂項目，黃仁勳為Omniverse描述的未來圖景是成為“以行動為導向的AI”的組成成分。什麼意思呢，黃仁勳以NASA舉例，“半個世紀前，阿波羅13号登月任務遇到了麻煩。為了拯救船員，NASA的工程師們在地球上建立了一個船員艙模型來幫助解決宇航員在太空遇到的問題。
亞馬遜用Omniverse Enterprise建立虛拟“訂單履行中心”尋找最高效方式，百事可樂用Metropolis和Omniverse建立數字孿生工廠模拟運作以低成本排查問題，以及利用仿真資料讓AI智能體在虛拟但符合現實世界實體規律的環境中“練車”等等都是同樣的邏輯。
Omniverse中建立數字孿生工廠
Omniverse中練功夫
“AI正在各個領域‘全面開花’，包括新的架構、新的學習政策、規模更大、性能更強的模型、新的科學領域、新的應用、新的行業等，而且所有這些領域都在發展”，黃仁勳表示，“NVIDIA全力投入于加速AI領域的新突破以及AI和機器學習在每個行業的應用。
這個判斷也基于黃仁勳對影響行業發展的五個趨勢的看法：million-X百萬倍計算速度飛躍，大幅加快AI速度的Tranformers，成為AI工廠的資料中心，對機器人系統的需求呈指數級增長，以及下一個AI時代的數字孿生。
“我們将在未來十年以資料中心規模加速整個堆棧，再次實作million-X百萬倍性能飛躍。”，黃仁勳在演講末尾說道，“我已經迫不及待地想看到下一次百萬倍性能飛躍将帶來什麼。”