大語言模型熱潮隐藏算力危機：國産AI晶片已“小試牛刀”

國産大語言模型百花齊放背後，國産AI晶片正默默前行。

受ChatGPT熱潮的影響，國内各大科技公司都開始研發自己旗下的大語言模型，百度“文心一言”、阿裡雲“通義千問”以及360僅做展示但還未定名的“360AI”……國産GPT“百花齊放”的背後，則是大語言模型的算力“底座”——深度學習架構和AI晶片。

就如同ChatGPT背後是英偉達經營已久的CUDA（統一計算裝置架構）和A100晶片，國内大語言模型飛速發展下，半導體産業又會受到怎樣的影響？面對和各類AI架構深度綁定的CUDA和英偉達這座“高山”，國産AI晶片又該何去何從？

4月13日，有從事科技戰略研究的人士告訴貝殼财經記者，A100被斷供後，目前A800雖然理論上可以購買，但是價格水漲船高，且“有價無市”，庫存告急，實際上已經難以買到。

貝殼财經記者以匿名方式咨詢百度、阿裡雲相關一線從業人員得知，目前百度大模型部分使用昆侖芯，要想未來有更多國産替代還需要等昆侖芯3代釋出，釋出時間點預計在2024年初。而阿裡雲則面向B端推出了一系列可用于人工智能計算的晶片以及液冷資料中心等算力支援服務産品，除含光800外，倚天710也可用于為人工智能大模型提供算力。

大語言模型應用落地需消耗多少算力？

目前，人工智能所需要的雲端訓練和雲端推理AI晶片主要由英偉達主導，如ChatGPT 就使用了英偉達的HGX主機闆和A100晶片，其預訓練和雲端推理需要高達3萬枚A100（單價超1萬美元）并行運算作為算力支撐。

愛集微咨詢業務部資深分析師錢禹告訴貝殼财經記者，類GPT應用的落地是以大規模的資料和巨大的算力資源消耗來實作的，AI類晶片設計公司、算法公司或深度學習架構公司、圍繞資料中心基礎設施建設的公司、基于分布式資料中心或異構資料中心的公司等将受益類GPT應用的發展。

錢禹從事存儲器和大晶片産業研究多年，他告訴貝殼财經記者，一個ChatGPT的算法模型從預訓練模型的建構，再到監督學習和人工幹預學習的針對性訓練，需要耗費大量的資料和運算資源，這對資料中心基礎設施建設的要求是非常高的。“我們還要考慮一個問題是，訓練模型是無法直接落地到實際應用，成熟的訓練模型還需要轉化成推理模型，随後再布置到推理資料中心。暫且不考慮推理模型的部署，僅訓練模型的部署就需要上萬顆英偉達A100加速卡，一次模型訓練的成本遠超千萬美元。”

資料顯示，ChatGPT的總算力消耗約為3640PF-days（即假如每秒計算一千萬億次，需要計算3640天），需要7至8個投資規模30億、算力500P的資料中心才能支撐運作。有聲音認為，即便是部署1萬塊英偉達A100顯示卡，也要持續不間斷運算10年才能達到這樣的高度。

中泰證券釋出研報稱，算力是AI發展的底層土壤。在ChatGPT等概念影響下，AIGC關注度火熱。未來越來越多AI應用的落地離不開龐大算力的支撐，是以也将推動算力産業鍊快速增長。

根據wind資料，代表國産記憶體晶片疊加替代及AI算力雙重機遇的“A股存儲器指數”可反應記憶體及NAND存儲相關公司的整體表現，今年年初至4月5日，該指數累計上漲43.46%。

OpenAI曾預計，人工智能科學研究要想取得突破，所需要消耗的計算資源每3到4個月就要翻一倍，資金也需要通過指數級增長獲得比對，這也被稱為人工智能領域的“摩爾定律”。

錢禹認為，随着ChatGPT的疊代，其需要容納更多的語種以及古詩詞、文言文等内容，需要對其算法架構進行更多的參數設計和算法層數的微調，今後的ChatGPT将會耗費更多的資料資源和訓練硬體資源，“除此以外，我們還應當考慮資料中心中服務于ChatGPT訓練資源的非GPU類晶片，如ASIC或FPGA類專用晶片、伺服器CPU晶片以及服務于分布式訓練硬體架構的光子產品通信晶片，這些晶片的需求也會随着訓練資源的提升而提升。”

在他看來，在ChatGPT帶來的熱潮中，首先受益的是AI類晶片設計公司，因為一切算法疊代的都是以訓練為途徑的，而訓練的方法論就是需要硬體資源，AI類晶片公司會基于GPT類應用開發更高效和更靈活的硬體資源。第二類受益的公司是算法公司或深度學習架構公司，因為GPT類應用的全生命周期生産都需要深度學習架構公司在開發工具方面上給予支援。

今年3月，英偉達創始人兼CEO黃仁勳就在GTC開發者大會上釋出了針對部署大語言模型的新版H100晶片 ，并宣布該産品與“目前唯一可以實際處理ChatGPT的HGX A100相比，現在一台搭載四對H100和雙NVLINK的标準伺服器速度能快10倍，可以将大語言模型的處理成本降低一個數量級。”

在各地大模型訓練如火如荼，英偉達“開足馬力”為此提供算力支援時，國内GPU晶片企業能否“分一杯羹”呢？

斷供危機：國産晶片需翻越英偉達“高山”

持續關注半導體産業發展的陳川對貝殼财經記者表示，從某種意義上講，計算成本已經成為阻礙大語言模型發展的核心問題，而且一個殘酷的現實是，在國内大模型訓練潮湧之時，大語言模型訓練的“利器”——英偉達GPU晶片卻面臨斷供的危機。

根據中國信通院的資料，2021年第四财年英偉達占據了全球95.7%的GPU算力晶片市場佔有率。但早在2022年8月，英偉達就受美方限制對中國區客戶斷供高端GPU晶片，其中用于大語言模型訓練的A100和H100赫然在列。

“國内很多科技企業離不開A100晶片，有企業去年下半年起就持續在市場中‘搶晶片’，甚至為獲得晶片購買能拆出A100的整機産品。雖然英偉達特意為中國區客戶提供了可以代替A100的A800晶片，但其資料傳輸速度被限制了，功耗也增加了。”陳川說。

誰有可能接棒英偉達在中國的市場佔有率？

新京報貝殼财經記者不完全統計，國内自主研發AI晶片的國内企業包括海光資訊、寒武紀、龍芯中科、壁仞科技等，一些大廠也擁有自研的AI晶片，如百度昆侖晶片、阿裡含光800分别支援了各自的大語言模型的訓練。

英偉達建立護城河并非一朝一夕。除晶片本身，英偉達從2006年起就開始着手開發CUDA（統一計算裝置架構），通過 CUDA 程式設計，可以充分利用 GPU 的并行處理能力，進而大幅提升計算性能。AI 發展的數十年間，英偉達通過對 CUDA 開發和社群的持續投入，CUDA 和各類AI架構深度綁定。這也導緻目前排名靠前的AI架構，使用英偉達顯示卡訓練是最好的選擇。

“在AI晶片端，大陸和國外的差距主要有兩個方面，第一個方面是來自晶片設計次元和應用次元，中國的設計公司雖然在設計能力上逐漸縮小與海外巨頭的差距，但AI晶片的軟體生态建設、基礎架構等方面還是掌握在巨頭手中，如英偉達CUDA，目前我們還不能完全在硬體程式設計模型上找到CUDA的替代方案。第二個方面是在地緣性政治的背景下，國内無法在AI晶片的全産業鍊中實作獨立自主，卡脖子的方面還很多，如EDA工具，代工制造和先進封裝領域。”錢禹說。

面對如此穩固的“護城河”，國内企業需想盡一切辦法越過英偉達“高山”。

其中，相容CUDA生态是可選路徑之一。海光資訊就在科創闆上市招股書中表示，海光DCU系列産品以GPGPU架構為基礎，相容通用的“類 CUDA”環境以及國際主流商業計算軟體和人工智能軟體，軟硬體生态豐富，可廣泛應用于大資料處理、人工智能、商業計算等應用領域。

此外，國産扶持也是路徑之一。北京某G端人工智能項目負責人告訴貝殼财經記者，國内一家AI晶片制造商是其長期客戶，“如果不這樣，國産晶片不可能做得起來，因為外國企業有自己的軟體架構，當整個産業都适配這個架構，形成了一個完整生态的時候，從零起步打造自己的架構就會‘費力不讨好’，是以我們隻能指定國内的晶片公司負責我們的項目，通過這種方式扶持國産晶片。”

中信證券近期釋出研報稱，國内GPGPU發展水準落後海外5到10年，“自研IP越多，晶片設計上越有把握，産品的差異化更明顯。但相對而言，資金、人員、時間上的成本投入也更高。 GPU IP自研需要36-48個月以及200個工程師，而采用外購IP的方式，可以減少12-18個月開發周期。”

陳川告訴貝殼财經記者，中國的晶片從業者并不缺乏奮勇争先的夢想，但在AI晶片領域以超越英偉達為目标進行市場宣發、制定戰略天然就有風險。如壁仞科技曾聚集了一衆有英偉達、AMD、華為海思任職背景的晶片研發“大牛”，并在去年8月釋出了首款基于台積電7nm工藝制造的通用GPU晶片BR100，号稱在性能上能夠媲美英偉達的H100，但截至目前還缺乏市場商業化認可，公司内部也陷入了裁員、人事變動等風波，今年3月27日圖形GPU産品線總經理焦國方離職。

AI晶片國産化替代迎來曆史機遇？

不過，從衆多已開始内測的國内大語言模型産品來看，國産AI晶片已經有了“小試牛刀”的機會。根據公開資料，“文心一言”和“通義千問”都已經開始嘗試使用國産AI晶片。

3月17日，李彥宏在亞布力中國企業家論壇上分享，昆侖晶片現在很适合做大模型的推理，将來會适合做訓練。

東海證券釋出研報稱，文心一言在預訓練階段就已導入多家國産AI晶片，效果不俗。高算力AI晶片是人工智能時代的關鍵基礎設施，相關出口管制盡管對大陸AI産業發展造成了一定阻礙，但也同時給予了自主AI晶片國産化替代的曆史機遇，是以，我們建議關注A股AI算力晶片和GPU領域的相關标的。

阿裡雲推出的“通義千問”則使用了自主研發的含光800晶片。需要注意的是，“通義千問”在回答貝殼财經記者提出的問題時生成答案稱，含光800是一款專門為分布式計算和人工智能任務設計的晶片，“我的訓練是基于阿裡巴巴達摩院在大規模分布式計算和人工智能方面的技術積累和實踐經驗來進行的。”

錢禹對貝殼财經記者表示，以類GPT應用的模型發展次元來看，一個模型從初級到中級，最終變得成熟，其算法架構所需的參數量是幾何級數的成長。為應對其所帶來的挑戰，針對GPT類應用首先也會迎合資料中心的異構化的部署。面對如此海量的資料和衆多的參數，資料中心的設計一定是按照分布式架構來設計，并且會合理部署CPU、GPU、ASIC、FPGA等計算資源，對模型進行逐級訓練。

錢禹認為，除了晶片設計公司和深度學習架構公司，能因ChatGPT熱潮而受益的還有圍繞在資料中心基礎設施建設的公司，包括資料中心托管和租賃公司；圍繞着資料中心建設，基于分布式資料中心或異構資料中心的光子產品、光通信公司、存儲器解決方案公司；業務支援體系公司，如支援綠色資料中心建設的液冷、可再生能源等方面的公司。

民生證券3月19日釋出研報稱，雖然全球AI晶片市場被英偉達壟斷，然而國産AI算力晶片正起星星之火，投融資熱度高企。根據電子發燒友統計，2022年多家AI晶片公司獲得大額融資，其中摩爾線程達15億元、天數智芯超10億元、沐曦達10億元。

政策層面，2月27日國務院印發《數字中國建設整體布局規劃》，《規劃》提出要夯實數字基礎設施，民生證券認為，數字中國基礎設施的建設有望拉動以資料中心、超算中心、智能計算中心為代表的算力基礎設施建設，進而帶動伺服器與AI算力晶片的需求快速增長。同時，為構築自立自強的數字技術創新體系，上遊AI晶片作為算力基礎，自主可控需求凸顯，數字中國建設對AI晶片國産化提出新要求。

根據IDC提供的資料，2021年中國AI投資規模超100億美元，2026年将有望達到267億美元，全球占比約8.9%，排名第二，其中AI底層硬體市場占比将超過AI總投資規模的半數。中泰證券對此釋出研報表示，AI發展的海量資料對資料處理提出極高要求，AI晶片需求快速增長，看好國産AI晶片供應商在産業創新趨勢向上以及國産替代背景下進入快速增長通道。

記者聯系郵箱：[email protected]

新京報貝殼财經記者 羅亦丹

編輯 徐超

校對 盧茜