天天看點

“百模大戰”背後,是兩百倍的算力缺口,和行業落地的最後一公裡

作者:科技行者
作者|周雅

如果不是在今年這屆WAIC2023(世界人工智能大會)的現場,你很難一次性看到這麼多大模型紮堆。據悉此次參展的大模型多達30餘個,僅被拿來對标“ChatGPT”的國産大語言模型,就包括:

清華大學計算機系知識工程實驗室的千億參數中英文對話模型ChatGLM-130B、複旦大學自然語言處理實驗室的MOSS、百度“文心一言”、阿裡巴巴“通義千問”、科大訊飛星火認知大模型、商湯商量中文語言大模型、雲知聲山海大模型等之多。當然,這些也還隻是冰山一角,不完全統計來看,國内大模型用百模大戰來形容毫不誇張。

“百模大戰”背後,是兩百倍的算力缺口,和行業落地的最後一公裡

國産大模型的頃刻爆發,也導緻算力的需求前所未有,增長曲線陡峭。有資料專門統計過,深度學習出現之前,用于AI訓練的算力增長大約每20個月翻一番;之後,用于AI訓練的算力大約每6個月翻一番;2012年後,全球頭部AI模型訓練算力需求更是加速到每3個月至4個月翻一番,即平均每年算力增長幅度達到驚人的10倍;目前大模型發展如火如荼,訓練算力需求有望擴張到原來的10到100倍。

“過去兩年内,大模型帶來了750倍的算力需求增長,而硬體的算力供給增長僅有3倍。”華為昇騰計算業務總裁張迪煊在采訪中,道出大模型增長與算力供給之間的不平衡現狀。換言之,其中存在超過兩百倍的算力缺口。

甚至,中國工程院院士、鵬城實驗室主任高文在WAIC2023期間指出,“算力也是數字經濟發展的一個指數,算力夠,數字經濟就能發展好;反之,就發展不好。”他還援引清華大學的一份2022年咨詢報告佐證觀點,“算力指數和GDP成正比,算力越強,GDP就越強。”

這意味着,如果按照先前機構預測的“AIGC到2030年将創造一個萬億級的市場規模”,那麼對于國産大模型來說,眼下最關鍵是找到高可靠性、高成本效益的算力。

一個龐大的萬卡“算力工廠”

衆所周知,訓練AI算法需要用到大量GPU算力資源,那麼大模型時代下,如何才能把可用的算力資源,變成好用的算力資源?

業内一個行之有效的方案是,既然單個伺服器難以滿足計算需求,那麼為何不集中火力辦大事,可以将多個伺服器連接配接成一台“超級計算機”,而這台超級計算機,就是算力叢集。

以華為舉例。2018年,華為對外釋出AI戰略,開始打造昇騰AI技術軟體平台。時至今日,華為把昇騰AI打造成了一個算力叢集,它集結了華為雲、計算、存儲、網絡、能源的綜合優勢。華為的理念是“DC as a Computer”,相當于把AI算力中心當成一台超級計算機來設計。

2019年,華為釋出Atlas 900 AI訓練叢集,由數千顆華為自研的昇騰910 AI晶片構成,從今年6月可支援4000張卡,到目前已經可支援8000張卡。而華為在WAIC期間宣布計劃,到今年底或明年初做到16000張卡,成為業界首個萬卡的AI叢集。

“百模大戰”背後,是兩百倍的算力缺口,和行業落地的最後一公裡

華為昇騰計算業務總裁張迪煊

為何打造算力叢集?

張迪煊在采訪中解釋說,過去的小模型,每個場景是定制化的,導緻開發成本高、變現能力差;大模型出現後,模型的泛化性越來越好、能力越來越強、可以很好去賦能各行業。“我們在那時候判斷,AI若要發展,必然要走向大模型+大算力+大資料的計算方式。”是以,昇騰AI疊代到萬卡叢集,目的是讓大模型訓練越來越快。

萬卡叢集相當于什麼概念?以1750億參數量的GPT-3模型訓練為例,使用單張英偉達V100顯示卡,訓練時長預計要288年;8張V100顯示卡的訓練時長預計要36年;512張V100的訓練時長接近7個月;而1024張A100的訓練時長,可以減少到1個月。

按照華為的評估,訓練一個1750億參數、100B資料的GPT-3模型,在8000張卡的Atlas 900 AI叢集下需要耗時1天,在16000張卡的叢集下可以縮短到半天完成訓練。“就像寫代碼一樣,敲一個鍵盤,這些檔案就出來了。”張迪煊形容道。

“中國有一半左右的大模型創新,目前都是由昇騰AI來支援的。”華為輪值董事長胡厚崑在WAIC2023期間強調,“昇騰AI叢集目前可以提升10%以上的大模型訓練效率,提高10倍以上的系統穩定性,支援30天不中斷的長期穩定訓練。”

胡厚崑還公布了昇騰AI過去一年來的成績單:開發者數量從90萬到180多萬,實作了翻倍;原生孵化和适配30多個10億以上的大模型,占國産大模型的一半;目前已發展30多家硬體夥伴、1200多家ISV(獨立軟體開發商)、聯合推出2500多個行業AI解決方案;此外,昇騰AI叢集已支撐全國25個城市的人工智能計算中心建設,其中7個城市公共算力平台入選首批國家“新一代人工智能公共算力開放創新平台”,算力規模占比90%;同時,已有23家企業推出昇騰AI系列新品,覆寫雲、邊、端智能硬體,一同提升大模型開發、訓練、微調、部署的效率。

這裡我們梳理一下,面向AI這片前景廣闊的機遇之海,華為主要走了三條路徑:

其一,算力領域,從單點算力到叢集算力,打造強有力的算力底座。這部分主要基于昇騰AI。

其二,産業領域,堅持開源開放,來做強昇騰人工智能産業生态。這部分主打的就是政、産、學、研、用的合作。

其三,生态領域,推動昇騰AI服務從通用大模型到行業大模型,推動AI“走深向實”。這部分目标是千行百業。

“百模大戰”背後,是兩百倍的算力缺口,和行業落地的最後一公裡

大模型落到實處

與華為的三條AI發展路徑相對應的,是公衆圍繞“大模型”的關注度變化,從早期的“是什麼”“為什麼”轉而開始關心“怎麼用”,換句話說,此刻更多人開始關心“大模型真正能發揮作用的場景在哪裡”。

這時候,一個相對細分的行業大模型就被注意到了。

“東方·翼風”,是由中國商飛上海飛機設計研究院開發的三維超臨界機翼流體仿真大模型,能高精度模拟大飛機全場景飛行狀況,而且用時僅為原來的千分之一,相當于将大飛機三維翼型設計速度提升1000倍,縮短了商用大飛機的研發周期。

要知道,一架飛機在飛行過程中50%的阻力來自于翅膀,是以如何造出一個滿足飛機飛行要求的機翼,是非常重要的。根據中國商用飛機有限責任公司科技委常委、遠端寬體客機總設計師陳迎春的介紹,目前大型客機的設計主要采用三種手段:數值仿真模拟、風洞實驗和飛行實驗,這三種互為補充。

但其中「數值仿真模拟」耗時長、成本高,是飛機設計的一大瓶頸;而「飛行實驗」和「風洞實驗」也很費錢,是以傳統的數值模拟方法算不動、算不快。要解決這個問題,唯有用到AI技術。

“東方·翼風”大模型因為有AI的加持,實作了效率、精度、模型、場景四個層面的突破:第一,在效率方面,用AI模型代替傳統Navier-Stokes方程求解,大幅提升了全局仿真效率。第二,在精度方面,對流動劇烈變化區域特征進行精細捕捉,比如在飛機巡航階段的機波現象,提升了模型的預測精度。第三,在模型方面,建立大資料樣本下模型元件化與分布式并行能力,大幅提升了新模型研發效率。第四,在場景方面,建立了流體到AI的資料統一映射,适用汽車、高鐵等多種仿真場景。

如果進一步剖析商飛的“東方·翼風”大模型,它有兩個必備條件:其一,大模型的技術底座,這部分來自華為的昇騰AI;其二,流體領域的設計思路、專家經驗、行業資料,這部分是商飛的範疇。

從這裡可見大模型的發展邏輯:當技術的觸角深入應用到各個行業場景裡,帶來整個商業系統的健康運轉,進而帶動産業高品質發展。在這個過程中,技術廠商和行業廠商各司其職、互補共生。

“整個産業是有分工的,昇騰主要是做好算力,不會去碰大模型。”張迪煊在采訪中也強調。

如何打通 “最後一公裡”?

談及爆發式增長的大模型,張迪煊坦言,如今雖是“百模大戰”,但未來重點卻應該是各有分工。

其中,L0通用大模型隻有一部分大廠能“燒”得起,更多企業做的是L1行業大模型,還有一部分在做場景大模型。比如金融行業,由于L0缺乏行業屬性,是以一些企業會拿L1的模型去做金融大模型,然後結合一些細分場景需要(比如精準營銷的、風險風控的、智能客服的)再去做一個場景大模型。這是一個産業趨勢。

在張迪煊看來,大模型的商業競争即将開啟,大家一方面會快速造模型,另一方面會快速搶占格局,但之後形勢會有所收斂。

當有了大算力、大模型,如何打通行業落地最後一公裡?

目前,整個行業的痛點是大模型研發周期長、部署門檻高、業務安全性等。為了解決這個難題,華為與面壁智能、智譜AI、科大訊飛、雲從科技四家夥伴共同釋出大模型訓推一體化解決方案,通過共同設計、聯合開發、協同上市、持續疊代,為行業客戶提供“開箱即用”的大模型一體化解決方案。

“客戶隻需選擇合适的大模型,輸入行業資料,即可以完成大模型的訓練、微調、推理的全流程。”張迪煊指出,“華為做到了在精度小于千分之五的範圍内,實作20倍以上的模型壓縮,幫助大模型壓縮後用到場景中,降低部署難度和開發成本。”

“昇騰AI支援了中國近一半的原創大模型,也是目前國内唯一完成千億參數大模型訓練并商用的系統。”,張迪煊最後看似輕松的給出這樣一組數字。