天天看點

華為盤古大模型全布局揭秘,AI for Industries的落地路徑

作者:钛媒體APP

你還在用ChatGPT聊天麼?

從全民熱衷嘗鮮,到僅有少部分人仍在使用,上半年的ChatGPT喧嚣進入尾聲,而由另一次元觀測,新技術的生命力在市場,隻有客戶拿真金白銀買單的大模型,才是技術-商業的正向循環,下半年,行業大模型争相落地開啟新的競争。

華為盤古大模型全布局揭秘,AI for Industries的落地路徑

在7月7日舉辦的華為開發者大會2023(Cloud)上,華為雲正式釋出盤古大模型3.0。盤古大模型3.0是一個完全面向行業提供服務,以行業需求為基礎設計的大模型體系,包括5+N+X三層架構。

不疾不徐,華為盤古大模型揭開了新的一重面紗,也是ChatGPT熱潮之後,華為首次系統性地談論大模型。

钛媒體App了解到,華為并不熱衷于“百模大戰”,盡管早在2021年4月,華為雲就釋出了盤古大模型,包括NLP大模型和CV大模型,此後華為相繼釋出科學計算大模型、藥物分子大模型、盤古礦山大模型和氣象大模型。

“熟悉華為的人想想就知道,‘盤古chat’不符合華為的主航道,華為的政策是拿下B端市場,基礎模型早就釋出過,國内國外C端的大模型聲量雖然大,但是華為沒有想去摻一腳,還是堅定地做自己擅長的事,到了整個市場都重視大模型落地、談論行業大模型的時候,華為就必須要站出來了”,一位接近華為人士表示。

華為是國内最早釋出大模型的廠商之一,資本市場概念的炒作一輪又一輪,當産業潮水湧向行業大模型,華為還是按捺不住,将自己的大模型戰略和盤托出。

華為輪值董事長胡厚崑在WAIC上表示,華為人工智能的發展關鍵是“走深向實”,着力點放在讓人工智能為千行百業的生産活動服務,為科研創新服務。

目前階段,華為在人工智能發展上有兩個着力點:第一,打造強有力的算力底座,支撐中國人工智能産業的發展。第二,從通用大模型到行業大模型,讓人工智能服務好千行百業、服務好科研創新。

大模型“卷”落地

前車之鑒,後事之師。數十年間,人工智能技術發展的曲線潮起潮落,“落地難”始終是橫亘在産業現實的一道關卡。

在ChatGPT熱潮之前,人工智能面臨場景碎片化的問題,同時人工智能并沒有進入到企業的核心場景,技術和業務不是緊耦合的關系,也就很難形成規模效應。

根據第三方網站SimilarWeb的監測資料,6月份,ChatGPT的網站與移動用戶端的全球流量(PV)環比下降了9.7%,美國地區的流量環比下降了10.3%。同時,ChatGPT的獨立訪客數量(UV)下降了5.7%,訪客在網站上花費的時間也下降了8.5%。這是自2022年11月30日釋出以來,ChatGPT首次出現流量負增長。

拐點的到來,在一些人的意料之外,卻在另一些人的情理之中。

華為盤古大模型全布局揭秘,AI for Industries的落地路徑

華為常務董事、華為雲CEO張平安表示,“目前大模型大多數應用都集中在2C領域,在面向行業應用時,由于行業資料擷取難,技術與行業know-how結合難,大模型在行業的落地進展較慢。”

當普羅大衆還在沉浸ChatGPT聊天的驚豔表現時,人工智能廠商已經在設想大模型的商業化,國際上,微軟、亞馬遜等大廠向企業級服務尋求商業化路徑,進行多個行業的探索;國内,諸如華為、百度、阿裡、騰訊等大小廠商,都在快馬加鞭加速行業大模型投入。

華為很早就看到了這一方向,據悉,2020年,華為判斷人工智能有兩個發展方向,一個是小模型到大模型的趨勢;第二個,人工智能和行業的結合,就是AI for Industries,華為認為AI在千行百業有着極大的想象空間。

前者,随着模型參數的不斷擴大,小模型到大模型的趨勢已然兌現,張平安介紹,盤古3.0能夠為客戶提供100億參數、380億參數、710億參數和1000億參數的系列化基礎大模型,比對客戶不同場景、不同時延、不同響應速度的行業多樣化需求。

後者,在GPT火熱之前,盤古大模型已經深耕行業,打造礦山、氣象、藥物分子、鐵路等領域行業大模型和能力集,将行業知識know-how與大模型能力相結合,重塑千行百業,為每個企業、每個人提供專家助手,讓工作更輕松。

如果說,彼時華為的戰略預判還略顯突兀,沒有太多的參考,那麼,如今大模型已經足以證明,華為的技術和業務路線的雙重正确。

今年以來,華為遲遲不去“蹭”大模型的風口,而是在水面之下做一些基礎的工作。盤古大模型釋出以來,華為一直思考的都是客戶營運、産品研發、軟體工程、生産供應、市場營銷等行業客戶所關注的問題,堅持自己的技術主張和研發節奏,不急于求成,始終追求技術突破和技術領先,確定産品品質和傳遞品質。

華為盤古大模型全布局揭秘,AI for Industries的落地路徑

“華為早在2020年就堅定地選擇了大模型路線,當時市場上的熱度并沒有今天高,也存在很多質疑的聲音,我們仍然堅持了下來,未來不管炒作與否,熱度高低,我們都會盡量不受外界幹擾,堅持做正确的事。”華為雲人工智能領域首席科學家田奇對钛媒體App表示。

談及行業過熱的狀态,田奇表示,“針對大模型這樣最頂尖的技術,市場的熱度一方面反映了資本對大模型盈利能力的期待,另一方面也反映了公衆對大模型應用能力的期待。”

市場是最大的驅動力,大模型最大的改變,是創造了一個規模化效應的出口,上層應用都可以基于大模型去發展,把碎片化的場景,歸攏統一,形成一套大模型解決方案,盤古大模型3.0的更新也遵循相似的邏輯。

華為盤古大模型全布局揭秘,AI for Industries的落地路徑

盤古3.0大模型體系的5+N+X三層架構中,5大L0層的基礎大模型,包括自然語言大模型、視覺大模型、多模态大模型、預測大模型、科學計算大模型,能夠提供各種通用技能,支撐企業的各類應用。

N個L1層的行業大模型,例如政務大模型,金融大模型,礦山大模型等,能夠基于基礎大模型的多種能力組合,通過行業資料以及企業自有資料的二次訓練,幫助企業打造自己的大模型。

X代表海量L2層的場景模型,與基礎大模型和行業大模型相比,場景模型更加專注于某個具體的應用場景或特定業務,為客戶提供開箱即用的模型服務,例如,在醫療領域,針對小分子篩選,小分子優化等。

從“無人相信”到登上《Nature》

華為開發者大會2023(Cloud)釋出會前夕,華為雲盤古大模型團隊研發的高分辨率全球AI氣象預報系統研究成果,正式在《Nature》正刊上發表,基于三維神經網絡的氣象預報系統精度,超過傳統數值預報方法,且速度提高了1萬倍以上。

少有人知道的是,就在去年12月份,國際氣象領域的專家教授們還普遍認為,AI要達到傳統數值方法的精度,是一件非常遙遠的事。

“There are a lot of comments I could make indicating that this is perhaps not yet quite the triumph of AI over physical modelling. despite the claims in the paper. Never the less it is a big step forward compared to other efforts. The paper has also been causing a degree of existential angst at ECMWF.(我可以發表很多評論,表明這可能還不是AI相對于實體模組化的巨大勝利,盡管論文中提出了主張,與其他努力相比,這絕不是向前邁出的一大步。但是,該論文還是在ECMWF引起了一定程度的焦慮。)

歐洲中期天氣預報中心(ECMWF)是全球權威的國際性天氣預報研究和業務機構,該中心于1979年6月首次做出了實時的中期天氣預報,現在,華為盤古氣象大模型,為世界展現了另一種可能。

盤古氣象大模型研發團隊核心成員對钛媒體App表示,之前大家不相信AI方法能夠實作更高的精度和更好的效率,ECMWF也在探索用AI預測天氣,但是規劃的時間表以十年計算,他們認為,AI方法存在很多現階段難以突破的問題。

華為盤古大模型全布局揭秘,AI for Industries的落地路徑

例如分辨率不夠,省級和區級的天氣預報,資料量相差很大,如果要做到更高的分辨率,資料量要達到上千TB,這比其他AI應用資料量要大得多,大資料意味着消耗大算力,這部分問題能夠通過堆硬體、工程化解決。

再如現有的 AI 預報方法精度大部分顯著低于數值預報方法,這也是很多人都不相信AI能夠超過數值預測方法的主要原因,現有的 AI 氣象預報模型都是基于 2D 神經網絡,無法很好地處理不均勻的 3D 氣象資料,同時AI 方法缺少數學實體機理限制,是以在疊代過程中會不斷積累疊代誤差。

華為雲提出了3D Earth-Specific Transformer方法,在每一個視覺transformer子產品中新引入和緯度、高度相關的絕對位置編碼,進而更好地處理複雜的3D氣象資料,并且拆分各個不同的時間段模型分散訓練,減少單個模型疊代的次數,進而減少疊代誤差。

“我們不僅做出來一個精度超過歐洲氣象中心資料預報的模型,而且我們迅速讓這個模型落地,其中克服了很多問題,讓氣象專家實測驗證模型結果,他們沒有理由否認AI方法的先進性。”如上人士表示。

氣象大模型的打造成為一個實證,華為雲不僅能有意願打造行業大模型,并且有将其付諸實踐的工具和能力。對應華為盤古大模型,L0是科學計算基礎大模型,L1是氣象行業大模型,L2就是氣象預測等應用。

大模型回答了“一個模型能否解決通用問題”以及“模型本身是否有價值”的關鍵問題,但是要想真正建構完整的業務鍊條,還需要從商業化層面跟進,為了加速和簡化行業大模型從開發到落地,華為雲提供了盤古大模型工程化平台,覆寫了資料處理、模型訓練和應用開發三大環節。

在資料平台方面,相比傳統标注平台(能提供的例如自動資料清洗等功能),華為雲資料工程平台專門為SFT訓練提供了基于模闆的Prompt線上輔助撰寫功能,為RLHF訓練提供了多人Rank線上标注和任務分撥功能;對比離線進行這兩種任務,實測效率可提升3倍。

有了高品質的資料如何産生高品質的模型,還需要確定模型開發的過程準确無誤,在模型訓練方面,大模型開發套件提供了自監督預訓練,有監督SFT訓練,強化學習訓練3種工作流,覆寫了從資料集建立,超參配置到模型訓練、評估、部署的全流程,凝結了大模型專家的實踐經驗,把複雜的大模型開發,流程化,标準化,簡單化,幫助行業使用者一鍵啟動,一站式開發。

之後,開發好的盤古大模型要想在行業發揮作用,離不開下遊應用,在模型開發方面,華為雲提供盤古應用開發套件,将傳統軟體工程與大模型相結合,提供多種API和工具可調用,支撐企業分鐘級建構大模型原生應用。

例如,基于盤古語言大模型和視覺大模型的基礎能力,以及盤古大模型工程化平台,在學習了超過20萬條政務資料,包括政策檔案、政務百科等公開政務知識,以及12345熱線場景等專有政務知識後,深圳市福田區政府打造了具備豐富法律法規、辦事流程等行業知識的福田政務大模型。

據了解,參照GPT-3完成一個千億行業模型端到端開發,基于盤古大模型工程化平台,開發大模型從過去需要5個月縮短到現在1個月,整體速度提升5倍。

華為盤古大模型全布局揭秘,AI for Industries的落地路徑

AI世界的另一極

人工智能已經成為國家戰略競争焦點,AGI(通用人工智能)可能改變甚至颠覆世界運轉的原有邏輯,國家層面強調:“人工智能是引領這一輪科技革命和産業變革的戰略性技術,具有溢出帶動性很強的‘頭雁’效應。”

人工智能與實體經濟的結合,行業大模型扮演着重要作用,行業重塑、技術紮根、開放同飛,是華為雲的差異化優勢。

華為盤古大模型全布局揭秘,AI for Industries的落地路徑

行業大模型以行業資料和know-how為重中之重,華為雲AI的優勢在于,在各行業已有數百個項目,基于對行業的深入了解,沉澱行業核心know-how,華為雲盤古大模型能夠更好地落地在行業客戶的主業務場景。

盤古大模型已經學習10多個行業公開資料,涵蓋金融、政務、氣象、醫療、健康、網際網路、教育、汽車、零售等。華為雲和夥伴還聯合打造了工業、供熱、政務、煤礦、教育、電力、公路7大行業aPaaS,為盤古大模型了建構最深厚的行業積累。

牆高基下,雖得必失,人工智能産業需要從最底層夯實基礎,張平安提到,其他人都可以依賴行業最成熟的AI算力和AI生态,但是華為隻能依靠自己的AI根技術。

中國工程院院士鄭緯民此前表示,大模型是新型關鍵基礎設施的底座之一,大模型的競争也是國家科技戰略的競争,中國一定要布局全棧自主創新的大模型産品,同時要建構國産化算力,也要解決算力能耗與國家“雙碳”戰略的平衡。

為此,華為建構了最深的AI堆棧根技術,在最底層建構了以鲲鵬和昇騰為基礎的AI算力雲平台,建構了昇騰的計算引擎CANN、AI架構MindSpore,以及AI開發平台ModelArts,為大模型開發和運作提供分布式并行加速,算子和編譯優化,叢集級通信優化等關鍵能力。

“現在基于華為的AI堆棧,我們的大模型訓練效能不僅不落後,在大模型場景下我們的訓練效能是業界主流GPU的1.1倍”,他說。

華為盤古大模型全布局揭秘,AI for Industries的落地路徑

與此同時,華為雲提供了易用可靠的大模型工具套件、彙聚海量多行業場景API的開天aPaaS,以及包含豐富優質課程和技術認證的大模型專屬社群,幫助開發者一站式完成入門到專家。

華為也積累了高密度的大模型人才:盤古團隊中大概50%以上是博士,還有很多名“天才少年”,上述氣象大模型的核心成員便是之一,大模型在訓練過程中,會遭遇各種各樣的困難和挑戰,一個技術過硬、敢于創新的團隊,才是大模型能夠練成的核心保障,也是華為對外輸出大模型能力的依托。

在安全方面,華為雲提供公有雲、混合雲、大模型專區三種模式,保障安全部署;建立長效機制,確定大模型安全合規:包括資料集來源和使用合規、資料全生命周期安全、建構完整的資料标注以及稽核機制、構模組化型合規使用政策、確定模型使用邊界。

AI大模型時代,面臨自下而上自主創新的宏大命題,華為正在打造世界AI另一極。

繼續閱讀