天天看點

大模型時代,超算應用如何更好落地?

作者:钛媒體APP
大模型時代,超算應用如何更好落地?

超算,對普通人而言,是既陌生又熟悉的存在。人們經常能夠通過新聞了解到超算領域的相關資訊,比如哪個國家的又獲得第一了,哪個國家新的超算項目又落地了......但是,好像超算又離我們很遠,因為與傳統資料中心不同,原先幾乎所有的超算項目都是用于國家高精尖技術科研領域。

不過,随着近兩年超算與人工智能、大資料等新興技術持續融合,超算的應用邊界不斷擴充,場景不斷豐富,成為催生科技創新和産業變革的重要驅動。如科學智能 AI for Science,高性能資料分析 HPDA 等,并在風險人員識别、自動駕駛、新藥研發、災難氣象預測等領域加速落地。

超算與智算、傳統資料中心的差别在哪?

資料顯示,大陸算力規模近五年年均增速近30%,算力運用已成為科學研究和企業創新的必備技能。而這些算力主要集中在超算中心、智算中心,以及傳統資料中心之中。不過這“哥仨兒”應用場景、技術架構卻大相徑庭。

超算與智算、傳統資料中心之間最大的差别是應用場景不同。超算主要應用于大規模科學計算、工程仿真、氣象預報、生物資訊等領域,這些應用需要處理海量資料和高複雜度計算,對計算性能要求極高。

而智算則主要應用于人工智能、機器學習、圖像處理、語音識别等領域,這些應用需要快速疊代和優化模型,對計算效率要求較高。對此,青雲科技HPC及AI算力産品經理苗慧表示,在概念上,超算和智算就有了相應的差別。超算,即高性能計算,通常由大量的計算節點和高速互連網絡組成,可同時進行大量并行計算任務。智算,即人工智能計算,具備自主學習、自主推理和自主決策的能力,能夠模拟和解決複雜問題,具有一定的智能水準。“兩者在計算能力、處理方式和應用領域上都有所不同。”苗慧強調。

而相較于超算、智算而言,傳統資料中心的應用則更加廣泛,包括雲計算、大資料分析、企業級應用等。資料中心需要滿足各種不同的應用需求,同時還需要提供靈活的IT服務和可靠的資料存儲服務。

從超算行業來看,超算已為汽車制造、氣象海洋、基因測序、新藥研發、晶片制造、石油勘探等衆多行業提供了靈活彈性、快捷高效、安全可靠的算力支援。

另一方面,從技術架構上看,超算與智算、傳統資料中心也存在較大差别。超算的技術特點主要展現在高性能、高吞吐量和低延遲等方面。為了滿足大規模科學計算和工程仿真的需求,超算需要具備強大的計算能力和存儲能力,同時還需要具備高效的網絡通信能力。

而智算的技術特點主要展現在自适應、智能化和分布式計算等方面。智算系統可以根據應用需求自動調整計算資源,優化計算過程,提高計算效率。

傳統資料中心方面。則通常采用分布式的架構,将計算和存儲資源分散在各個伺服器上。這種架構可以提供靈活的IT服務和可靠的資料存儲服務,但計算能力和存儲能力有限。

除此之外,機櫃體積也是超算與智算、資料中心的一大差别。以“神威·太湖之光”為例,其占地面積605平方米,差不多有10個羽毛球場那麼大,需要有一棟專門的建築來放置。而“天河二号”體積就更大了,占地720平方米。這點與智算中心和一般資料中心的機櫃體積差距比較明顯。

中國超算處于“快速發展”與“追趕一流”的重要階段

2022年,随着大模型的誕生,帶動了智算中心的發展,讓更多人認識到了智算中心。與之相比,超算中心其實也在“悄悄發展”。

近年來,大陸超算進入快速發展的階段,以國家級超算中心為主的國内超算平台正在加強尋求可持續性發展。

從政策發展來看,大陸超算行業政策經曆了由推動超算中心建設到強化算力統籌智能排程再到梯次布局算力基礎設施的轉變。

時間回到2016年,那一年,大陸釋出的《國家創新驅動發展戰略綱要》中就提出,建設超算中心等數字化基礎設施。不僅于此,國家《“十四五”規劃》中還進一步強調:加快建構全國一體化大資料中心體系,強化算力統籌智能排程,建設E級和10E級超級計算中心......

2023年2月,中共中央、國務院引發的《數字中國建設整體布局規劃》中提出,系統優化算力基礎設施布局,促進東西部算力高效互補和協同關聯,引導通用資料中心、超算中心、智能計算中心、邊緣資料中心等合理梯次布局。

從超算布局來看,截至2023年底,大陸已經形成14個超算中心,分别位于天津、廣州、長沙、深圳、濟南、無錫、鄭州、昆山、成都、西安、烏鎮等地。在越來越多利好政策的引導,中國超算步入發展的快車道。

不過放眼全球,中國超算水準與國際一流水準仍存在差距,根據2023年世界超算領域的頂級會議—— 2023年國際超算大會(SC23)上釋出的最新一屆TOP500榜單顯示,部署在美國橡樹嶺國家實驗室的Frontier超級計算機獲得四連冠,且仍舊是榜單上唯一E級超算系統。美國另一台超算系統Aurora首次上榜,位列第二。排第三的是安裝于美國微軟雲的Eagle系統,這也是TOP500榜單上雲系統取得的最高排名。日本超算系統富嶽從上年的第二位移至第四位,歐洲最大的超算系統LUMI位列第五。

據了解,中國已較長時間沒有向TOP500送出新系統的測試結果,沒再參與排名。此次榜單中,神威·太湖之光和天河二号分别排在了第11和14位。

綜上,中國超算正處于快速發展與追趕國際一流水準的重要階段。而在這個重要的階段中,離不開“産學研用”等多方力量共同推進。

從産業側和使用者側出發,衆多科技廠商紛紛入局超算相關領域,一方面,用科技的力量推動超算發展,另一方面,随着不斷應用場景的湧現,為超算也提供了更多“大展拳腳”的舞台。

而在這個階段,推動超算中心從“各自為戰”,到“互聯互通”,實作“算力互聯”是關鍵一步,而這一步也是衆多廠商和地方主管部門接下來工作的焦點。

地方層面,2023年5月,國家超算網際網路聯合體成立,首批15家區域、高校超算中心意向入網。國家超級計算無錫中心主任楊廣文曾表示,為了解決大陸超算中心運作面臨的挑戰,提升大陸超算的應用水準,推動超算中心從提供裸機時向提供多領域應用服務轉變,建構超算網際網路勢在必行。

據了解,早在2020年,國家超級計算無錫中心便承擔了國家高性能計算專項項目“國家高性能計算環境領域應用平台及服務體系研究與建構”。國家超級計算無錫中心聯合國家超級計算廣州中心、中科院計算機網絡資訊中心等多家國家級超級計算中心,以及清華大學、之江實驗室等多家核心應用機關,開展了超算網際網路技術體系和應用模式研究。

技術服務商層面,以華為、青雲科技、浪潮等為代表的科技服務供應商也積極布局超算互聯領域。以青雲科技為例,青雲此前依托技術與落地實踐的積累,已經正式釋出了AI智算平台和AI算力雲服務。苗慧對钛媒體表示,對不同規模的多元異構算力中心來說,AI智算平台可以提供提供統一管理、智簡運維、高效的使用者自服務等,實作算力資源按應用、按需求随時比對,自動切換,實作多種計算場景服務的标準化營運,以開放的應用架構和模型服務等豐富生态,全面提升算力中心的營運效率與平台能力,同時支援利舊。

除了各大廠商的積極布局以外。國家層面也在努力推動超算産業發展。近日,國家超算網際網路開展“體驗官”招募計劃。據了解,該計劃将邀請1500名來自全國科研、制造業、人工智能等領域的應用研發者與使用者,作為國家超算網際網路首批公測使用者,助力國家超算網際網路優化疊代平台功能,提升算力商品全流程傳遞體驗。

除了産業側與使用者側以外,“學、研”也是超算發展過程中至關重要的一環。而超算的發展也需要“學、研”為其提供源源不斷的人才與技術支援。

人才培養是重中之重

正如上文所言,人才培養對于任何一個行業來說都是重中之重,對于超算亦是如此。

以鹽城超算中心為例,據了解,鹽城超算中心基于成熟的運維技術及體系化人才培養,依托專業運維團隊及高效管理系統,中心将強化與清華、北大等院校合作,對網絡通信和存儲讀寫進行實時維護,提高超算網際網路整體運作效率,打造面向全國的“超算産業化人才培養基地”。

除此之外,钛媒體注意到,湖北省也在超算人才發展方面“走在前列”,據相關人士介紹,通過智能基座、産教融合育人基地、衆智等項目,鲲鵬、昇騰與湖北的10所頭部高校展開多項合作,覆寫3萬名學生;聯合高校、科研機構積極探索HPC+AI領域的交叉學科科研人才的培養模式,為HPC與AI的融合協同發展儲備尖端人才;與武漢大學、華中科技大學等10餘所本地高校完成50多個項目對接,覆寫上千名科研人員。

據了解,根據規劃,未來3年,人才計劃将延伸到50多所湖北的高校,培養10萬高校計算人才,為湖北數字經濟發展提供源源不斷的動力。

無獨有偶,濟南超算中心聯合建設齊魯工業大學網絡空間安全學院,是教育部準許的全國計算機科學與技術博士學位授權點,支撐齊魯工業大學計算機科學與技術學科建設,該學科成為山東省省屬高校重點建設的13個“高峰學科”之一,設有國際博士/碩士研究所學生聯合培養項目。

而人才培養除了需要各大高校支援以外,适當的前瞻性也是必不可少的。因為大多數人才還處于學生階段,需要幾年才能步入社會,投身産業發展之中,是以在人才培養的過程中,适當的前瞻性尤為重要,對此,ASC組委會委員劉軍表示,ASC組委會在設定賽題的過程中,也将代表性與超前性考慮其中。

值得注意的是,正是基于适當超前性與代表性的考慮,2023年火熱一年的大模型相關應用——大語言模型LLaMA推理加速,設定為本屆ASC預賽賽題之一談及如此設定賽題的原因時,劉軍對钛媒體表示,在2022年,大模型還沒有如此火熱的時候,ASC就設定了源大模型相關的賽題,“本屆大賽,結合了當下業内認知度較高,開源程度較高,應用前景較廣的LLaMA模型,圍繞大語言模型LLaMA推理加速,進行比拼,”劉軍指出,“依托全球化資源的調用、代碼支援等強大的背景支撐,考驗各個參賽對于如何更加有效地擷取相關資源,實作大模型的推理加速。也是為日後大模型與超算的融合鋪平道路”。

可以想見,2024年,在“産學研用”等多方共同推進下,以及大模型不斷像各個行業滲透的趨勢下,中國超算領域将迎來快速發展的一年,在這個過程中,我們需要加強技術研發和創新、拓展應用領域、培養高素質人才、加強産業生态建設等方面的工作。同時,還需要加強國際合作與交流,積極參與國際競争,才能不斷提升大陸超算的國際影響力。

繼續閱讀