《資訊通信技術》是中國聯合網絡通信集團有限公司主管、主辦的國内外公開發行的中英文科技期刊（CN11-5650/TN，ISSN1674-1285)，2007年12月正式創刊。本刊旨在反映國内外資訊通信技術最新研究成果，提供資訊通信技術交流平台，推廣先進資訊通信業務和應用，為大陸建設資訊社會和創新型國家服務。
【作者姓名】周 旭 李 琢 範鵬飛 李菁菁
【作者機關】中國科學院計算機網絡資訊中心
【摘要】随着科學計算時代的到來，海量科學資料的産生帶來豐富的基礎性科技資源，也為計算和傳輸帶來巨大的壓力，需要大量的資源來處理，亟需算網融合技術将算力和網絡有機結合。算力網絡連通分散的、碎片化的算力資源，建構一體化的ICT基礎設施，提供計算能力和網絡能力等服務。文章研究面向科學計算的算力網絡技術，搭建算力網絡總體架構，采用資源度量、資源排程和算力路由等技術，部署算力網絡原型系統，提供高性能的科學計算能力，完成複雜模拟和科學計算。在高能實體、天文領域等典型應用開展試驗示範，能夠顯著提升科學大資料的網絡傳輸效率和大資料處理能力，提升科研資訊化服務能力與水準，加速重大創新成果産出。
【關鍵詞】算力網絡；科學計算；計算需求
引言
科學研究在經曆了實驗科學、理論科學和計算科學後，産生了以“資料密集型科研”為代表的第四範式，現代科研方法已經發生質的飛躍，許多重大的科學發現已經離不開先進資料與計算的支撐，宇宙模拟、高能實體、基因測序、新藥研制、新材料研發等科研領域創新，對科學研究和國家經濟發展具有積極推動作用和長遠意義[1-2]。然而，這些科研領域的科學資料近年來呈井噴式增長，海量資料也使得計算需求呈指數級增長，計算需求的飛躍帶來了新的挑戰。一是多元化的挑戰，即科學計算場景的複雜化、科學計算架構的多元化；二是巨量化挑戰，也就是由巨量模型、巨量資料、巨量算力及巨量應用引發的對現有資料處理模式的挑戰。面對巨量存儲、高速傳輸、先進算力、協同計算帶來的新挑戰，一方面單一的算力中心已經難以滿足複雜科研需求，另一方面在分布式算力中心環境下，資料的放置對于科學計算性能和系統能耗影響都很大，在進行計算任務排程和遷移時需要充分考慮資料的傳輸和通路開銷。有鑒于此，亟需開展分布式算力協同排程、多體系結構、高性能網絡傳輸等算網融合、算網一體化研究，動态提供算力，支撐科研新範式下的創新研究。
1 大規模科學計算的需求與挑戰
随着計算和網絡技術的發展，大規模科學計算的新型需求爆發式增長，所面臨的計算規模是巨大的，盡管現有的算力基礎設施已經從百萬級上升到千萬級的處理核心，但面對複雜度更高的科學計算應用時，仍無法滿足其對計算能力的巨大需求。在一些國家重大科技專項方面，支撐科學發現的科學應用蓬勃發展，持續産生了龐大的實驗資料，為了能夠處理海量的實驗資料，需要擴大算力規模，将不同的資料中心、算力叢集等連接配接在一起以實作算力共享。然而，算力的共享或整合都面臨跨站點的資料通路和資料傳輸問題，尤其是大規模資料量的情況下，資料通路和傳輸的效率，很大程度上依賴網絡品質。廣域網品質參差不齊，如果排程不當，将影響分布式算力的處理效率。
針對大規模科學計算中的實驗資料處理的資料通路和傳輸，一些科學資料選擇在本地進行處理，資料通路和傳輸的性能可以通過優化内部網絡環境來實作。一旦需要提供跨區域的資料通路和傳輸，目前的排程系統無法擷取網絡系統的實時品質，很難實作計算任務的實時資料輸入和輸出，通常以處理一批、傳輸一批的集中方式進行，且需避開網絡繁忙階段，缺少實時網絡狀态的協同任務排程的弊端逐漸顯現出來。
2 科學資料的處理模式
根據《國家科學資料資源發展報告》的相關統計，大陸科學資料資源總量已超過100PB，高品質支撐了國家重大需求，在這其中，對科學資料的處理成為服務科學計算的關鍵[1]。科學資料處理對網絡能力的要求也随之進一步提高，通過網絡對算力節點間的算力資源進行配置設定和排程，組織整個網絡中的異構算力資源以處理海量科學資料[2]。面向科學計算的資料處理模型需要以網絡為中心，實作算力資源和網絡能力的有效适配，最大限度提供高效的網絡算力排程和編排，服務科學計算。目前的科學資料處理模式中，主要有集中式資料處理模式和分布式資料處理模式。
2.1 集中式科學資料處理模式及挑戰
集中式資料處理模式是将多個科學資料産生地的資料傳輸到一個地方集中進行處理，天文領域的科學資料處理就是采用集中式資料處理模式。由分散在不同地方的天文觀測站，将多個觀測站點産生的海量觀測資料實時地傳輸到遠端的資料中心，按時标嚴格同步進行相關處理，可得到被觀測目标射電信号到達地面不同測站天線的時間差，即觀測時延，然後開展各類科研與工程應用[3]。甚長基線幹涉測量(Very Long BaselineInterferometry，VLBI)是一種具備極高角分辨率和測量精度的射電天文觀測技術，在天體實體、天體與大地測量和深空探測等領域得到廣泛應用。VLBI觀測通常由多個地理上遙遠分布的射電望遠鏡觀測站聯合參與同步進行，即VLBI本身是“分布式”的大科學裝置。所有測站獲得的海量觀測資料按時标嚴格同步進行相關處理，可得到被觀測目标射電信号到達地面不同測站天線的時間差，即觀測時延，然後開展各類科研與工程應用[3]。
随着大陸月球與行星探測任務的成功開展，未來将有越來越多的探測器需要VLBI系統進行跟蹤測量。CVN将建立觀測站，并計劃開展動态雙子網對不同天區的探測器進行同時觀測。為滿足全球跟蹤測量能力，在條件具備時還需拓展到海外VLBI站實作全球無縫接力觀測。集中式資料處理模式面臨着很大的挑戰，采用單一計算點的情況下，一方面，單點計算效率低，另一方面，将大量原始資料未經處理傳輸到遠端資料中心，浪費大量的帶寬資源，且傳輸鍊路無法得到保障的情況下，資料的傳輸極其容易受到鍊路狀況的影響，一旦某一組實驗資料由于網絡擁塞無法準确到達，将影響整個系統開展科學資料計算處理的可靠性和可用性。是以VLBI測軌系統面臨着資料傳輸網絡帶寬的壓力和動态分布式協同觀測與資料處理的能力要求，急需新技術進一步提升實時VLBI測軌系統的靈活性和可靠性可用性。
2.2 分布式科學資料處理模式及挑戰
分布式資料處理模式是指将一個地方産生的科學資料分發到多個地方進行處理，實體領域的高能實體實驗資料處理就是采用這種模式。高能實體實驗資料十分龐大，例如北京正負電子對撞機(BESIII)每年産生約1PB原始資料，目前已經積累了超過10PB+的資料；大亞灣中微子實驗每年産生200TB原始資料，已經積累了2PB以上的原始資料；高海拔宇宙線觀測站(LHAASO)每年産生的資料量超過6PB。處理海量實驗資料，需依靠大規模算力。目前各實驗合作組都在嘗試将合作機關的資料中心、算力叢集等(以下稱為站點)連接配接到一起，實作算力共享[4]。如JUNO實驗基于Dirac軟體建立網格系統，将俄羅斯、意大利、法國和中國等國家的算力整合到計算網格中；BESIII實驗作為國内高能實體先驅實驗，國内的合作機關較多，并且也建立了中小型計算站點，并嘗試将各計算站點整合到一起。
然而，算力共享或整合都面臨跨站點的資料通路和資料傳輸問題，尤其是大規模資料量的情況下，資料通路和傳輸的效率，很大程度上依賴網絡品質。以BESIII實驗為例，資料處理計算任務分為模拟作業、重建作業和分析作業三種類型。模拟作業因為其輸入資料量較小，可以分發到較小型的站點，但國内很多站點的廣域網品質參差不齊，如果排程不當，将影響分布式算力的處理效率。重建作業通常在主站點的本地叢集完成，資料通路和傳輸的性能可以通過優化内部網絡環境來實作。分析作業的輸入資料和輸出資料通常比較大，目前由于排程系統無法擷取網絡系統的實時品質，很難實作計算任務的實時資料輸入和輸出，通常以處理一批、傳輸一批的集中方式進行，并且需避開網絡繁忙階段，限制了資料處理的效率[5]。LHAASO實驗以及未來的JUNO實驗同樣也會面臨BESIII實驗的上述問題。高能實體實驗資料處理的資料通路和傳輸，缺少實時網絡狀态的協同任務排程的弊端将逐漸顯現出來，急需算力和網絡有機結合，實作實時網絡狀态與算力排程的融合，豐富高能實體計算任務排程政策，提高排程精準度，進而使資料通路和傳輸更高效[6]。
3 面向科學計算的算力網絡技術
面對“雲+邊+端”網絡協同和“集中—分布”算力協同的場景需求，以及為解決算力資源供給失衡的問題，網絡在新型網絡計算模型中将會占據更重要的位置。網絡的功能将從“連接配接算力”，為資料中心、算力節點和使用者終端間提供連接配接功能；走向“排程算力”，通過網絡對算力節點間的算力資源配置設定和排程；乃至“組織算力”，對整個網絡中的異構算力資源進行編排群組織管理[7-8]。新需求對網絡能力的要求進一步提高，要求網絡可以提供容納、排程、編排多種地理布局、多種實體異構、海量的計算、存儲、連接配接資源。在此背景之下，算力網絡技術應運而生，以網絡為中心，實作算力資源和網絡能力的有效适配，最大限度提供高效的網絡算力排程和編排[9]。
如前所述，面對科學研究龐大資料量的計算要求，無論是集中式還是分布式的科學資料處理模式，都亟需實作對計算和傳輸資源的統一利用，而新興的算力網絡技術恰好可以滿足這種需求[10]。算力網絡能夠實作科學大資料的高效傳輸，通過計算、存儲與網絡等資源的協同、排程與管理，從以下三個方面對科學研究帶來極大的促進作用。
1)顯著提升科學大資料傳輸處理效率：通過算力網絡技術實作對分布式的計算、傳輸資源的協同利用，提升計算和傳輸效率。
2)顯著降低科學大資料傳輸處理成本：通過算力網絡技術，可實作對閑置算力資源的充分利用，同時顯著降低網絡帶寬需求，降低資料傳輸處理成本。
3)提升科研資訊化服務能力與水準，加速重大創新成果産出：通過對算力網絡等先進網絡技術的示範應用，提升科研資訊化服務能力與水準，加速相關學科領域的重大創新成果産出。
3.1 面向科學計算的算力網絡總體架構
提出面向科學計算的算力網絡總體架構，如圖1所示，基于計算和網絡傳輸資源，針對高能實體和天文領域等科學計算需求，以雲網融合的方式部署相應的算力資源池，建設算力網絡系統及應用示範平台，主要包括邊緣算力池資源、算力網關節點、算力轉發節點、算力網絡管控平台及示範應用[11]。
其中，邊緣算力池以KVM、Docker等虛拟化技術實作基礎資源的虛拟化管理和編排，并經由算力網關接入算力網絡；算力網關，分為算力資源網關和算力使用者網關，主要實作算力網絡的品質探測、SRv6路由及資料轉發等功能；算力轉發節點實作SRv6路由及資料轉發功能，為算力網絡提供SRv6鍊路的備援節點和資料轉發能力，所有算力網關與轉發節點組成SRv6算力路由網絡；算力網絡管控平台實作算力資源狀态資訊收集與彙總、資源的編排與管理、SRv6算力路由的編排與管理等；示範應用平台，基于算力網絡管控平台、應用部署與編排接口層，實作算力網絡系統的應用服務管理平台，針對不同的應用進行統一排程和管理。
3.2 面向科學計算的算力網絡部署方案
面向科學計算的算力網絡系統及示範應用平台，拟采用NFV/SDN虛拟化技術進行建構，系統部署圖如圖2所示。其中，算力網絡使用者接入網關，采用Linux系統基于SR+IPv6技術實作，為科研裝備/科研使用者提供算力網絡接入能力、資料轉發能力以及SRv6路由編排等能力。邊緣算力池采用KVM+QEMU實作虛拟機級别的資源管理和排程，采用Docker+Kubernets實作容器級别的資源排程、編排和管理。核心雲平台基于平台雲網資源對接邊緣算力池，形成邊緣、核心兩級的算力網絡系統，支援業務資料在邊、雲的分布式排程和管理等。算力網絡管控平台，實作算力資源狀态監測、資源編排與管理、SRv6路由編排與管理等，為示範應用提供資源視圖和業務排程功能服務。示範應用平台，實作算力網絡系統對示範應用的支撐能力。
1)對接高能實體試驗應用
國内高能實體經過幾十年的發展，在資料處理端，各實驗已形成相對成熟的資料處理軟體、作業程式等應用層面的一整套流水線。主流的高能實體計算平台目前采用高通量計算模式作為計算平台排程系統的基礎，結合自主研發的中間件套件，融合部署高能實體實驗軟體、資料等實驗資料處理必要元素，進而形成完整的應用與平台的結合。與傳統的排程系統類似，計算平台排程系統主要由隊列叢集、排程器、排程收集器和計算節點組成，充分考慮資源的多樣性和規模的可擴充性，任何資源隻要通過授權，即可自由釋出到排程系統的資源收集器中，以支撐算力網絡與高能實體計算平台對接。
算力網絡在高能實體領域應用如圖3所示，算力網絡在其管理的算力池中，依據算力網絡的排程政策，選取合适的算力節點，并釋出已選取的節點至計算平台的資源收集器即可，即以IaaS(Infrastructure as a Service，基礎設施即服務)方式提供算力服務，原有的排程系統無需改變原有的使用者使用模式，同時計算任務與計算節點間的比對工作，仍由高能實體計算平台完成，這種方式既保證了算力網絡快速有效的将算力釋出至排程系統，同時可以充分利用高能實體領域積累的實驗與平台的交叉軟體和技術，保障實際應用的實作。
2)對接天文觀測系統
應用算網融合創新技術，結合VLBI觀測站本地相關資料處理技術，采用算力網絡資源動态調用開展對探測器型号進行本地相關處理，充分利用觀測站閑置的算力資源，然後傳輸經處理好的資料到VLBI中心再進行後續的處理。算力網絡天文領域典型應用部署如圖4所示，研究VLBI動态組網和主備VLBI中心的網絡環境中，利用算力網絡技術，建設動态的實時資料多向傳輸和算力配置設定系統，對VLBI網進行實時監控和資源排程。根據VLBI中心的線上狀态和異常切換模式，動态地調整資料流和資料進行中心角色，實作高可靠自動切換的目标。
算力網絡系統與觀測系統的對接，基于算力網絡的示範應用平台，研發任務排程管理子系統，以PaaS方式提供算力服務，根據觀測任務的需求，算力網絡系統直接提供算力與傳輸資源的協同排程服務。應用算網融合創新技術，結合觀測站本地相關資料處理技術，采用算力網絡資源動态調用開展對探測器型号進行本地相關處理，充分利用觀測站閑置的算力資源，然後傳輸經處理好的資料到觀測中心再進行後續的處理。在動态組網和主備中心的網絡環境中，利用算網融合技術，建設動态的實時資料多向傳輸和算力配置設定系統，對觀測網進行實時監控和資源排程。根據觀測中心的線上狀态和異常切換模式，動态地調整資料流和資料進行中心角色，實作高可靠自動切換的目标。
4 總結與展望
算力網絡自被業界提出以來，在政府、學術界和産業界的共同推動下迎來蓬勃發展，各個方面迎來發展關鍵期，“東數西算”工程的實施助力建構全國一體化算力網絡。算力網絡服務于科學計算發展是未來發展的必然趨勢，不僅可以大大提高科學計算的效率，還可以實作多學科的協同研究。面對科學研究龐大資料量的計算要求，算力網絡能夠實作科學大資料的高效傳輸，通過計算、存儲與網絡等資源的協同、排程與管理，建構基于算力網絡的科學計算應用示範平台，完成科學大資料的按需流動、智能計算與可視分析處理，支撐重大科技創新活動，引領未來科技發展，助力科技強國。
參考文獻
[1] 中國科學院“十三五”資訊化專項 科學大資料工程[J].中國科學院院刊,2018,33(8):893
[2] 汪洋,周園春,王彥棡,等.适度超前推動科研基礎平台建設 支撐大陸高水準科技自立自強[J].中國科學院院刊,2022,37(5):652-660
[3] 楊晨,翁祖建,孟小峰,等.天文大資料挑戰與實時處理技術[J].計算機研究與發展,2017,54(2):248-257
[4] 石京燕,黃秋蘭,汪璐,等.國家高能實體科學資料中心分布式資料處理平台[J].資料與計算發展前沿,2022,4(1):97-112
[5] 胡慶寶,鄭偉,王佳榮,等.高能實體科學資料中心智能運維系統[J].資料與計算發展前沿,2022,4(1):30-41
[6] 曾珊,陳剛,齊法制,等.高能實體科學資料服務與應用[J].中國科技資源導刊,2022,54(1):31-39
[7] 雷波,劉增義,王旭亮,等. 基于雲、網、邊融合的邊緣計算新方案:算力網絡[J]. 電信科學,2019,35(9):44-51
[8] 段曉東,姚惠娟,付月霞,等.面向算網一體化演進的算力網絡技術[J].電信科學,2021,37(10):76-85
[9] 賈慶民,丁瑞,劉輝,等.算力網絡研究進展綜述[J].網絡與資訊安全學報,2021,7(5):1-12
[10] 何濤,楊振東,曹暢,等. 算力網絡發展中的若幹關鍵技術問題分析[J]. 電信科學,2022,38(6):62-70
[11] 狄筝,曹一凡,仇超,等.新型算力網絡架構及其應用案例分析[J].計算機應用,2022,42(6):1656-1661
【作者簡介】
周 旭：博士，中國科學院計算機網絡資訊中心先進網絡技術與應用發展部主任，研究員，主要研究領域為未來網絡、5G移動網絡、網絡人工智能等，發表論文70餘篇，申請專利60餘項(其中已授權14項)，主持/參與制定國際标準/行業标準11項。
李 琢：中國科學院大學在讀博士研究所學生。主要研究方向為未來網絡、分布式協同網絡、多智能體系統和強化學習。
範鵬飛：碩士，進階工程師，碩士研究所學生導師，專業方向為未來網絡架構與技術、移動網絡技術，目前主要從事5G網絡技術、邊緣計算技術、算力網絡技術等相關研究及示範應用，在相關刊物及會議發表學術論文10餘篇，授權專利9項。
李菁菁：博士，進階工程師，中國科學院計算機網絡資訊中心科技雲運作與技術發展部網絡與系統業務室主任，碩士研究所學生導師，先後參加和承擔了中國科學院資訊化建設項目、科技部重點研發專項等科研課題，曾獲2020年“北京市科技進步二等獎”。
編輯：王丹瑛
校審：王钐杉