王子航1, 禹向群2, 斯洪标3，傅思敏2, 張旭龍4 , 彭紹亮5
1. 湖南财信數字科技有限公司
2. 湖南省政務服務和大資料中心
3. 湖南财信金融控股集團有限公司
4. 平安科技（深圳）有限公司
5. 湖南大學資訊科學與工程學院
王子航, 禹向群, 斯洪标, 等. 基于算力網絡的元宇宙分層處理模型設計[J]. 大資料, 2023, 9(1): 51-62.
[左上]歡迎引用[左上]
0 引言
作為下一代網際網路的願景，元宇宙是對現實世界虛拟化、數字化的過程。如圖1所示，元宇宙融合了區塊鍊、虛拟現實、人工智能等技術。在互動層，利用虛拟現實技術渲染元宇宙的虛拟場景和虛拟角色，渲染模型的分辨率和實時性可以直接影響元宇宙的内容和互動性。在算法層，機器學習、計算機視覺等算法為元宇宙提供多樣化的功能支援。在基礎層，利用區塊鍊技術為元宇宙經濟體系的搭建提供支撐，元宇宙中的虛拟模型都會轉為數字資産存儲在區塊鍊上。但利用虛拟現實和區塊鍊處理的資料是異構的，在資料處理方式上的側重點也不同。
圖1 元宇宙底層技術架構
元宇宙中虛拟現實技術和區塊鍊技術的特性見表1。區塊鍊技術處理文本資料，虛拟現實技術處理圖形資料。為了保證資料的安全性，區塊鍊需要将資料在多個節點上進行存儲，會有大量的備援資料。區塊鍊在完成每筆交易時進行串行處理，這導緻區塊鍊的處理時延是非常高的，目前最快的鍊完成一筆交易的平均時間也要大于100 ms。而虛拟場景和虛拟角色為了保證使用者的沉浸式場景體驗，對使用者的互動時延要求非常高（20 ms内），而且模型的分辨率也要非常高。這對算力提出了非常高的要求，是以需要高性能計算平台及基于這些平台的并行處理算法予以支撐。如何更好地融合虛拟現實技術和區塊鍊技術是發展元宇宙需要解決的首要問題。
有3種部署虛拟現實場景和區塊鍊資料庫的架構模式可以選擇。
第一種模式是将虛拟場景和角色渲染放在本地用戶端，将産生的互動資料傳輸到伺服器，伺服器處理使用者的互動後，将資料回傳到用戶端進行渲染，并将互動資料傳到區塊鍊進行持久化存儲。這種模式類似于傳統的用戶端/伺服器（client/server）架構，也是目前大部分三維遊戲采用的架構。其優點在于傳輸的資料少，單使用者通信成本低。但是其對用戶端的算力要求較高，不利于元宇宙的普及，而且不利于同步多人互動。
第二種模式是将虛拟場景和虛拟角色采用分布式區塊鍊的形式進行存儲和處理。如Ryskeldiev B等人針對混合現實應用的虛拟空間提出了一種基于分布式區塊鍊的點對點分布模型。這種模式的時延高，适合低互動的元宇宙場景，對單個節點的算力要求也高，而且在圖形計算的場景上會有大量備援，無法處理大型元宇宙模型。
第三種模式是分層處理，将虛拟場景和虛拟角色這部分資料交給大型計算中心進行模組化和渲染，建構出逼真且可持久化的元宇宙虛拟場景，通過邊緣伺服器傳輸畫面到用戶端，使用者終端隻作為視訊視窗接收畫面，并負責采集使用者的互動需求。作為分布式資料庫，區塊鍊存儲虛拟模型資料對應的文本資料。使用者發出的互動請求先送出到邊緣伺服器，如果是簡單的互動，邊緣伺服器直接處理請求并傳回，這樣可以縮短時延，保障使用者的沉浸感和互動感；如果是資産變更或模型狀态的複雜變更，邊緣伺服器将請求傳輸到計算中心，計算中心重新渲染模型後傳回給使用者，并将所有互動請求同步到區塊鍊上。這種模式可以應對大型的元宇宙虛拟場景和多人同時線上的場景，對使用者終端的要求不高。本文重點關注第三種模式。本文主要貢獻如下：
● 在硬體架構上，提出“元算中心”的概念，元算中心是專為元宇宙設計的計算中心，并且将元算中心、區塊鍊節點、邊緣伺服器組成算力網絡，為元宇宙提供算力支撐；
● 在軟體架構上，結合硬體架構提出面向元宇宙大資料的分層處理模型，将模型資料、資産資料等異構資料放到不同的軟體層進行處理；
● 結合硬體和軟體的分層架構設計并實作一個元宇宙商城原型系統，為盡快落地真正的元宇宙應用提供參考。
1 硬體架構
元宇宙的資料量和計算量十分龐大，并且存在算力異構、資料異構等問題，是以本文提出“元算中心”（結合元宇宙特性設計的大型計算中心）的概念，并且将元算中心、區塊鍊節點和邊緣伺服器組成算力網絡，為大型元宇宙系統提供算力支撐。
1.1 元算中心
傳統的超算中心主要用于大型計算問題的求解，如天氣、地震等領域的計算問題。為了讓這類複雜計算的運算結果更準确，要求用雙精度浮點運算。随着人工智能的興起，“智算中心”的概念被提出，即人工智能計算中心。智算中心雖然在算力上比不上同規模的超算中心，但能夠很好地滿足人工智能這類近似計算的專業計算需求。建構元宇宙也需要強大的計算中心，這個計算中心不僅能滿足人工智能的計算需求，而且更加着重于圖形渲染和低延遲時間。是以筆者在智算中心的基礎上提出了“元算中心”的概念。與傳統的超算中心和智算中心相比，元算中心具有以下特點。
（1）計算裝置子產品化，有更好的硬體可擴充性和可複制性
建構持久化的大型元宇宙對算力的要求非常高，需要将虛拟場景分割到多塊GPU和CPU上進行計算和渲染。同時人們在元宇宙中不斷探索和生産新的内容，這意味着要存儲和處理的内容會越來越多，元算中心需要不斷擴容或者增加新的元算中心才能處理這些資料，是以需要将計算裝置子產品化才能簡單和快速地對元算中心擴容。
（2）采用胖節點和3層處理結構，減少通信的複雜度，提高任務處理的實時性
胖節點是相對于普通的雙路計算節點（瘦節點）而言的大記憶體多路伺服器。瘦節點需要很多節點來共同承擔大的計算作業，這導緻瘦節點需要耗費大量時間處理節點間的通信互動。而胖節點具有更高的處理效能，其處理速度遠遠高于瘦節點，适用于對記憶體、處理性能要求高的計算任務，是以元算中心采用胖節點拓撲架構。作為根節點，胖節點連接配接多個計算節 點，每個計算節點包含一個CPU單元和4個GPU單元。這種3層的結構能夠縮短節點間的通信時間，快速同步計算結果。簡單的硬體結構也有利于可擴充性和可複制性，當需要擴充硬體裝置時，隻需要在胖節點上連接配接新的計算節點，或者部署新的胖節點。
（3）根據計算任務類型采用不同的精度進行計算，并根據節點空閑度排程計算任務和任務類型
雙精度運算能夠使結果更加精準，但是會占用更多的記憶體和時間；而單精度運算可以節省時間和記憶體，但結果準确度會有一定損失。元宇宙中有圖形計算和機器學習模型等多種計算任務，元算中心根據這些計算任務的類型，選擇合适的精度進行運算。同時元算中心根據節點空閑度排程計算任務和切換任務類型。當虛拟場景比較大時，先将虛拟場景劃分為多個場景，每個胖節點處理一個場景；然後各個胖節點再按照網格的形式将場景進一步細分成多個子產品，配置設定給每個計算節點，網格的大小通過機器學習模型進行調整，以保證各個計算節點的負載均衡。為了提升元算中心處理高并發的能力，當某個胖節點在某一時刻處理的互動超出負載時，可以申請元算中心的其他有空閑算力的胖節點輔助處理。如果元算中心的算力有空閑，則離線訓練機器學習模型。
（4）每個計算節點的GPU數量更多且圖形處理能力更強
與傳統的GPU相比，為元宇宙計算設計的GPU需要在渲染模型時達到照片級的逼真渲染，并且有超高清的視訊處理能力和顯示技術。
1.2 算力網絡
算力網絡是一種根據業務需求，在雲、網、邊之間按需配置設定和靈活排程計算資源、存儲資源以及網絡資源的新型資訊基礎設施，能夠為元宇宙提供算力的解決方案。據統計，目前資料中心、伺服器等各類平台計算資源的使用率均低于15%，而數字貨币、虛拟現實遊戲的算力需求不斷增長，将閑置的算力利用起來将為元宇宙的算力需求提供很大的支援。同時算力網絡建構的無損網絡也十分契合元宇宙對網絡低延遲時間的要求。
圖2展示了為元宇宙設計的算力網絡硬體架構。元算中心作為雲端，負責大體量資料分析和算法訓練，算力規模可以達到ZFLOPS。元算中心負責虛拟場景和虛拟角色的建構，以及計算機視覺、人工智能模型的訓練，并且将資料同步到區塊鍊。邊緣伺服器作為邊端，負責對使用者請求做出靈活反應，單個邊緣伺服器的算力規模達到TFLOPS。元算中心、邊緣伺服器和使用者終端通過高速無損的網絡進行連接配接，算力網絡的算力排程采用自底向上的方式。使用者終端利用虛拟頭盔和手套等裝置采集和回報使用者的互動需求資料，并将資料結構化上傳。接收使用者終端的資料後，邊緣伺服器處理簡單的互動請求，将無法快速處理的複雜互動上傳到元算中心。當某個元算中心在某一時刻的算力不能滿足需求時，則會申請網絡中其他元算中心的算力排程。
圖2 基于算力網絡的硬體架構
2 軟體架構
結合硬體架構模型，在軟體架構上按照軟體層的功能職責進行分層，分層處理模型分為控制層、模型層、視圖層和資料層。如圖3所示，控制層接收使用者終端發出的互動請求，如果是不涉及模型重建的互動，控制層直接排程邊緣伺服器來處理請求，快速傳回互動結果，然後将互動資料同步到模型層和資料層。傳回互動結果和同步互動資料到模型層是異步處理的，這樣能提升互動響應速度。如果互動請求是資産變更或模型狀态的複雜變更，控制層将請求送出到模型層，模型層将所有互動請求同步到資料層，驗證和更新數字資産，同時通過元算中心渲染模型。渲染好模型後，模型層将重構的模型重新整理到元算中心建構的持久化虛拟場景中，然後傳輸到視圖層。視圖層根據使用者終端的分辨率、裝置等參數進行視訊編碼，并且插入語音、動作等通用功能的互動結果，最後傳輸到使用者終端進行解碼。
圖3 軟體架構
2.1 控制層
影響沉浸感的關鍵因素之一是時延，元算中心雖然能夠在極短時間内将互動結果計算完成，但是因為網絡傳輸的原因仍然不能滿足無縫和沉浸式使用者體驗。而與雲計算相比，邊緣計算可以平均減少至少80 ms的服務時延，是以使用邊緣伺服器能夠大大縮短元宇宙的網絡時延。
筆者設計控制層來充分利用邊緣伺服器的算力和實時性，同時協調模型層和視圖層的資料處理。控制層根據使用者互動需求的類型做出靈活反應，如果是語音輸入、動作變換等不涉及模型重建的通用計算，則直接排程邊緣伺服器處理，快速傳回互動結果到使用者終端；模型變更和狀态變更則傳輸到模型層處理。當邊緣伺服器的算力負載過大時，控制層會将任務排程給元算中心處理。
2.2 模型層
元宇宙對建構出來的虛拟場景要求比較高，需要達到十分逼真的效果，并且幾乎能夠實時處理使用者的互動請求，才能讓使用者産生強烈的沉浸感。實時渲染的方式（即根據使用者的視角來渲染場景）會增加時延，并且畫面處理不夠精細。更好的方式是使用大型的計算中心建構一個持久化的虛拟場景，使用者終端作為視訊接收裝置，接收伺服器傳輸的内容。
是以筆者在元算中心上設計了模型層，以建構一個持久化的虛拟場景，并将其傳輸給使用者終端。模型層通過模組化工具和虛拟引擎，将資料層的資料資産轉化為模型資料，并處理虛拟角色的互動。為了提高處理效率，需要将任務進行并行處理。在粗粒度的并行上，将一個元宇宙中的虛拟場景劃分為多個場景，将各個場景分别交給不同的元算中心進行處理。在細粒度的并行上，将同一場景劃分為多個塊并分别交給不同的節點處理。為了進一步提升計算效率，可以根據流量統計，按不同時段和不同區域的流量，分為請求密集塊和請求稀疏塊，為密集區域調集更多的計算資源。為了加快渲染速度，使用者終端傳輸的互動請求會對應到相應的網格内進行計算，重新整理網格内的場景後傳輸到使用者終端。
2.3 視圖層
模型層将模型傳輸到視圖層，視圖層根據使用者終端的分辨率、裝置等參數進行視訊編碼，并且插入邊緣伺服器處理的語音、動作等通用功能互動結果，然後傳輸到使用者終端進行解碼，使用者終端通過裝置解碼輸出資料後傳輸到對應的傳感裝置，讓使用者獲得沉浸體驗。
由于模型較多，搭建的虛拟場景檔案會比較大，再加上虛拟現實場景需要雙屏顯示且實時性要求較高，這就需要将虛拟場景分多次傳輸到使用者終端，并且降低單次傳輸包的大小。将模型貼圖進行烘焙是個很好的選擇，這樣可以減少場景的實時光照計算。在使用者看不見的地方，如物體背面和結合處，先不做渲染和視訊編碼，并且将場景再細分成多個場景進行傳輸，這樣可以提高響應使用者請求的實時性。
2.4 資料層
資料層将模型層的虛拟場景等模型資料轉化成數字資産進行持久化存儲，采用區塊鍊技術實作。為了友善存儲，各個虛拟場景的執行個體都将擁有唯一的哈希碼，通過哈希碼和存儲資訊的結構體将虛拟場景轉化為數字資産。從隐私安全和個性化推薦方面綜合考慮，使用者的購物資訊、足迹這類資訊可以公開。而資産交易類資訊和個人身份資訊則是通過加密的方式存儲的。為了友善在不同的元宇宙中确認這些資訊，在多個元宇宙之間采用脫敏資料的多方安全計算。為了提高區塊鍊的效率，并符合相關法規，采用聯盟鍊而不是公有鍊。資料層的激勵機制采用算力激勵，算力激勵機制是目前主流的區塊鍊激勵機制，可以給元宇宙提供更多的算力支援。
區塊鍊的節點分為完整節點和輕節點，完整節點存儲所有交易資訊，輕節點隻存儲部分交易資訊。區塊鍊在邏輯層是完全獨立的資料層，但在硬體層并不是獨立的資料層。元算中心、邊緣伺服器和使用者終端都是區塊鍊的節點，其中使用者終端為輕節點，隻存儲個人資訊。
3 應用實踐
受疫情影響，人們的線上時間大大延長，同時線下購物人數驟減，很多人購物首選網購。但傳統的二維電商平台搭建的服裝銷售界面對顧客并不友好，如資訊展示不直覺、平面商品圖和文字描述讓顧客難以擷取完整的商品資訊、購物環境缺乏沉浸感和樂趣，尤其是服裝行業。而目前火熱的直播帶貨不能滿足快節奏的購物需求，消費者需要耗費大量時間觀看直播，而且是被動地作為資訊接收者。是以筆者設計并實作了元宇宙購物商城原型。元宇宙購物商城将成為下一代電商平台，融合實體店鋪和虛拟店鋪，做到虛實共生。使用者可以在虛拟的購物街逛街，選擇自己喜歡的衣服，并進行試穿。購買衣服後，使用者可以選擇為自己的虛拟角色變裝，同時線下也可以收到同款衣服。元宇宙購物商城的實作界面如圖4所示。使用者可以通過佩戴虛拟現實眼鏡獲得沉浸感，虛拟現實眼鏡視角下的商業街如圖5所示。
圖4 元宇宙購物商城的實作界面
圖5 虛拟現實眼鏡視角下的元宇宙商業街
目前主流的大型三維遊戲或應用采用的是用戶端/伺服器的架構，即模型、貼圖等大量素材存儲在使用者終端，使用者終端需要預留大量存儲空間才能安裝應用。這種架構并不适合元宇宙購物商城，因為元宇宙的資料量非常大，内容在不斷增加，而且購物商城的商家不定時更新商品，這導緻使用者終端模型資訊需要不斷更新。
是以筆者采用類似浏覽器/伺服器（browser/server）的架構，結合硬體架構和軟體架構設計元宇宙購物商城。元宇宙購物商城原型架構如圖6所示，包括控制層、視圖層、模型層和資料層。
圖6 元宇宙購物商城原型架構
（1）控制層
控制層通過排程算力和判斷互動類型來盡快響應使用者互動。如果是語音聊天、動作變換這類互動，控制層會直接在目前邊緣伺服器上處理使用者請求，幫助快速響應，否則傳輸到更大算力規模的中心伺服器進行處理。
（2）視圖層
模型層的工具将街道模型、人物模型、建築物模型進行渲染後，傳輸到視圖層做視訊編碼，并在各個模型上挂載相應的功能腳本，如錄影機移動、單擊響應、讀取紋理等，最後将已經搭建完成的場景分多次傳輸到使用者終端。
（3）模型層
模型層不僅要處理消費者的模型變更互動，還要為商家提供制作或改動衣服模型的服務。商家通過管理平台将衣服模型資料更新到背景資料庫後，模型層提取資料層的資産資料，通過3DMax工具模組化和貼圖，然後将模型導入Unity3d引擎中， Unity3d将模型渲染更新到虛拟場景中。
（4）資料層
資料層将區塊鍊層作為支援，主要提供兩種資料，分别是資料庫資料和外部資料。資料庫資料主要是系統的基礎資料，包括使用者資訊、商品資訊、業務資訊等。外部資料接口包括商家和管理者的管理系統、生産管理系統、支付系統、物流系統等第三方系統。
4 結束語
為了解決元宇宙中虛拟現實場景和區塊鍊系統的資料異構、算力異構等問題，本文基于算力網絡為元宇宙設計了分層的硬體架構和軟體架構來應對龐大的資料量和計算量，使用元算中心集中處理元宇宙虛拟場景渲染資料和虛拟人物的互動，數字資産和個人資訊利用區塊鍊在多個分布式節點上進行脫敏存儲，邊緣伺服器幫助縮短時延和處理簡單的互動。最後，結合設計的硬體架構和軟體架構，實作了一個元宇宙購物商城，為元宇宙的真正落地提供參考。
目前無論是在技術層面還是在硬體層面，距離元宇宙的真正落地還有很長一段路要走。本文隻是為元宇宙的實作提供了一個雛形，根據元宇宙的技術進步不斷調整和優化計算模型是筆者下一步的工作方向。
--------END-------
聯系我們:
Tel: 010-81055490
010-81055534
010-81055448
E-mail:[email protected]
http://www.infocomm-journal.com/bdr
http://www.j-bigdataresearch.com.cn/
轉載、合作：010-81055307
大資料期刊
《大資料（Big Data Research，BDR）》雙月刊是由中華人民共和國工業和資訊化部主管，人民郵電出版社主辦，中國計算機學會大資料專家委員會學術指導，北京信通傳媒有限責任公司出版的期刊，已成功入選中國科技核心期刊、中國計算機學會會刊、中國計算機學會推薦中文科技期刊，以及資訊通信領域高品質科技期刊分級目錄、計算領域高品質科技期刊分級目錄，并多次被評為國家哲學社會科學文獻中心學術期刊資料庫“綜合性人文社會科學”學科最受歡迎期刊。