100萬人沉浸式“雲鬥舞”！這個節目憑啥火了？

新智元報道

編輯：好困 桃子

【新智元導讀】五一宅家，無迪可蹦？你可能錯過了一場和虛拟人的超級狂歡！

上方是演出大屏，下方是人潮嗨舞的迪廳，兩側滾動的是表白宣言，身旁還有「虛拟」的央視主持人尼格買提。

央視一場自帶話題度的五四特别節目，當晚便沖上熱搜。

它，憑什麼火了？

100萬人「雲鬥舞」

時間回到2021年，「TMELAND」騰訊音樂虛拟世界在12月31日正式亮相。

當晚，在高雄世運主場館線下開唱的五月天，也空降到了TMELAND這個「虛拟音樂嘉年華」。

全球110萬樂迷陸續「登島」共同狂歡跨年。這個量級，相當于在鳥巢開了12場滿座演唱會。

而此時距離TMELAND的立項，才過了五個月。

正值盛夏7月，設計團隊突然接到任務，說要打造一個「虛拟音樂世界」。

就像一萬個人心中有一萬個哈姆雷特，團隊中的每個人也有自己理想中的虛拟世界。

在大家一籌莫展、甚至連名字都還沒想好的時候，一位設計師便憑着自己的感覺開始嘗試手繪整個樂園。

沒想到畫着畫着，突然靈光一現，就想到了TMELAND這個名字。再加上那張藍圖，一個清晰的「島嶼」仿佛出現在了所有人的面前。

緊接着，技術團隊也在10月份加入到了項目的研發之中。

随着設計的逐漸完善，問題也接踵而至，這些效果該如何呈現出來呢？

擺在技術團隊面前的路有兩條，「終端」和「雲端」：

1. 把所有的内容和素材都裝進一個龐大的APP裡，在使用者的裝置上運作；

2. 把所有的渲染等計算都放在雲端進行，使用者隻用接入網絡即可。

第一條路相對成熟，有大量的遊戲都采用這種機制，比如大家熟知的「和平精英」或者「王者榮耀」。

抛開遊戲對操作的苛求，可以說隻要能接入網絡，基本上都不會有太高的延遲。

但如果讓使用者的手機或其他終端裝置來承載所有的渲染壓力，不僅需要強大的硬體性能支撐，而且在內建了渲染引擎和各種素材資料之後，軟體安裝包的體積機關也将以GB來計算，占據龐大的存儲空間，體驗并不友好。

第一條路不好走，那麼第二條路又如何呢？

還别說，這個的難度更大。

使用者看似是零成本地接入，但由于所有的内容都在雲端，使用者必須在極高的網絡帶寬下才能有流暢的體驗。

而營運商的成本則是直接被拉滿了，由于每一個使用者都需要進行獨立的渲染和輸出，營運商必須投入巨量的伺服器資源才能維持。

顯然，對于一個需要極高疊代速度的全新産品來說，這兩條路都太勸退了。

經過一波頭腦風暴之後，TME的技術團隊選擇了——「第三條路」。

既然純粹的「雲」或者「端」行不通，那麼，如果把這兩者結合起來又會如何呢？

比如，讓雲端負責大場景的渲染，讓終端則負責輕量級的互動。

這是一個非常大膽的想法，畢竟把整個流程分拆成兩個部分來進行處理的方式，在國内也是實屬首次。

而且，TMELAND本身又是極具創新性的項目，這就要求方案必須能夠實作極高的更新速度，以适應不同玩法和内容的變化。

這時，壓力就來到了技術團隊這邊。因為想要讓「端」和「雲」的結合真正在項目上可用，就必須在疊代和性能之間找到一個平衡點。

經過反複地摸索，TMELAND與元象XVERSE的聯合團隊決定采用H5來打造這個全新的虛拟世界。

利用H5的靈活性，團隊不僅優化了編解碼系統，而且在對圖檔以及一些素材進行渲染時，采用了例如紋理壓縮等技術，顯著地減少了開銷，進而降低了對本地性能的需求。

不過，團隊當時還不确定這套方案的可行性，于是初次試水選在了「全民K歌」的虛拟直播間裡。

沒想到的是，效果出奇得好。很快，各種新的玩法和場景應運而生。

深受鼓舞的技術團隊緊鑼密鼓地研發了2個多月，名為「端雲協同」的全新3D互動技術方案就此誕生。

借助于「端雲協同」的優勢，TMELAND能同時容納10萬人同屏線上。

而更重要的一點是，TMELAND不僅可以将面積超13萬平方米的虛拟音樂世界壓縮成一個極小的下載下傳包，而且使用者也無需輔助的硬體，甚至連獨立的軟體都不用下載下傳和安裝。

隻要手機能連網，就能随時随地進入這個遊樂園玩耍。

時間來到2022年5月4日，在這場和央視關聯的五四特别節目中，累積共有超百萬使用者化身「數字人」進入TMELAND。

主持人尼格買提的「分身」先在虛拟世界中來了段「賽博報幕」。

緊接着，騰訊互娛旗下的吉莉、童和光、星瞳也集體「空降」現場，與青年演員聯合出演情景歌舞《New Youth》。

随着鏡頭切換，虛拟人還現身中國人民大學、北京航空航天大學、武漢大學3所高校校園，并與黑龍江大學、西安交通大學、廣州大學的青年學子們同屏起舞。

從0到1的虛拟人成長之路

此次演出的三個虛拟人，風格各有不同，細看他們的故事，卻可以大緻描摹出來騰訊這樣的中國網際網路公司，開發虛拟人的路徑。

以星瞳為例，作為《QQ炫舞》的NPC，星瞳如今已經是一個有着龐大粉絲群體，能出歌唱作品，能和舞蹈家楊麗萍共舞，還能參加綜藝節目的虛拟偶像。

随着背後的直播流程管線成熟，星瞳又成為了用UE4引擎做全3D直播的第一位虛拟人。

這套流程厲害的一點在于，可以實作實時渲染，所見即所得。

也就是說，需要離線制作2到3個月的動作，隻要準備好前期的資産，2到3星期即可完成。

基于此，星瞳也成功地在2021年完成了24小時極限直播的調整。

如果星瞳和《和平精英》的吉莉都是NPC借助虛拟人技術，從二次元走進了現實世界。

童和光則是介于超寫實數字人和高保真數字人之間的虛拟人，更重要的是，童和光底層的虛拟人技術，走了一條完全自研的道路。

而這個故事，還要從第一代高保真數字人「Siren」講起。

2017年5月，Siren正式立項，其背後是來自四個國家的聯合開發團隊。騰訊NExT Studios為項目所有者，負責Unreal引擎的渲染增強和性能優化。

聯合開發期間，跨國溝通為項目帶來了巨大的風險和挑戰，無論是時差和文化多樣性，還是反複的海量資料協作。經過近一年的研發，Siren終于在次年3月現身GDC 2018。

但說到底，即便擁有這個項目，背後的底層技術還是掌握在别人手裡。

顯然，騰訊想要的可不隻是「複用」現成的模型就完了。

于是，騰訊開始嘗試用内部的人員和技術能力去開發虛拟人，不再單純地依賴國外的技術。

高保真數字人Matt、WL.S成員童和光等自研虛拟人便在這樣的背景下啟動了。

2021年騰訊和新華社合作，開始從零打造全球首位數字航天員小诤。

僅3個月之後，實時高保真數字人小诤誕生了。

她有五千多個微表情，皮膚能随光線變化而變化，她身體能夠自由轉動，帶領地球上的人們360°觀賞難得一見的火星風光。

能夠做到這一點，騰訊的兩套自研的管線功不可沒：

xMoCap動捕動畫全流程生産

xFaceBuilder數字角色制作

在xMoCap管線中，內建了綁定、動捕、資産管理、動畫工具及NExT動捕資料庫，并提供涵蓋動捕服務、資料處理、資料輸出等一站式服務。

原來2到3個人需一周時間才可完成的動捕資料處理，現在1個人在動捕完成次日就能輕松搞定，角色動畫生産效率大大提升的同時，品質也得到了提高。

而xFaceBuilder數字角色制作管線，則通過大量算法優化提升了角色人臉制作效率，能夠逼真制作人臉、毛發、服裝，打磨成了一套涵蓋模組化、綁定、動畫的全流程制作過程。

加上星瞳背後的自研直播管線、吉莉的自研骨骼綁定管線…… 經過五年的探索，不管是離線還是實時，騰訊的虛拟人在實作「千人千面」的同時， 工業化的生産也越來越成熟。

虛虛實實，未來怎麼走？

其實，此前《堡壘之夜》也在虛拟演唱會上做過不少嘗試。

周傑倫在元宇宙平台沙盒（Sandbox）裡舉辦的演唱會也是嗨翻了不少歌迷。

不過這些是純粹的虛拟體驗，這次央視和騰訊基于TMELAND打造的虛拟音樂世界體驗，更多是基于真實晚會和虛拟體驗的互動，是對傳統電視節目體驗一次突破。

而且這些虛拟技術目前的應用，也遠不僅僅在虛拟世界，而是正在快速複用到實體行業中。

感覺不是很直覺？沒關系，舉個例子就好了解了。

不知道你有沒有這樣的感覺，現在AI的發展或多或少都受了當年AlphaGo的影響。

畢竟，DeepMind告訴我們，一個成熟的遊戲環境是可以用來協助研發人工智能的。

也就是說，擺在你面前的遊戲并不隻是一個單純的遊戲，而是一個能夠提供更多場景、保證更快速度、以及更低成本的「AI訓練營」。

這麼看來也就不難了解為什麼一群清華、北大的學霸會在《王者榮耀》裡研究人工智能了。

再比如，自動駕駛是人工智能技術的「皇冠」，其中重要的環節之一是路面測試。

通過采用數字孿生技術打造虛實互動的時空，測試能夠在「平行世界」中模拟進行，這将極大加速無人駕駛時代的到來。

2018年，騰訊推出自動駕駛虛拟仿真系統TAD Sim，可以高效建構還原度極高的測試場景，完成自動駕駛汽車感覺、決策、控制算法的閉環仿真測試。

當然，用于打造虛拟世界的數字技術，其對實體行業的影響不會僅僅局限于AI和自動駕駛。

另一個極具代表性的領域就是數字文化産業了。

2022年北京冬奧會通過5G、超高清視訊、自由視角、虛拟現實、雲渲染、智能創作與分發等新技術，将開幕式上的空靈與浪漫，高速冰雪運動的精彩瞬間呈現給了全世界。

在影視文娛行業，随着遊戲引擎的應用和虛拟人技術的逐漸成熟，傳統電影電視的生産管線也正在被颠覆。

新的模式将不再受限于綠幕技術和實景拍攝，虛拟制片在前期拍攝階段的介入能夠進一步拓展影片的創意邊界，提升制片的流程和效益。

文物遺産保護領域，騰訊也在不斷探索力所能及之事，将數字化的理念合計數融入文物資訊采集、資訊存儲和資訊傳播方面。

除了滿足你宅家鬥舞以外，依托騰訊的數字技術還能讓你足不出戶「爬」長城。

雲「遊」各地博物館。

2021年12月，騰訊聯合北京市文物局啟動「數字中軸」項目。借助數字化技術，将一些在曆史沿革中已經消失的古建築，在虛拟空間複原。讓更多觀衆通過虛拟互動的方式，體驗北京中軸線的獨特魅力。

可以肯定的是，我們對虛拟世界的探索，不會止步于建構一個虛拟的烏托邦世界，我們更期待的，是打造一個虛實融合，讓真實生活更美好的未來。