天天看點

MR向雲延伸,揭示蔚領時代所不為人知的一面

作者:VR陀螺

VR為使用者創造了一個完全封閉的沉浸式互動3D空間。能夠打破這種“與世隔絕”的限制,讓虛拟世界與現實世界相融,并提供新的觀看和互動方式的MR展現出巨大的潛能。

MR向雲延伸,揭示蔚領時代所不為人知的一面

一鍵切換沉浸觀影模式(圖源:蘋果)

從蘋果Vision Pro目前展示的體驗内容和場景來看,首先從原有内容生态移植的作品将是最早一批,而後随着開發者對于蘋果開發工具以及産品的研究愈發深入,基于其核心眼動+手勢互動以及3D空間計算特性的内容将作為第二批開始湧現。

而無論是未來第一批還是第二批内容,由蘋果Vision Pro超高性能配置所引發的MR浪潮,3D高畫質的内容都将成為其中最為核心的一類。

MR大勢所趨,雲或将改寫虛拟世界規則

6月的蘋果全球開發者大會結束後,人們的注意力轉向了蘋果Vision Pro以及XR産業鍊相關公司,市場對MR的關注度持續提高。蘋果針對該平台重新設計了系統、晶片、光學、互動、平台以及開發工具,最終形成了一套完整的産品生态。雙4K Micro OLED螢幕、M2+R1雙處理器、高精度傳感器、12個攝像頭,結合蘋果的生态系統,Vision Pro每一項參數都朝着“頂配”的方向設計。

而蘋果推出如此高規格的産品,則與其本身的定位有關,蘋果将MR頭顯視為用于可滿足娛樂、日常活動、辦公場景以及提升生産力的工具。如此一來,硬體參數的提升對内容的品質也有了更高的要求,不僅是清晰度、流暢度、穩定性,還有強調沉浸度的互動感。

MR向雲延伸,揭示蔚領時代所不為人知的一面

Quest Store(圖源:Meta)

一直以來,大部分的VR裝置重點都聚焦在全沉浸的VR上,而自去年開始,陸續釋出的VR終端開始結合VST功能,在VR的基礎上拓展虛實融合的MR場景成為了所有終端廠商不謀而合的一緻目标,而蘋果更是将VST的透視效果拉到了天花闆級别,讓體驗達到與OST(基于光學的透視效果)方案足以匹敵的水準。

VST是實作MR融合的技術形式之一,起初用于解決VR安全問題,用來完成定位并設定安全邊界,而後其功能逐漸擴充,進一步融合Lidar、空間映射、空間錨點、場景了解等AR功能。

随着光學技術的進步,未來會有更豐富的視覺呈現形式應用于人們的工作生活和娛樂體驗中,MR融合已是大勢所趨。

盡管MR帶來了新的操作體驗,但市面上完成度高的應用并不多,大部分MR項目仍處于Demo階段。究其原因,首先搭載VST的裝置上市時間較短,通常應用開發時間短則數月,多則數年,開發者接觸的時間并不算長,而且,大部分開發者的核心場景仍圍繞VR為主。而且,之前大部分終端VST效果有限,通過1600萬像素攝像頭所捕捉的現實世界畫面效果稍顯粗糙,畸變、延遲、SLAM穩定性仍需要提升。MR主打“與現實空間實時互動”的功能,更不用提很多裝置連空間定位功能都不具備,可實作的互動能力也參差不齊。

此外,MR對硬體側實時渲染有很高的要求,由于所有資源均為3D,計算量遠遠大于2D内容,如果要渲染高分辨率的畫面,對于計算性能以及帶寬的傳輸都是一大難點。

XR硬體參差不齊,大部分硬體算力又十分有限。如何降低各類成本,降低高品質内容與硬體裝置的性能之間的強關聯屬性?雲技術或許有望成為MR時代改寫規則、解決成本和算力問題的有效解決方案。

作為蔚領時代探索MR世界的第一步,其《春草傳·木禾危機》雖然目前尚未完全MR化,但這一部影視級畫面表達的沉浸式3D互動作品,還融合了雲、AI、數字人等核心技術,或許作為第一批高畫質移植類作品中驗證技術融合價值的有力參考。

蔚領時代《春草傳·木禾危機》開啟探索MR第一步

7月26日,蔚領時代在上海浦東舉辦以“聚勢·破界”為主題的釋出會。會上,其展示了集遊戲、雲渲染、AI(AIGC)的影視級沉浸式3D互動作品《春草傳·木禾危機》。

《春草傳·木禾危機》是《春草傳》的續作,第一部作品也以“電影級雲原生”為核心标簽,一經發出就積累了非常高的人氣。如他們在B站釋出的《春草傳》技術示範視訊播放量已經超過百萬。同時主角“春草”更是憑借高精度的動作和細膩的表情,以數字人演員身份正式出道,進一步深化作品IP價值。

MR向雲延伸,揭示蔚領時代所不為人知的一面

圖源:B站截圖

《春草傳·木禾危機》作為續作,在前作的基礎上融合了非常多前沿技術的探索。相比第一部《春草傳》,現場蔚領時代使用Meta Quest Pro、Goovis以及裸眼3D螢幕和傳統TV四種形式來展示了第二部的體驗,雖然并沒有使用大家所了解的MR空間互動,但在VR/MR終端中,所呈現出來的3D和巨幕震撼效果,要遠超2D電視和裸眼3D桌面顯示效果。在蔚領時代看來,這是其邁向MR的第一步,未來還将探索更深更沉浸的空間互動體驗。《春草傳·木禾危機》巧妙地融合影視和遊戲,既具備觀賞故事性,同時也保留了一定的可玩性和互動性。

《春草傳·木禾危機》将以“連續劇”的形式分集推出,完整地講述一個故事,同時讓使用者參與到故事的推進中,這不僅大幅縮短了遊戲從立項到上線的時間,同時通過分集推出的形式,也改變了傳統遊戲的商業模式,可以讓使用者以訂閱的形式“追劇”。

讓人印象深刻的是作品堪稱“電影級”的畫面效果,據了解該遊戲地圖由複雜精細的船體和山體大規模堆疊而成,作品包體光模型就已經達到了40GB。

成本是開發者重點關注的因素,據蔚領時代創始人兼董事長郭建君介紹:“《春草傳》每一分鐘的成本接近130萬,我們做了7個月。而《春草傳·木禾危機》每分鐘的成本從130萬降到30多萬,我們的制作時間僅4個月。明年的時間我們要把制作成本從30多萬變成10萬~15萬每分鐘,如果有大量的團隊實作高效的生産力,我相信能夠實作蔚領第二曲線的生産目标。”

雖然在體驗媒介和開發的部分,融入了諸多新技術,不過與前作一樣的是,《春草傳·木禾危機》依然保留了雲原生的屬性。在2D平面終端上實作雲原生,與在以3D為核心的MR終端上實作,其資料量的差異可想而知,更不用說未來的MR終端即将要向雙眼8K的标準邁進,對于作品畫面表現的要求隻會越來越高,而渲染的壓力也是指數級提升。

MR向雲延伸,揭示蔚領時代所不為人知的一面

圖源:蔚領時代

實作雲原生電影級沉浸式互動背後的技術底層

過去的遊戲開發和影視制作的路徑是完全不同的,無論是資産容量還是内容品質,制作一款遊戲都不需要大規模分工。而《春草傳·木禾危機》作為蔚領時代集雲渲染、雲原生、AI等技術的大成者,相比傳統開發大幅實作了降本增效。

雲遊戲與本地遊戲的一大差別就在于算力差異,将渲染算力從手機側轉移到服務端側,算力将大幅提升,雲遊戲的畫面相比僅在手機端渲染有明顯的畫質提升。

然而不少MR内容難以落地的原因在于MR裝置所附帶的算力始終有限,當下的目标是解決算力和傳輸的問題。

通過蔚領時代基于深度神經網絡建構的“端側實時超分”技術,可以解決MR項目難以落地的問題,降低端側要求的同時使用一部分空閑的端側算力來實作雲遊戲的效果。

《春草傳·木禾危機》畫面分辨率要達到4K以上,在MR側平鋪顯示時才會有清晰震撼的視覺效果。而碼率的不足對于畫面的品質也會産生巨大影響,導緻畫面不清晰或畫面延時。端側實時超分能有效解決這一問題,通過在服務端運作1080P渲染,端側本地超分提升至4K畫質,就可以在目前傳輸條件下,在MR平鋪效果中實作更清晰的畫質。同時,還能将雲端的渲染從4K降低至1080P,有效節省計算資源。

MR向雲延伸,揭示蔚領時代所不為人知的一面

圖源:蔚領時代

雲遊戲的端側實時超分相比主流短視訊端側超分,計算量和IO基本上都是短視訊應用的4倍。為了讓超分技術落到實處,蔚領時代将技術核心聚焦到了近段時間風頭正盛的AI。

AI技術在優化3D資産方面有着舉足輕重的作用。蔚領時代AI Lab團隊利用AI在性能方面進行深度優化:

首先,通過量化、剪枝、重參數化等方式,極緻壓縮模型大小,增強模型學習和表達能力;其次,通過算子定制優化方式,在神經網絡推理側實作更高的層間并行度;最後,通過在CPU/GPU/NPU(AI晶片)中針對不同子產品選擇最合适的計算單元,實作最底層的記憶體共享,避免操作冗繁,給使用者帶來更好的娛樂體驗。

蔚領時代還攻關了“多GPU協同渲染”核心技術課題。據了解蔚領時代旗下業務部門“矽基大陸”主要研究GPU伺服器,搭載我們自身雲渲染技術,可為更多行業提供充裕的硬體和軟體支援。

搭建雲端GaaS能力,不僅在遊戲領域有着重要作用,在各行各業都有着非常大的需求。

蔚領時代認為,雲端GaaS能力的建設,有可能會成為未來MR虛拟時代需要比對的基礎基建和算力基座。而基于已有能力展示MR内容的創新,也是蔚領時代重點打磨《春草傳·木禾危機》的原因之一。

MR向雲延伸,揭示蔚領時代所不為人知的一面

圖源:蔚領時代

郭建君表示:“我們戴上MR裝置是需要支付成本的,這個成本就是舒适性,它畢竟是一個穿戴式大眼鏡,同時還有安全性方面的考慮。當我們支付成本的時候需要換取一些東西,換什麼呢?換的就是沉浸感,但是一個可以互動的動漫在沉浸感的塑造上不夠理想。是以MR本質上對于遊戲行業的要求,應該是讓遊戲可以從互動的動漫更新為可以互動的影視,達到影視級别的視覺效果,大家才會在沉浸感上得到一定的滿足。”

MR将是人類感受虛拟世界的主要入口,用MR建構蔚領第二價值曲線

近期,蘋果正式開放Vision Pro開發者硬體申請,并提出了諸多針對應用開發指南。蘋果Vision Pro讓MR開發者看到了更大的創意發揮空間。而MR視覺和互動兩大體驗的升維,讓蔚領時代看到了MR的前景。

目前的主流觀點之一是:MR有望成為新一代通用計算平台。回顧通用計算平台的發展,以螢幕為代表的輸出裝置發生非常大的變化,從PC到智能手機,再到更小MR,螢幕在向“實體小尺寸、虛拟無限屏”變化,通過MR獲得的體驗也是PC和手機難以媲美的。

目前僅依靠2D螢幕無法直接進入到《頭号玩家》那樣的虛拟世界,但通過3D,MR有望掀起新浪潮。

郭建君先是回顧了蔚領時代的發展曆程,5G傳輸速率的提升,雲計算ToC的巨大前景,遊戲場景與雲的完美契合,這些機遇點使得蔚領時代順利從0到1推進雲遊戲,但以手機為代表的移動終端不一定是雲遊戲的最大需求場景,對算力和内容有着極大需求的還有MR。

他表示:“目前數字經濟正在進入網際網路3.0階段,網際網路經曆從資料、算法時代,開始向可視化更新發展,在這一大趨勢下,MR将是人類感受虛拟世界的主要入口,實時渲染技術則是沉浸式視覺體驗時代的基礎。MR作為重要的視覺載體,是我們從現實世界穿越到一個更加複雜,或者說更加可視化的虛拟世界的重要入口。是以在我們看來,下一個時代的核心就是從計算到可視化的渲染。”

MR向雲延伸,揭示蔚領時代所不為人知的一面

圖源:蔚領時代

成立于2019年的蔚領時代,一直被外界界定為一家實時雲渲染解決方案提供商。雲遊戲是蔚領時代的第一曲線,而在雲遊戲之上,郭建君有着自己的想法:“我們是一家科技公司,我們想做的第二曲線是幫助XR内容實作工業化生産,但是難在遊戲本身還沒有工業化,影視實作了工業化,我們又先在影視領域進行學習。而蔚領時代将與更多産業夥伴達成生态戰略合作,進一步完善其以實時雲渲染為底層技術邏輯的元宇宙生态,向下一代數字世界算力基座的偉大目标全力奔跑。”

朝着這個目标,蔚領公布了由4大事業部和2大能力中心構成的全新組織架構—— 虛拟方舟工作室、雲遊戲事業部,矽基大陸事業部,數字人事業部以及AI Lab與“宇宙魔方”開發者平台兩大中心。

虛拟方舟工作室作為蔚領時代标杆案例的輸出方,主要負責将其核心技術能力以産品的形式呈現出來,如《春草傳》系列均由該團隊開發。

雲遊戲事業部是蔚領的業務基石,《雲原神》、《幻塔》以及小米雲玩上超過150款雲遊戲,都是該事業部沉澱下來的成果。

“矽基大陸”通過多GPU互聯加上其投資的浸沒式液冷技術,從硬體層提供雲端的GPU能力。據了解,其目前服務的客戶超過30家,合作落成的資料中心有50家,并實作了2萬台出貨量。

數字人事業部帶來了通過一張2D照片生成超寫實數字人的技術,并且在此之上通過智能綁定,實作數字人的口型、面部表情以及肢體動作的驅動。“這項技術是我們和影眸科技一起聯合開發,由他們生成數字人資産,我們自己研發的智能綁定系統,可以高效地把3D模型驅動起來。”

AI Lab 在現場展示了一部由AI生成的雲原生3D動畫作品《靈月之境》,作品中的場景、人物的表情、動作全都由AI生成。“今年AIGC的爆發讓我們看到了更激進的未來,我們覺得AI不隻是生産力的提升,而是一個生産力的解放”,AI Lab負責人王硯峰表示。

視訊加載中...

最後“宇宙魔方”開發者平台,則是內建了内容的開發、營運和部署的一系列工具,目标提升分發效率,據稱根據既往案例資料,在該平台上内容分發的效率平均提升了70%,算力成本平均降低了60%。

正如蔚領時代本次釋出會所強調的那樣:“我們以碳基大陸為起點,搭乘方舟,跨越算力之海,找尋矽基大陸的過程。它也是一個虛拟世界建設的過程、探索的過程,那裡有無窮的美好等着我們去探索。”