天天看點

英偉達兩個最新元宇宙布局

元宇宙就好像一片還沒有被開發的“美洲”,吸引了許多企業來淘金。當中最積極的莫過于Meta了。實際上除了Meta之外,英偉達也是不遺餘力的布局元宇宙,希望成為元宇宙領域的基礎設施供應商。在2022年8月的SIGGRAPH大會上,英偉達大秀肌肉,展示了他們的最新進展。例如新推出的Omniverse ACE以及希望能夠将通用場景描述 (USD)作成為元宇宙的 HTML,讓更多的元宇宙平台之間能夠互動。

英偉達打造強大的雲原生超級計算機

在2022年8月9日SIGGRAPH大會上,英偉達自家的元宇宙産品大放光彩,當中包括了雲原生超級計算機(Omniverse ACE,Omniverse Avatar Cloud Engine)。雲原生超級計算機融合了高性能計算的強大算力和雲服務的安全性與易用性。雲原生超級計算機在保障不犧牲應用性能的同時允許多使用者安全共享。雲原生超級計算機允許多使用者共享一台超級計算機,同時保證每個使用者的應用的安全性和私密性。再來則是雲原生超級計算機使用DPU來處理存儲、租戶隔離安全和系統管理等任務。這樣可以解放CPU,使其專注于處理任務,進而最大限度地提高系統的整體性能。

英偉達兩個最新元宇宙布局

 雲原生超級計算機與傳統超級計算機的差别

英偉達兩個最新元宇宙布局

Omniverse ACE建立在英偉達的統一計算架構之上,該架構提供了對豐富的軟體工具和API的通路,進而利用高度逼真且可以進行互動的化身所需的各種技能。這些工具包括用于開發語音AI應用的Riva、用于計算機視覺和智能視訊分析的Metropolis、用于高性能推薦系統的Merli、用于自然語言了解的大型語言模型的NeMo Megatron,以及用于AI動畫的Omniverse。

自Omniverse釋出以來,已經有近20萬次下載下傳量。而此次英偉達釋出的Omniverse ACE更是将Omniverse推向另一個境界。Omniverse ACE的核心技術包括了實體加速引擎PhysX(如今支援粒子分布的模拟),大幅提升虛拟世界實體準确性、開源的材質定義語言(可以模拟實體上的精确材料,并支援圖形API标準,如OpenGL或Vulkan)、結合RTX圖形和AI的神經圖形功能(例如疊代動物的形式與點雲,然後自動生成一個3D 網格、可以可以生8K,360度全景圖和從2D圖像建立3D對象和場景)等。

Omniverse ACE的Audio2Face功能,不僅可以完全根據聲音建立面部動畫,而且還能随着時間的推移引導化身的情緒。也就是說,創作者可以輕松地融合關鍵情緒,如喜悅、驚奇、憤怒和悲傷。在未來版本的Audio2Face中,開發者可以隻用一張照片建立化身,自動應用紋理并生成可用于動畫的3D網格。Audio2Gesture能用能用音頻檔案生成逼真的身體姿勢動作;Project Tokkio則能提供視覺、感覺和智能對話能力,讓虛拟形象提供建議、提高餐廳等場所的客戶服務水準。

Vid2Vid Cameo功能則是可以利用人工智能從任何标準的2D視訊中捕捉人物的面部動作和表情。此一神經網絡功能進行了18萬段視訊的訓練,學會了識别20個關鍵點來模拟面部運動ーー對眼睛、嘴巴、鼻子、眉毛等部位進行編碼。

Omniverse ACE的擴充機器學習架構Modulus則是允許開發人員通過使用AI來加速現實世界實體模拟,讓元宇宙看起來和感覺上都像實體世界。

英偉達表示,人工智能未來将幫助藝術家們創造出建造元宇宙所需的大量3D内容。例如,他們可以使用神經圖形來快速捕捉實體世界中的對象和行為。

Omniverse ACE的模型和服務都在雲端,是以企業不用擔心算力問題,任何規模的企業都可以立即獲得建構部署虛拟形象所需的大規模算力。這對遊戲、聊天機器人、虛拟人、數字孿生和虛拟世界的大規模生産工作都會很有幫助。

英偉達副總裁Rev Lebaredian表示,Omniverse ACE結合了相當多複雜的人工智能技術,開發者不僅可以更容易地建構和定制栩栩如生的虛拟助手,而且這些數字人甚至還有可能通過圖靈測試。此外,Rev Lebaredian也進一步确定了英偉達進軍元宇宙的決心:元宇宙蘊含的商機價值數萬億美元,任何企業機構都不願錯過它。

新推出的Omniverse ACE基本覆寫了虛拟人所需的各種核心功能,如實作了解多種語言、響應語音提示、智能視訊分析、高性能推薦系統、與環境互動并提供智能建議等等。這些工具使開發者足以解鎖互動式虛拟人所需的大部分技能,并做到先進水準。隻能說英偉達在布局元宇宙的道路上越走越遠且越戰越強。

英偉達兩個最新元宇宙布局

 Omniverse ACE生成的模型

英偉達希望USD 成為元宇宙的 HTML,讓更多元宇宙平台可以互動

元宇宙是英偉達重點布局的領域之一。目前而言,英偉達正在推動通用場景描述協定 (USD,最初由皮克斯發明的協定) 作為虛拟世界中可互操作内容和體驗的基礎。

雖然元宇宙屢次被人們所提及。然而絕大多數此類平台本身就是孤島,與其他虛拟空間、人或對象沒有連接配接。想要打造一個真正意義上的元宇宙,至少需要具有一些互操作性元素,允許使用者無縫地從一個虛拟空間移動到另一個虛拟空間,就像我們今天在網絡上所做的那樣。為此,英偉達正在推動通用場景描述 (USD) 作為“元宇宙的 HTML”。

就好比 HTML 形成對網頁的描述(它可以托管在網際網路的任何地方),并由 Web 浏覽器在本地檢索和呈現。USD 是一種用于描述複雜虛拟場景的協定,可以根據本地硬體能力在不同程度上進行檢索和渲染。英偉達建議使用USD 浏覽器之類的東西來定義虛拟空間的常用方法,任何人都可以輕松破譯和渲染。英偉達表示,建立元宇宙所需的最基本标準是對虛拟世界的描述。英偉達相信該标準的第一個版本已經存在,它就是USD,一個開放且可擴充的生态系統,用于在 3D 世界中描述、組合、模拟和協作。USD 包括擴充到大型資料集所需的功能,例如延遲加載和有效檢索時間采樣資料。它具有極大的可擴充性,允許使用者自定義資料模式、輸入和輸出格式,以及查找資産的方法。USD在視覺特效和動畫、工業、設計和科學應用等方面都呈現出快速增長的勢頭。媒體、遊戲、機器人、工業自動化、零售和百貨行業的創新者已經開始将USD作為他們首選的元宇宙語言。

USD最初由皮克斯創造(2015年開源的協定),目的是簡化複雜 3D 動畫項目的協作。USD 不僅僅是 3D 幾何圖形的檔案格式,可以描述具有各種對象、紋理和照明的複雜場景,還可以包括對其他地方托管的資産的引用、屬性繼承和分層功能,允許對單個場景進行非破壞性編輯,并有效地重用資産。

雖然英偉達認為USD是元宇宙平台的正确起點,但USD還需要進一步發展、完善才能夠完全滿足元宇宙的需求。目前英偉達也透露了一些與皮克斯合作的地方來幫助USD完善。例如英偉達正在開發一種以 USD 為機關的地理空間模式以支援地理空間坐标的 WGS84 标準(該标準未來将會運用到英偉達打造的數字孿生模型當中)。除此之外,英偉達正在與皮克斯合作,為 USD 添加對 UTF-8 辨別符的支援,進而允許完全交換來自世界各地的内容。而為了進一步加快 USD 的開發和采用,英偉達正在建構一個用于 USD 相容性測試和認證的開源套件。開發人員将能夠測試他們的 USD 建構,并證明他們的自定義 USD 元件産生了預期的結果。英偉達還宣布投資建構能夠将流行的3D軟體生态系統連接配接到Omniverse的USD插件。

認為USD是元宇宙未來基礎的不是隻英偉達一家公司。在新成立的元宇宙标準論壇上,此想法得到了幾千家公司的支援(英偉達也是該論壇的成員,其他成員包括皮克斯、Adobe、Autodesk、西門子等)。該論壇還指出 USD 是可互操作虛拟空間和體驗的基礎。

西門子數字工業首席技術官Dirk Didascalou表示,西門子将計劃與英偉達合作開發下一代USD格式。此外,西門子也将會在旗下的Xcelerator平台(一個主要實作工業元宇宙的平台)上支援USD。沃爾沃汽車進階可視化專家Mattias Wikenmalm 也表達了USD具有巨大發展前景,沃爾沃在第一時間了解到開放、可擴充、可互操作的3D場景描述對元宇宙項目的價值。通過保持統一的資産來源并實作它們在不同虛拟世界之間的交換,沃爾沃将打造出真正無縫的3D網際網路消費者應用。