天天看點

NVIDIA 助力 KIRI Innovations, 用 AI 賦能 3D 内容生成

作者:NVIDIA英偉達中國

KIRI Innovations 是一家面向全球市場的 AI 公司,緻力于通過前沿技術賦能 3D 内容制作,降低 3D 内容生産的門檻。公司擁有 3D 重建引擎 KIRI Engine,通過手機拍照即可實作對物體的超寫實 3D 模組化。

上線短短幾個月的時間内,KIRI Engine 全球使用者已突破 30 萬人,且還在快速增長中,其中包括 Google、Roblox、EA、Epic Games、Meta 等元宇宙企業使用者。使用者通過 KIRI Engine App 或 KIRI Engine 網頁端将圍繞物體拍攝的照片上傳至雲端進行處理,就可以獲得和現實物體一模一樣的 3D 模型素材,再将這些逼真的 3D 模型素材應用在各種包括 VR 場景、3D 遊戲、影視特效在内的 3D 内容制作中。

NVIDIA 助力 KIRI Innovations, 用 AI 賦能 3D 内容生成

KIRI Engine 生成的 3D 模型素材擁有逼真的紋理材質資訊

NVIDIA 助力 KIRI Innovations, 用 AI 賦能 3D 内容生成

使用者使用 KIRI Engine 生成的 3D 模型出現在各種 3D 遊戲、VR 場景,甚至影視作品中

KIRI Engine 的背後,是一套部署在雲端的神經網絡重建算法,能夠通過多角度照片集或視訊,對現實物體生成具有紋理材質資訊和幾何資訊的超寫實 3D 模型。這種重建算法的計算量非常巨大,使用傳統解決方案意味着消耗大量的算力資源和成本。KIRI Engine 使用 NVIDIA V100 和 NVIDIA T4 GPU 在雲端進行計算,V100 負責進行複雜的神經網絡訓練,而 T4 則負責模型推理,将訓練好的模型移至 T4 GPU 的主機上,通過輸入新的資料來獲得想要的結果;T4 也會進行相對簡單的圖像處理和點雲比對計算任務,同時依靠 NVIDIA CUDA 進行加速,使得計算成本得以減少數百倍至每個模型幾角錢。

KIRI Engine 的核心價值不僅在于用更低的成本為 3D 開發者提供 3D 重建工具,更在于通過快速增長的使用者在雲端積累海量 3D 資料集。随着 AI 帶來的創作變革,AI 生成 3D 模型将會是下一個生成式 AI 的主戰場,而高度标準化的 3D 資料集是 AI 生成 3D 模型的必要條件。在生成式 AI 全面到來的時代,KIRI 正在面對一個更大的市場和全新的挑戰。

如何兼顧降低計算成本與提升 3D 重建水準

傳統的照片 3D 模組化技術對 CPU 非常依賴,但 CPU 的硬體限制使得這種方法的成本過高,是以其應用領域主要是資金充裕的大型企業和政府項目。人們與資訊的互動方式正在因 VR/XR 的技術突破而經曆從 2D 向 3D,和從資訊互聯到空間互聯的範式轉移。這種範式轉移将極大帶動市場對 3D 内容的需求,顯然過去高成本的 3D 模組化技術無法适應市場的變化。是以,需要探索一種新的計算方式,在滿足不斷增加的 3D 重建需求的同時,還要颠覆性地降低計算成本。

NVIDIA 助力 KIRI Innovations, 用 AI 賦能 3D 内容生成

three.js 腳本在 Github 的周下載下傳量

three.js 腳本作為制作 3D 内容必不可少的工具之一,其下載下傳量趨勢能側面反映出全球 3D 内容的增長趨勢;而從表中可以看出 three.js 腳本在 Github 的周下載下傳量在一年的時間内翻了一倍,以此足以看出 3D 化的範式轉移在以驚人的速度滲透人們的互動方式。

在算法層面,KIRI 開創性地使用了神經網絡和視覺算法混合計算的方法。這樣的優勢在于神經網絡重建能夠更好地還原一些無法被視覺算法重建的物體,例如高度反光或透明的物體,但對于特征點足夠多的物體,視覺算法能夠捕捉到更多的表面細節。

因為神經網絡的加入,使用 GPU 是必然的選擇,是以使用 CPU+GPU 異構計算,盡管擁有 CPU+GPU 的伺服器價格大概會是同級别的 CPU 價格的 2 倍,但計算時間可以大概節約 11 倍。(用機器學習進行 3D 模型的紋理貼圖計算,CPU 需耗時 1600 秒,但 GPU 隻需 130 秒。)

同時對 3D 重建任務進行 CUDA 加速并加入擴/縮容機制 。在計算任務少的時候隻使用單台 GPU 確定運作穩定,計算任務一旦開始變多,雲架構能夠自動擴容,最多使用數十台伺服器并行運算。這樣一來,通過 CUDA 加速的神經網絡算法能夠在大幅度降低單次運作的時間成本,而擴/縮容機制在確定使用者體驗的同時避免資源浪費。

NVIDIA 為 KIRI 提供高效穩定算力支援

基于以上考量,KIRI 選擇 NVIDIA 的産品生态來提供支援。因為 NVIDIA 産品生态的多樣性能夠滿足全部技術需求,且提供高效穩定的算力支援。

NVIDIA CUDA: 通過 CUDA 進行計算加速是 KIRI Engine 得以高效且低成本運作的重要原因之一。在傳統純 CPU 運作環境裡,哪怕是運作最簡單的 3D 重建算法也需要花費 20-60 分鐘的時間。而通過 CUDA 加速後,KIRI 目前的重建算法隻需要 5 分鐘。(甚至 KIRI 正在努力嘗試達到 25 秒内生成 3D 模型的加速。)

NVIDIA T4 GPU: T4 是 KIRI 進行運算的中堅力量,T4 擁有低延時高吞吐量,進而可以實時滿足更多的請求。

NVIDIA V100: KIRI 使用 V100 來進行神經網絡模型的訓練。神經輻射場重模組化型往往需要數個小時才能完成訓練,但通過 V100 與 CUDA 的配合,再加上 KIRI 對算法的優化,目前在 KIRI Engine 上完成神經輻射場模型訓練隻需要 25 分鐘。( KIRI 也在努力對架構和算法進行優化,力争兩個月内能夠将神經網絡模型的訓練縮減到 5 分鐘以内。)

NVIDIA 助力 KIRI 平台使用者增長

“目前 KIRI Engine 是全球增長速度較快的超寫實 3D 模型生成平台之一,面對每天數以千計的 3D 模型生成任務,穩定高效的算力是我們得以快速成長的核心要素。” KIRI Innovations 聯合創始人兼 CEO 王正男表示,“NVIDIA 的産品生态非常出色地幫我們解決了算力問題。一方面 NVIDIA 有很豐富的顯示卡選擇,我們能夠針對不同的處理任務使用不同的顯示卡,避免不必要的算力浪費;另一方面 CUDA 的加速機制配合我們為其量身打造的 3D 模組化算法,讓我們真正在速度和成本上超越了競争對手,得以承載每天不斷增長的使用者需求。”

繼續閱讀