NVIDIA 賦能 Cyanpuppets 打造實時 2D 視訊生成 3D 骨骼 AI 轉換模型

青色木偶科技 Cyanpuppets 緻力于 AI 圖像算法技術和實時渲染平台工具，是一家以卷積神經網絡和深度神經網絡算法為核心，打造自研 AI 模型架構、實作虛拟與現實世界驅動協作的 AIGC 技術公司。其自研 CYAN.AI 平台結合 NVIDIA GPU 算力，實作了 2D 視訊生成 3D 動作資料，具備三維空間自由人體運動，能夠為全球使用者提供 AI 無穿戴動作捕捉技術、虛拟社交全身互動技術、3D 動畫制作工具與三維空間預演技術。

數字化身的低成本實時驅動成為一大挑戰

遊戲開發商 Epic Games 的首席執行官 Tim Sweeney 曾提到，“元宇宙将是一種前所未有的大規模參與式媒介，所有使用者都可以參與、創造、分享并從中獲利，而使用者的虛拟數字化身（Avatar）可以自由地在不同平台之間穿梭”。随着 AI 算力和計算機圖形渲染技術的蓬勃發展，人類對于自由地在不同數字平台中穿梭，并随時進入虛拟世界的數字化身 Avatar 提出了更高的要求：如何輕便快捷地讓數字化身真實地表達人類的動作意願與情感，并将人類的動作實時遷移至虛拟化身上，成為關鍵性挑戰之一，細分為以下幾個具體的問題：

• 複雜的技術流程

從面部表情、手指動作到肢體動作，每個子產品往往由不同的技術方案構成，資料的同步性與流程的一體化建構面臨巨大的技術投入和人力成本挑戰。

• 高昂的捕捉成本

體驗與成本不可兼得，市面上效果較為一般的半身視覺動捕無法滿足 Avatar 的技術要求，而較為精準的光學捕捉與慣性捕捉，動辄數十萬的投入又使得 Avatar 成本居高不下。較高的成本讓普通群眾無法參與數字内容體系的建設，也無法享受技術時代帶來的新體驗。

• 割裂的數字孤島

虛拟化身的骨骼标準難以統一，不同的制作軟體、綁定系統和圖形渲染引擎會形成割裂的多個數字孤島，是以不僅每次虛拟化身穿梭到不同平台帶來的資産遷移成本很高，而且難以形成一個整體性的虛拟化身世界。

• 糟糕的捕捉體驗

身上穿戴着複雜且繁重的動作捕捉傳感器，使得數字化身的使用體檢較為糟糕，長時間穿戴帶來的不适感與疲憊感也讓元宇宙成為了難以進入的宇宙。

NVIDIA GPU 助力 Cyanpuppets打造 AI 驅動模型賦能 Avatar 發展

基于以上問題，Cyanpuppets 選擇了 NVIDIA 平台多個産品提供支援，在多張 NVIDIA GeForce RTX 3080Ti 的算力支援下，參考主流 AI 架構 TensorFlow、PyTorch、Caffe 等，對 COCO、ORGBD 等資料集進行長期訓練。硬體終端上采用  GeForce RTX 3060 /3070/3080 等系列硬體給軟體系統帶來了穩定性保障和流暢體驗感。同時，使用 Deep Learning Super Sampling（DLSS）這項 AI 深度學習技術，為使用者提供極緻的畫面渲染效果。

在 NVIDIA GPU賦能下，CYAN.AI 以 CNN 和 DNN 為底層核心訓練了近萬小時的資料集，在同步的 2D 視訊流中提取人體動作的關鍵特征做人體姿态識别，追蹤人體超過 208 個關鍵點，結合動力學、生物力學生成人體運動的模組化算法，一體化完成面部、表情與肢體共 208 點無穿戴、無标記的高精度捕捉。

CYAN.AI 建構了一個全新的骨骼系統，通過合成資料算法對主流的 Unreal Skeleton Asset、Daz、CC、Unity avatar 和 metahuman 的模型骨骼系統進行比對映射，讓虛拟化身的全身驅動不再是一個個割裂的數字孤島。

在硬體優化環節，通過對 NVIDIA GPU 算力進行分布式的算力調配，僅需成本數百元的 RGB 攝像頭就能擷取視訊流，進行插值異構即可實作更低延遲的資料資訊吞吐與資料畫面合成。

結合 NVIDIA GPU 算力支援，算法模型以低至 0.1s 的延遲實作了超低延時的視覺動作捕捉，同時輔助動捕特征平滑算法、圖像識别多目協同算法、空間檢測、定位算法和重定向算法等多種算法，即使在複雜、狹小且充滿幹擾物的使用環境中，CYAN.AI 依然可以穩定、高效、高精度地動作捕捉遷移。

“AIGC 行業是目前最受關注的人工智能領域之一，算力與算法帶來的生産力提升，讓每個個體都切實感受到新時代的來臨。傳統的行業紛紛擁抱 AI 生成科技進行産業更新，從文字生成圖檔，圖檔生成視訊再到視訊生成 3D，這是一個長久進化的趨勢，Cyanpuppets 正處于 2D 生成 3D 的關鍵環節。NVIDIA 提供的 GPU 解決方案，解決了深度學習和機器學習的技術難題，使得我們可以持續不斷地創新算法模型，拓寬應用場景，并通過 CYAN.AI 平台為全球不同行業、不同場景的使用者搭建虛拟現實協作的橋梁、虛拟化身的實時驅動方案。” 青色木偶科技 Cyanpuppets CEO 李宗興表示。