近日，Meta Reality Labs的研究人員建立了一款VR頭顯原型，配備了專門用于AI處理的定制加速器晶片，使在獨立頭顯上渲染該公司的逼真的Codec Avatars成為可能。
早在公司更名之前，Meta就一直緻力于名為Codec Avatar的虛拟數字人項目，旨在讓VR中近乎照片般逼真的化身成為現實。該系統結合使用裝置上的傳感器（如眼球追蹤和嘴巴追蹤）和AI處理，以逼真的方式實時為使用者呈現虛拟化身。
借助突破性的3D捕獲技術和人工智能系統，Codec Avatar可以幫助人們在未來快速輕松地建立逼真的虛拟化身，令虛拟現實中的社交聯系變得如同現實世界般自然和常見。這家公司相信，逼真的虛拟表現将會改變一切。
據了解，該公司的Codec Avatars研究的早期版本得到了英偉達Titan X GPU這樣的強大顯示卡支援。是以，團隊一直緻力于研究如何在低功耗VR一體機實作Codec Avatars。上個月在 2022年IEEE CICC會議上發表的一篇論文證明了這一點。在論文中，Meta透露它建立了一個采用 7nm工藝建構的定制晶片，專門用作Codec Avatars的加速器。
據研究人員稱，這種晶片離上市還很遠。這種晶片屬于專門定制，footprint僅為1.6mm 。團隊在設計時特别考慮了Codec Avatars處理管道的一個重要環節：分析傳入的眼動追蹤圖像，并生成Codec Avatars模型所需的資料。反過來，他們還重建了Codec Avatars AI模型的一部分，以利用晶片的特定架構。
Reality Labs研究人員表示：“通過重新建構基于卷積神經網絡的眼動追蹤提取模型并針對硬體進行定制，整個模型都适合晶片，以降低片外記憶體通路的系統級能量和延遲成本。通過在電路級有效地加速卷積運算，所展示的原型晶片在外形小巧下實作了每秒30幀的性能和低功耗。”
通過加速Codec Avatars工作負載的密集部分，該晶片不僅加快了程序，而且還降低了所需的功率和熱量。由于晶片的定制設計，它能夠比通用CPU更有效地做到這一點，然後為Codec Avatars的眼動追蹤元件的重新架構軟體設計提供資訊。
但頭顯的通用CPU會以全功耗運作，盡管定制晶片可以處理Codec Avatars編碼過程的一部分，但管了解碼過程并呈現虛拟數字人的實際視覺效果是骁龍XR2。
令人印象深刻的是，Meta的Codec Avatars可以在獨立頭顯上運作，即使需要專用晶片也是如此。但我們不知道的一件事是Codec Avatars視覺渲染的處理效果。使用者的底層掃描非常詳細，但是可能過于複雜，無法在Quest 2上完整呈現。目前尚不清楚Codec Avatars的“逼真”部分在這種情況下保留了多少。
值得一提的是，該研究代表了新計算架構的實際應用，Reality Lab的首席科學家Michael Abrash最近将其描述為使XR的科幻願景成為現實的必經之路。在早前的一次演講中，他表示為了實作科幻作品描述的真正XR裝置，我們需要從高度集中的處理轉向一種分布式的處理架構。
可以想象，一系列特定于XR的功能可以從專門設計的晶片中受益。例如，空間音頻在XR中是理想的，以增加沉浸感，但逼真的聲音模拟在計算上是昂貴的（更不用說耗電了）。另外，将統一設計硬體和算法可以在速度和功率方面産生巨大的幫助。