近日，Meta Reality Labs的研究人员创建了一款VR头显原型，配备了专门用于AI处理的定制加速器芯片，使在独立头显上渲染该公司的逼真的Codec Avatars成为可能。
早在公司更名之前，Meta就一直致力于名为Codec Avatar的虚拟数字人项目，旨在让VR中近乎照片般逼真的化身成为现实。该系统结合使用设备上的传感器（如眼球追踪和嘴巴追踪）和AI处理，以逼真的方式实时为用户呈现虚拟化身。
借助突破性的3D捕获技术和人工智能系统，Codec Avatar可以帮助人们在未来快速轻松地创建逼真的虚拟化身，令虚拟现实中的社交联系变得如同现实世界般自然和常见。这家公司相信，逼真的虚拟表现将会改变一切。
据了解，该公司的Codec Avatars研究的早期版本得到了英伟达Titan X GPU这样的强大显卡支持。所以，团队一直致力于研究如何在低功耗VR一体机实现Codec Avatars。上个月在 2022年IEEE CICC会议上发表的一篇论文证明了这一点。在论文中，Meta透露它创建了一个采用 7nm工艺构建的定制芯片，专门用作Codec Avatars的加速器。
据研究人员称，这种芯片离上市还很远。这种芯片属于专门定制，footprint仅为1.6mm 。团队在设计时特别考虑了Codec Avatars处理管道的一个重要环节：分析传入的眼动追踪图像，并生成Codec Avatars模型所需的数据。反过来，他们还重建了Codec Avatars AI模型的一部分，以利用芯片的特定架构。
Reality Labs研究人员表示：“通过重新构建基于卷积神经网络的眼动追踪提取模型并针对硬件进行定制，整个模型都适合芯片，以降低片外内存访问的系统级能量和延迟成本。通过在电路级有效地加速卷积运算，所展示的原型芯片在外形小巧下实现了每秒30帧的性能和低功耗。”
通过加速Codec Avatars工作负载的密集部分，该芯片不仅加快了进程，而且还降低了所需的功率和热量。由于芯片的定制设计，它能够比通用CPU更有效地做到这一点，然后为Codec Avatars的眼动追踪组件的重新架构软件设计提供信息。
但头显的通用CPU会以全功耗运行，尽管定制芯片可以处理Codec Avatars编码过程的一部分，但管理解码过程并呈现虚拟数字人的实际视觉效果是骁龙XR2。
令人印象深刻的是，Meta的Codec Avatars可以在独立头显上运行，即使需要专用芯片也是如此。但我们不知道的一件事是Codec Avatars视觉渲染的处理效果。用户的底层扫描非常详细，但是可能过于复杂，无法在Quest 2上完整呈现。目前尚不清楚Codec Avatars的“逼真”部分在这种情况下保留了多少。
值得一提的是，该研究代表了新计算架构的实际应用，Reality Lab的首席科学家Michael Abrash最近将其描述为使XR的科幻愿景成为现实的必经之路。在早前的一次演讲中，他表示为了实现科幻作品描述的真正XR设备，我们需要从高度集中的处理转向一种分布式的处理架构。
可以想象，一系列特定于XR的功能可以从专门设计的芯片中受益。例如，空间音频在XR中是理想的，以增加沉浸感，但逼真的声音模拟在计算上是昂贵的（更不用说耗电了）。另外，将统一设计硬件和算法可以在速度和功率方面产生巨大的帮助。