新智元報道
編輯：桃子 小鹹魚
【新智元導讀】Connect 2021大會上，小紮将Facebook改名為Meta，全力奔向元宇宙。而在許多人看來，這隻是元宇宙的PPT。其實，Meta一直在開展Codec Avatars項目，目前已能建立出逼真的虛拟角色，連頭發絲都根根分明。
紮克伯格也來挑戰「光劍變裝」了。
你以為是這樣的？NoNoNo!
小紮沒有唐藝昕那樣的炫酷，倒是多了幾分滑稽。
右手背後藏劍，左手亮劍：一瓶BBQ蘸汁。
這是小紮在「元宇宙」中虛拟化身（Avatar），這一亮劍視訊讓許多人紛紛轉發。
自從Facebook更名為Meta，正式進軍元宇宙之後，「元宇宙」這個詞的熱度就一直未減。
而與「元宇宙」一起被頻繁提及的，就是「化身」（Avatar）這個詞。
「化身」，通俗意義上講，就是人們在虛拟世界裡的形象。
12月10号，「元宇宙」先鋒Meta開放了自家的虛拟世界平台Horizon Worlds。
當使用者進入Horizon Worlds後，就需要建立一個3D虛拟化身。
有了化身，使用者就可以在這個自定義的世界中暢快玩耍。
不過，略顯尴尬的是，這些avatar的表情都非常僵硬。
是以，雖然目前的3D虛拟化身也勉強能用，但離着科幻電影，比如「頭部玩家」裡那種逼真的化身形象，還有十萬八千裡。
而Codec Avatars項目便代表了Meta在虛拟化身領域所做的努力。
「元宇宙」不是PPT，Meta真在做
小紮改名Facebook的決心也不是鬧着玩兒的。
若想在元宇宙中實作真正的互動，虛拟化身可是打開元宇宙這道門的任督二脈。
Codec Avatars這一項目旨在實作一個能夠捕獲和表示用于XR的逼真頭像的系統。
基于3D捕捉和AI技術，Codec Avatars可以讓人們快速能夠輕松地建構屬于自己的虛拟化身，并使虛拟空間中的互動像在現實世界一樣自然。
最初這個項目是以高品質的頭像示範開始，後來逐漸實作建構全身的虛拟化身。
除了簡單地掃描一個人的身體之外，一個主要的挑戰是讓它以現實的方式移動——更不用說讓整個系統能夠實時運作，以便化身可以在互動式環境中使用。
在Connect 2021大會上，研究人員Yaser Sheikh展示了該團隊最新的成果——全身視訊編解碼器（Full-body Codec Avatars）。
他表示現在Codec Avatars支援更複雜的眼部運動、面部表情、手部和身體姿勢。
此外，Meta還展示了虛拟化身在對不同的光照條件和環境下實作頭發和皮膚的真實渲染。
那麼，衣服也可以在元宇宙中實作真實模拟。
扯一扯彈性不錯，抖動一下也會有褶皺。
身體細節、衣服都能做到現實還原，還有高保真的虛拟空間。
Meta就建造了一個虛拟較高價的電梯大廈，較高價的電梯大廈中所有物品都是現實世界的映射。
這樣使用者在虛拟空間中移動物體或者互動都能與實體空間實作同步。
目前，這似乎是為公司建構一個映射的真實世界環境的「最佳案例」場景來進行實驗。
進入元宇宙後，手動跟蹤也同樣重要。如果在實體世界中大甩手臂實作互動，不僅累，而且也不雅觀。
為此，Meta一直在研究一種更加微妙自然的方法，即通過EMG腕帶進行XR輸入。
前段時間，Meta還推出了一款觸覺啟動手套，都是為了實作在元宇宙中的新互動所做的努力。
如何建構Codex Avatars？
Meta開始制作Codex Avatars的契機要追溯到7年前。
2014年，卡内基梅隆大學機器人研究所旗下的一家3D捕捉實驗室Panoptic Studio的負責人Yaser Sheikh遇到了Oculus首席科學家Michael Abrash，兩人聊得非常投機。
Michael Abrash
2015年，Yaser Sheikh加入了Facebook（現Meta），從那以後便一直上司着Codex Avatars研究團隊。
Yaser Sheikh
「要想打造一個逼真的化身，基礎在于測量」，Codex Avatars研究科學家托馬斯·西蒙說。
「化身要以假亂真靠的是精确的資料，這需要良好的測量。是以，建構真實化身的關鍵是找到一種方法來測量人類表情中的實體細節，比如一個人眯起眼睛或皺起鼻子的方式。」
在匹茲堡實驗室的Codec Avatars團隊，使用了兩個主要的子產品來測量人類的表情：編碼器和解碼器。
首先，編碼器使用攝像頭來捕捉受試者正在做什麼，然後将捕獲的資訊組裝成一個唯一的編碼，用來表示一個人的身體和環境狀态，這個編碼可以随時發送到任何需要的地方。
然後，解碼器再将該編碼轉換為視訊信号。
普通的智能手機攝像頭也能拍攝生動的視訊。不過，Codec Avatars可是海量實體資料和複雜軟體的結合，比想象中要複雜得多。
Codec Avatars項目在捕捉人臉細節時，使用了數百個高分辨率相機，而每個相機又會以每秒1 GB的速度捕獲資料。
這是什麼概念呢？
打個比方，這些相機三秒鐘的記錄的資料就足以裝滿一個512GB的磁盤。
而Codec Avatars團隊持續記錄大約15分鐘，這已經到達了他們現有硬體條件的極限，但盡可能多的資料也為建立最逼真的虛拟頭像打下了基礎。
Codec Avatars團隊正在使用這些資料來訓練AI系統，進而讓AI可以從視訊中快速建構虛拟頭像。
Sheikh說：「我們目前已經可以還原發型誇張的人的3D頭像，甚至還原戴着腦電采集帽的人的頭像也不在話下。」
「這是世界上最先進的能夠自動生成人類的真實數字肖像的方法之一。它提供了一種虛拟的面對面交流的新方式，将來可以廣泛推廣。」
而随着Codec Avatars的出現，人們對「元宇宙」社交的接受度會不會越來越高呢？
參考資料：
https://www.roadtovr.com/meta-reality-labs-2021-research-and-development/
https://www.theverge.com/2021/10/28/22751177/facebook-meta-codec-avatar-real-time-environment-rendering-neural-interface https://tech.fb.com/codec-avatars-facebook-reality-labs/ http://www.diankeji.com/vr/47334.html
https://gizmodo.com/mark-zuckerberg-is-a-bbq-sauce-obsessed-killer-in-new-m-1848135459