圖檔出處：And2girls安菟 虛拟女團
名詞定義
今天講的虛拟角色（也可以稱為虛拟數字人），是個廣而泛的概念，它可以指代各行各業形形色色的虛拟形象。最早提出這個詞需要追溯到1989 年美國國立醫學圖書館發起的“可視人計劃”(Visible Human Project)，而在中國則是在2001年，以“中國數字化虛拟人體的科技問題”為主題的香山科學會議第 174 次學術讨論會提出了“數字化虛拟人體”的概念。
我們定義的虛拟角色可以包含以下要素：
一、形 - 具備人或拟人的外觀，具有特定的相貌等人物特征；
二、動 - 擁有和人相似的行為，具有用語言、表情和肢體等表達的能力；
三、神 - 擁有比拟人的思想，具有識别外界環境、并能與人交流互動的能力。
可以看出，這三條要素對于虛拟角色的“完成度”來說是一個遞進的關系。
行業現狀
市場
近幾年，虛拟角色在電商、金融、影視、遊戲和金融等行業都擁有不同大小的市場規模。例如：虛拟偶像行業2020年中國的市場規模為34.6億元，預計2021年将達到62.2億元。
圖檔出處：
https://www.iimedia.cn/c400/79469.html1962年在二次元發達的日本誕生了第一位虛拟歌姬 - 林明美（出自于：Macross），而更為被大家熟知的虛拟歌手是初音未來（由Cypton創作）。技術上從CG制作到動作捕捉再到AI驅動，制作成本逐年降低、形象外貌更加真實、語言交流更加自然，如今虛拟角色的發展正處于高速的成長期，不斷壯大的市場規模和高速發展的技術相輔相成。
産業鍊
迄今為止，虛拟角色的産業鍊也已經相當完整，從不同的內建程度來看基本可以分為基礎層、平台層、應用層。
1、基礎層
為虛拟角色提供基礎軟硬體支撐，硬體包括顯示裝置、光學器件、傳感器、晶片等，基礎軟體包括模組化軟體、渲染引擎等。
2、平台層
包括軟硬體系統、生産技術服務平台、AI 能力平台等，為虛拟角色的制作及開發提供技術能力。
3、應用層
指虛拟角色技術結合實際應用場景領域，切入各行業應用解決方案，賦能行業領域。
業界産品
隻列舉了幾個代表性的
1、IP營運類
- 南韓三星Neon：三星旗下STAR Labs研發的AI藝術數字人，擁有近似真人的形象及逼真的表情動作， 具備表達情感和溝通交流的能力。
- Lil Miquela：史上第一個CGI（Computer-generated Imagery）角色，主要用于時尚品牌的營銷。
- 初音未來：全球最知名的虛拟歌姬，隸屬于Crypton。除了初音的虛拟IP外，Crypton還提供了可以用初音的音源自由創作歌曲的工具。
- CodeMiko：由個人創作的Virtual Youtuber（簡稱VTuber），類似這類的VTuber也大量活躍在Youtuber平台上。
- 洛天依：由上海禾念推出的知名虛拟歌姬，發行過衆多歌曲和專輯。
- 鹿鳴：米哈遊推出的人工桌面虛拟“女友”，同時還活躍在B站，宅男福音。
2、解決方案類
- VOCALOID：雅馬哈研發的歌聲合成技術VOCALOID，被很多虛拟歌姬都使用，比如初音和洛天依。
- Metahuman：Unreal于2021年2月推出的制作虛拟數字人的創作工具，借助這個工具強大“捏臉”功能，可以在非常短時間内在雲端（流式操作）完成一個高保真的虛拟數字人制作。且無論是渲染真實度、臉部表情、嘴型吻合都是業界頂級的。
- 騰訊IP虛拟人、相芯科技AvatarX、網易有靈虛拟人：這幾套解決方案比較相近，它們都面向企業、團隊、個人提供全套服務（包括應用層平台、雲端智能算法和底層大資料），可以定制或授權使用豐富的IP數字人庫，應用在包括虛拟主播、教師、客服、助手、導演、營銷等場景和領域。
3、遊戲類
- 崽崽（Zepeto）、閃耀暖暖：著名的捏人換裝養成遊戲，剛推出時引發了一波圈内的現象級讨論熱度。
我們在做什麼？
在今年年初，由阿裡前端委員會發起，在互動圖形方向成立了虛拟角色小組，一起分享和研究虛拟角色領域的技術和應用。這5個團隊的作品涉及遊戲、視訊、直播三個主要的場景，這也和行業中熱門的領域是比較吻合的。
遊戲
虛拟角色在遊戲行業基本是标配，非常多的遊戲都會需要塑造人物，也俗稱主角，同時很多塑造出來的人物也能成為非常重要的IP活躍在其他周邊行業中。但我們這裡要談的會縮小下範圍，特指包含玩家能通過自定義塑造人物形象功能的這一類遊戲，也俗稱“捏人”。
1、淘寶人生
這是手機淘寶App内一款可以玩轉虛拟形象的輕遊戲，包含了捏臉、穿搭、美顔、拍照等功能，逛街、家園等玩法，以及各式各樣的營銷活動。同時使用者還可以把自己塑造的虛拟形象，放到其他的互動遊戲中，比如“鬥地主”。
2、養考拉
這是考拉海購App内的一款可以養成考拉的輕互動，采用了Web技術，包含了裝扮功能，喂養等玩法。
視訊
虛拟角色短視訊可以給使用者帶來持續一緻的體驗，還會給業務帶來增量的收益。在制作虛拟角色的視訊時，可以通過動作捕捉/表情姿勢識别/智能化生成等方案，讓虛拟角色同人的行為更近似。
直播
直播和虛拟角色的結合仍然處于早期的探索階段，因為兩種現象級的産業需要結合且形成新的或增量的商業模式并不容易。在手淘直播、優酷直播、螞蟻财經直播等直播間都能看到虛拟角色的身影，它們有時作為小助手和主播互動、有時成為主播休息時的智能帶貨人，甚至直接是某些行業帶貨一哥一姐。
我們研究的技術
随着應用場景專業和深入，技術研究也會涵蓋工程和算法等多種綜合性的解決方案，且在不同的應用場景下，側重點也會不太一樣。就上面描述的幾個應用場景下，我們也投入到了如下的技術研究中：
美術生産
在美術生産環節，技術的作用是輔助美術。在2D内容的美術生産中，技術可以在美術産物傳遞後再介入，比如從Sketch直接導出代碼。而在3D内容的美術生産中，技術有需要直接介入生産過程中，因為3D内容的美術生産流程相對較長也較複雜，美術和技術之間需要頻繁的合作才能保障傳遞品質或傳遞效率。我們也稱作這個過程為3D美術工作流。我們有很多大同小異的美術工作流方案，大同是因為3D内容生産也是有一定的工業标準的，小異是因為細節會和藝術家使用的軟體、技術實作的引擎有密切的關系。在工作流中，我們都會去定制不同的工具或插件，它們就是根據不同的引擎或具體的業務需求來打造的。
表情和動作
角色的表情和動作的真實與否，給使用者的感受将是非常明顯的。虛拟角色塑造的關鍵之一就是真實甚至細膩的表情和動作。真人的表情是依靠骨骼和肌肉互相作用而呈現的，而動作同樣是依靠身體骨骼和肌肉互相作用而實作的。此時我們需要用數字技術去模拟這些骨骼和肌肉的作用，并實作表情和動作。我們在表情的模拟上使用的是Blendshape技術，而在動作的模拟上使用的是實體骨骼綁定的技術，部分也采用了實體碰撞盒來解決穿模等問題。從實踐來看，當BS達到50個以上時，是能模拟很多常用表情。
渲染和風格
虛拟角色塑造的又一個關鍵就是渲染，需要關心的次元有較多，比如用什麼引擎、材質、雲渲染等。
- 引擎：幾個團隊都有各自不同的引擎方案，有行業頂尖的Unity、有自研的EVA Figure（Web，依賴的Hilo3D已開源）、Oasis3D（Web，已開源）、ApisXEngine（全平台）。
- 材質：我們普遍采用了PBR材質，其中我們也嘗試了超寫實風格的人物渲染，雲栖大會上首發的手語助手小莫就是超寫實風格的一次實踐。
- 雲渲染：在手淘直播場景中，我們采用了Unity渲染并推流的方案。此時我們正與阿裡雲團隊和Node架構團隊展開積極的合作，一起探索使用Web引擎+Puppeteer完成非實時雲渲染任務的方案。
場景編排
我們還針對快速營運的需求設計了場景編排的能力，也稱為導演系統。它可以在有限的資源内靈活設計一個或多個不同的場景來滿足不同的營運需求，例如：，
- 針對直播中的主播、可以設計多個時間段虛拟主播都在幹什麼、說什麼話，介紹什麼産品。
- 針對遊戲中的角色，可以生成不同的場景，切換不同的氛圍。
- 針對視訊中的劇本，可以生成不同的模闆，套用各類形象後生成多種視訊。
大資料和算法
從虛拟角色的長遠發展來看，大資料和算法會占據非常重要的地位，因為表情和動作是千變萬化的，光依賴工程解決方案勢必會遇到産能等瓶頸，是以通過大資料訓練後的算法驅動是未來重要的解決方案，這些資料可以來知已有的視訊分析，也可以采用制作過程中的關鍵幀資料，這些都需要依靠持續的積累，才能達到預期的效果。
D2 預告
我們在将在12月18、19日的D2前端技術論壇，分享更加完整的《虛拟偶像誕生記 - 數字人行業和技術探究》，歡迎大家來一起交流。