2022 年 2 月 4 日，冬奧會正式開幕。在開幕式及冬奧會賽事程序中，人工智能、5G、AR、裸眼 3D 和雲等多種硬科技大顯神通。其中，作為元宇宙場景入口和連接配接紐帶的虛拟數字人技術尤為引人注目。本次冬奧會的手語主播和氣象主播均為虛拟數字人。
- 虛拟手語主播：央視虛拟手語主播在冬奧會新聞播報、賽事直播和現場采訪中，為聽障人士提供實時手語翻譯服務。該虛拟主播為超寫實的虛拟數字人，表情、口型、毛發、服飾等均高度接近真人。
- 虛拟氣象主播：以馮殊為訓練對象的 AI 虛拟人馮小殊，在北京冬奧會期間将持續播報冬奧觀賽天氣狀況，為公衆提供健康指南。
本文将帶領大家由冬奧 AI 主播走進虛拟數字人，詳細了解其内涵、技術實作、發展現狀以及頗具前景的應用領域。
1. 什麼是虛拟數字人：高度拟人、自然互動
拟數字人最早可追溯到 20 世紀 80 年代。1982 年，日本動畫《逾時空要塞》播出後，制作方将女主角林明美包裝成演唱動畫插曲的歌手，并制作了音樂專輯，世界上第一位虛拟歌姬由此誕生。此時的虛拟數字人以手繪為主。21 世紀初，計算機圖形學（CG, Computer Graphics) 和動作捕捉技術逐漸成熟，在虛拟數字人的制作中得到廣泛應用，如“初音未來”，其早期形象便是利用 CG 技術合成。近 5 年來，得益于人工智能技術的飛速發展和應用，虛拟數字人制作更加便捷、精準和智能。在 AI 技術加持下，虛拟數字人形象可達到寫實級逼真程度，且具備情感表達和溝通交流的智能互動能力。
目前市場中探讨的虛拟數字人主要為 AI 加持下高仿真、可互動的虛拟數字人，虛拟化、數字化和拟人化是其核心要素。
- 虛拟化：存在于非實體世界中，目前主要以圖檔、視訊、實時直播、實時動畫等方式存在于 APP、小程式、軟硬一體顯示裝置等中；未來，VR 裝置與全息投影也将成為其重要存在方式。
- 數字化：依賴多項數字化技術，包括 CG（Computer Graphics，利用計算機進行視覺設計和生産）、語音識别、圖像識别、動作捕捉等相關技術。
- 拟人化：虛拟人在外表、行為以及思想與互動方面，均與人高度相似。
- 外表：具有特定的相貌、性别和性格等人物特征。虛拟數字人的外表會受到虛拟數字人類别（如直接借用真人形象、高保真模組化、風格化）、制作細節（對汗毛、皮膚、頭發等細節的模組化）、渲染水準、設計審美等影響。
- 行為：具有用語言、面部表情和肢體動作表達的能力。虛拟數字人的行為表現會受到驅動方式（真人驅動、智能驅動等)、訓練資料、驅動模型精度等影響。
- 互動：具有識别外界環境、并能與人交流互動的能力。虛拟數字人的互動能力會受到語音識别能力、自然語言了解及處理水準、知識圖譜、預先設定知識庫等的影響。
2. 技術實作：多模态 AI 和算力為核心支撐
虛拟數字人主要由三大核心技術環節作為支撐：模組化（即虛拟數字人形象的生成），驅動（即識别使用者的意圖，并根據使用者目前意圖決定數字人後續的語音和動作，驅動虛拟數字人與使用者開啟下一輪互動）和渲染（讓虛拟數字人的皮膚紋理等變得真實，形象更加拟人）。這些技術環節均離不開人工智能技術的加持和算力資源的支援。
2.1 模組化：計算機視覺技術加持
目前的模組化主要仍依靠 CG(Computer Graphics，計算機圖形學）和靜态掃描技術。但其成本高昂，環球影業運用 CG 技術還原已去世的保羅在《速度與激情 7》中的表演，相關渲染成本增加了約 5000 萬美元。此外，CG 技術合成的虛拟人也面臨形象粗糙、仿真度不足的挑戰。
近年來，随着人工智能技術的發展，利用深度學習的動态三維重建技術逐漸顯露鋒芒。動态三維重建技術主要采用錄影機陣列采集幾何形态、紋理、材質、三維運動資訊等動态資料，同時結合光場中所有光線的方向和角度資料，為模組化提供豐富、精細的資訊，提升模組化的效果。
同時，AI 技術也大大降低了模組化的門檻。拟人的表情動作，如簡單的皺眉，也會牽動骨骼、肌肉、皮膚的一系列變化。用傳統的手工方式去調整工作量巨大，而利用 AI 技術可大幅降低工作量。
2.2 驅動：多模态 AI 技術賦能
根據互動驅動方式的差異，虛拟數字人可分為真人驅動型和 AI 驅動型兩大類。真人驅動型虛拟數字人由真人的動作表達配合動作捕捉技術，驅動虛拟人與觀衆進行實時互動。AI 驅動型虛拟數字人則通過智能系統自動讀取并解析識别外界輸入資訊，根據解析結果決策虛拟數字人後續的輸出文本，然後驅動人物模型生成相應的語音與動作來使數字人跟使用者互動。
圖 1 虛拟數字人的分類-技術角度
真人驅動型虛拟數字人的核心技術支撐為動作捕捉技術。主流的動作捕捉技術為光學捕捉和慣性捕捉，但裝置較為昂貴。今年來，随着深度學習技術和表情、動作識别等算法的進步，基于計算機視覺的動作捕捉逐漸興起，具有低價、簡單、易用的優勢，普通的攝像頭結合優質的識别算法也能實作良好的驅動。
AI 驅動的虛拟數字人則需依賴多模态人工智能技術，綜合運用視覺、聽覺等多種“感官”，讓 AI 形象更加拟人。具體技術主要包括：
- 語音識别（ASR）：聽覺感覺，實作“聽得見”
- 自然語言處理（NLP）：準确了解使用者的需求，即“聽得懂”
- 語音合成 （TTS）：回應與互動，且語言表達符合真人發聲習慣
- 語音驅動面部動畫（ADFA）：通過語音驅動虛拟數字人唇形的變化
相比于單一模态的算法開發，多模态模型的開發訓練更加複雜，涉及多模态表征學習、模态轉換、對齊、多模态融合和協同學習等複雜技術細節和大規模訓練需求。是以，高易用性的開發生産工具和高性能的計算引擎，對于提升虛拟數字人開發生産效率，降低訓練成本同樣至關重要。
2.3 渲染：大規模算力支撐
渲染技術用于提升虛拟人的逼真程度，可分為實時渲染和離線渲染，對于精細度要求較高、時效性要求低的場景則可采用離線渲染，遊戲和實時互動場景則需要實時渲染。由于算力資源和傳輸速度的限制，實時渲染在畫質和效果的表現仍有較大提升空間。
虛拟數字人渲染需消耗大量算力資源，對企業來說是一項巨額成本支出，極大限制了虛拟數字人的探索與應用。目前絕大多數企業算力的管理仍相對粗放，算力資源的高效利用和精細化管理有望有效降低虛拟數字人開發制作成本，促進其應用落地。
綜上，從虛拟數字人制作全生命周期技術需求來看，多模态 AI 技術和充足的算力支撐是核心，而易用、高性能的 AI 開發生産工具和高效的算力資源管理則是促進其落地應用的基礎保障。白海科技新一代 AI 開發生産平台-IDP，提供兼具互動式程式設計和工程化功能的易用 IDE、高性能分布式計算引擎和精細化的資源排程管理（包括資源隔離、任務級别的斷點續跑、自動休眠等），可有效加速虛拟數字人的開發，降低算力資源消耗。
3. 技術應用現狀與趨勢：遊戲領域或大有可為
目前虛拟數字人已在金融客服、媒體主播、遊戲角色等領域得到應用。在去中心化的 Web 3.0 和元宇宙趨勢下，我們認為個人或社群營運的數字化身類虛拟人商業化前景廣闊，遊戲賽道或是其首當其沖的爆發領域。
圖 2 虛拟數字人的應用分類
近期：RPG 遊戲精品化的需求
随着監管趨緊和遊戲玩家數量趨于飽和，我國遊戲行業目前已進入存量博弈階段。在激烈的競争環境下，為使用者提供更加豐富和沉浸式的體驗成為關鍵成功要素。近期典型的案例就是 ARPG 遊戲《原神》，憑借品質和口碑，吸引了大量流量。豐富精美的虛拟化身是《原神》最重要的組成成分之一。截止版本 2.2，《原神》可玩角色數量已達 41 個。制作團隊預計每年為《原神》新增大約 17 個角色，這對開放世界 ARPG 來說并非一個小數目。
從遊戲類别來看，與虛拟數字人高度相關的角色類遊戲（包括角色扮演類遊戲和多人競技類遊戲）在我國遊戲營收貢獻居于首位，在移動遊戲中營收占比~35%。該類遊戲的精品化，将利好虛拟數字人技術的應用落地。虛拟數字人技術能夠有效簡化和加快遊戲動畫制作過程，讓遊戲中更多的虛拟角色都具備豐富的肢體動作和精細的面部表情，給玩家帶來更沉浸的遊戲體驗。
圖 3 中國遊戲市場趨勢
中遠期：元宇宙遊戲對數字身份的需求
遊戲作為現實的模拟和延伸，形态與元宇宙十分相似，有可能成為元宇宙最先應用的場景。微軟首席執行官薩蒂亞·納德拉在微軟收購動視暴雪後表示：“在如今的所有平台上，遊戲是最具活力、最讓人興奮的娛樂類别，未來将會在元宇宙平台的發展中發揮關鍵作用。”
從技術角度講，元宇宙遊戲的核心是去中心化，開放社交與自主創造，使用者可以使用多平台互通、安全、自治的數字身份，與其玩家進行互動。開放的元宇宙遊戲世界将提升對虛拟數字人的需求。例如，在目前公認最接近元宇宙遊戲的 Roblox 中，每個人都可以自定義數字身份來與他人進行社交，包括檢視附近玩家、線上派對和會議、虛拟音樂會等。
目前虛拟數字人市場仍處于前期培育階段，但市場對其關注度已持續上升，将會有越來越多的企業投入虛拟數字人産業鍊。遊戲企業在虛拟數字人需求和落地場景層面具有得天獨厚的優勢，在技術的有力加持下，有望基于數字身份重塑遊戲理念。
4. IDP 助力遊戲企業加速 AI 應用與創新
遊戲的設計、制作、使用者營運等全生命周期與人工智能各子技術都有交叉，是人工智能技術應用落地，實作社交智能(Social Intelligence)、 情感互動(Affective Interaction)和通用智能(General Intelligence)等目标的理想場景。
除降低虛拟數字人開發應用門檻外，IDP 在對于遊戲企業智能使用者分析、遊戲智能生産設計與優化方面也同樣具有降本增效、加速疊代的作用。在遊戲企業廣泛擁抱 AI 技術的過程中，IDP 将同企業一起，高效率、低成本地實作 AI 的創新應用，促進遊戲企業的智能化颠覆式創新。
圖 4 IDP 加速遊戲企業 AI 創新—使用者洞察與營運分析
圖 5 IDP 加速遊戲企業 AI 創新—遊戲生産設計
【參考資料】
德勤咨詢，元宇宙系列白皮書—未來已來，2021.12