“冬奧手語播報數字人”上崗，将服務聽障人士

為聽障人士打造的“冬奧手語播報數字人”近日在北京衛視正式上崗。在電視螢幕左下角，以虛拟學生“華智冰”為外形的數字人手指翻飛，迅速用手語進行播報。新京報記者獲悉，數字人采用大陸首個超大規模智能資訊模型和虛拟數字人技術，它将為聽障人士提供手語資訊播報服務，使他們收看賽事專題報道時快速擷取訊息。

“冬奧手語播報數字人”在《北京您早》節目投入應用。受訪者供圖

建構高品質手語語料庫，詞彙語句規模超10萬

目前，大陸聽障人群數量達到2700萬，專業場景的手語服務資源匮乏。與此同時，手語翻譯供需缺口大，冬奧專業術語翻譯難度大。在北京市科委、中關村管委會的支援下，智譜AI、淩雲光和北京廣播電視台聯合打造了“冬奧手語播報數字人”。

手語生成涉及多領域交叉，包括計算機視覺、自然語言處理、跨媒體計算、人機互動等，面臨的挑戰巨大。系統以超大規模預訓練模型為核心技術，自主搭建多模态肢體動作、表情、手指同步采集系統，運用跨模态拟人生成算法、超高精度寫實數字人等行業領先技術，實作冬奧期間賽事新聞的專業手語翻譯播報。

“我們首先建構了國内最大規模多模态手語語料庫。”智譜AI進階副總裁左家平介紹，“冬奧手語播報數字人”系統完成了《國家通用手語詞典》收錄的8214條通用手語的采集和錄制，并且文法都以聽障群體習慣打法為準，以確定手語播報成果的準确性和專業度，更好地服務聽障人群。

由于目前國内缺少較完善的手語語料資料，研發人員在北京市殘障人士聯合會和市殘聯聾人協會的支援下，邀請超過40餘位聾人老師及手語專家進行手國文本轉寫和動作捕捉錄制，并進行大範圍聽障群體評測，最終建構了高品質的手語語料庫，詞彙及語句總規模超10萬。“這裡不光有體育詞彙和冬奧術語，還有新聞播報會用到的各種詞彙。”

打造“智能數字腦”，播報語音關鍵資訊并轉換手語

手語和口語的播報速度不同。主播進行播報時，一分鐘大概可以說兩百多個字，手語靠肢體表達，速度比較慢，是以要跟得上播報的速度，需要對播報内容進行摘要，将核心語義表達出來。

“比如主播說今天北京風和日麗、晴空萬裡，手語播報要和語音同步比對，就隻表達‘今天北京天氣好’”。智譜AI數字人事業部CTO杜冀中說。

他還提到，手語語序和自然語言有所差別，習慣“否定詞後置”。比如“我不高興”，手語會按照“我”“高興”“不”的順序翻譯出來。

“冬奧手語播報數字人”如何能參透手語的這些特點？據悉，系統以超大規模預訓練模型為核心技術，通過語義蒸餾及手語翻譯快編模型，實作對新聞播報語音進行精簡，并翻譯成符合手語習慣的語序。

數字人播報逼真自然，表達可懂度達90%

數字人進行口語播報，也需要親切自然，符合審美觀，不能讓觀衆産生“生硬”的感覺。

為實作高精度、高自然度的人物形象和手語動作姿态，研發團隊還自主搭建了多模态肢體動作、表情、手指同步采集系統。通過采集多模态動作捕捉資料，運用跨模态拟人生成算法對超寫實數字人進行自然、流暢的驅動和渲染，算法可以自動對其每段動作捕捉資料，為相鄰動作之間生成平滑的過渡動作。

左家平說，口語老師進行口語播報時，也會借助口型，讓聽障人士了解得更清楚。是以數字人播報時也會有口型的變化。“目前，這套系統隻做了九個月，已經能夠實作手勢和口型的比對。未來通過進一步研發，數字人還将在表情上有更加豐富的展現。”

目前，“冬奧手語播報數字人”已經實作了“表意的準确性”和“表達的可懂性”。經過測評，其表達可懂度已經達到90%。

數字人能7×24小時工作，未來或可用于手語教學

“冬奧手語播報數字人”已于冬奧開幕後，每日持續在北京衛視《北京您早》節目中對“冬奧賽事集錦”和“一起看冬奧”進行手語播報。

後奧運時代，“冬奧手語播報數字人”還将有哪些應用？據悉，數字人可以為新聞媒體提供數字人手語生成服務，友善聽障人士快速了解新聞簡訊。同時，數字人可以7×24小時工作，解決手語翻譯人員不足的問題。

北京廣播電視台新聞頻道中心副主任王毅說，手語比較複雜，中國手語存在“方言”上的差異。在手語老師緊缺的情況下，如果用人工智能進行标準版手語播報和教學，會減少誤差，加速國家通用手語推廣落地，為殘障人士平等參與社會生活創造無障礙環境。他表示，未來将在更多頻道和節目中運用手語播報，友善聽障人士獲得更多資訊。

左家平表示，手語播報數字人的形象也不局限于“華智冰”，可以根據使用使用者喜好換成其他偶像形象。

新京報記者 張璐

編輯 樊一婧 校對 李立軍