左手食指橫伸;右手伸拇指、小指,撞向左手食指……

手語:沖刺
“武大靖最後一次沖刺!最後一個彎道,武大靖率先沖出彎道,沖過了終點!”
在央視訊的比賽播放中,央視訊AI手語翻譯官聆語,為昨晚奪金那一刻,帶來了手語解說。
目前,大陸有2780萬聽力障礙人群。
電視畫面右下角的手語主持人,就是他們眼中的“解說員”。
同時為聽障人士解說的有——騰訊 3D 手語數字人小聰,将上線騰訊體育。
小聰手語解說“中國奪得首金”
小聰、聆語,均由騰訊的技術團隊打造,特點是:
手語表達能力接近真人;
所謂學無止境,他們能自行學習,快速補充海量新詞、熱詞。
最近這段時間,聆語、小聰會為冰雪賽事的轉播采訪等環節,提供手語解說服務。
2780萬人需要手語主持人
如何讓2780萬聽障人群享受更美好的電視時光?
答案是,手語主持人!
但手語解說,可不簡單。
先來看語序問題——
漢語、手語的正常語序編排是不一樣的。來看個例子——
漢語:貓追老鼠
手語:貓 老鼠 追
這就給手語解說增加了難度——
如果你按漢語正常語序編排,那麼,聽障人士看到的手語解說,其實是亂序的。
除了語序問題外,手語還有個特點:沒有虛詞和量詞。
舉倆例子感受下——
漢語:兩本書
手語:書 二
漢語:大雪紛飛
手語:雪 + 大幅身體擺動展現程度
試想一下,不恰當的省略,會導緻意思了解上千差萬别——
比如,“兩捆書”可能被了解成“兩本書”。
此外,手語還有個特點:
不僅僅需要手勢,還需要依靠面部表情、身體動作等表達資訊。
調研發現,絕大多數聽障者隻能了解手語新聞中不到60%的内容。
除了手語翻譯難的問題外,另一個顯而易見的現狀是——
手語主持人太少了。
是以,非常有必要去研發翻譯精準的AI手語主持人。
2021年10月,廣電總局在《廣播電視和網絡視聽“十四五”科技發展規劃》中首次明确指出,要推動虛拟主播、動畫手語廣泛應用于新聞播報、天氣預報、綜藝科教等節目生産,創新節目形态,提高制播效率和智能化水準。
讓數字人掌握專業手語翻譯
問題是,如何讓數字人學會專業的手語翻譯呢?
聆語、小聰背後,整合了3D數字人模組化、語音識别、語義了解、機器翻譯和圖像渲染技術等。
說起機器翻譯,我們的程式員還為此啃起了《國家通用手語詞典》。
經曆了漫長的手語調研、手語顧問團隊建設,我們開發出了一套手語翻譯系統——
隻需輸入健聽人語言,即可通過機器翻譯低延遲生成高準确率的手語語言表征,比如:
輸入:他是我的手語老師
預處理:他 是 我 的 手語 老師
翻譯:他 我 手語 老師 是
接着,驅動手語數字人準确表達——
基于騰訊多模态端到端生成模型,進行聯合模組化及預測生成高準确率的動作、表情、唇動等序列,實作自然專業、易懂度高的手語效果。
通過這項技術,AI手語可懂度達90%以上。
一直以來,騰訊都在積極倡導全社會共同關注資訊無障礙,我們将面向社會開放技術與能力。
期待未來,會有更多AI手語主持人在電視欄目中上線。