天天看點

用手語“解說”昨晚奪金那一刻

左手食指橫伸;右手伸拇指、小指,撞向左手食指……

用手語“解說”昨晚奪金那一刻

手語:沖刺

“武大靖最後一次沖刺!最後一個彎道,武大靖率先沖出彎道,沖過了終點!”

在央視訊的比賽播放中,央視訊AI手語翻譯官聆語,為昨晚奪金那一刻,帶來了手語解說。

目前,大陸有2780萬聽力障礙人群。

電視畫面右下角的手語主持人,就是他們眼中的“解說員”。

同時為聽障人士解說的有——騰訊 3D 手語數字人小聰,将上線騰訊體育。

小聰手語解說“中國奪得首金”

小聰、聆語,均由騰訊的技術團隊打造,特點是:

手語表達能力接近真人;

所謂學無止境,他們能自行學習,快速補充海量新詞、熱詞。

最近這段時間,聆語、小聰會為冰雪賽事的轉播采訪等環節,提供手語解說服務。

2780萬人需要手語主持人

如何讓2780萬聽障人群享受更美好的電視時光?

答案是,手語主持人!

但手語解說,可不簡單。

先來看語序問題——

漢語、手語的正常語序編排是不一樣的。來看個例子——

漢語:貓追老鼠

手語:貓 老鼠 追

這就給手語解說增加了難度——

如果你按漢語正常語序編排,那麼,聽障人士看到的手語解說,其實是亂序的。

除了語序問題外,手語還有個特點:沒有虛詞和量詞。

舉倆例子感受下——

漢語:兩本書

手語:書 二

漢語:大雪紛飛

手語:雪 + 大幅身體擺動展現程度

試想一下,不恰當的省略,會導緻意思了解上千差萬别——

比如,“兩捆書”可能被了解成“兩本書”。

此外,手語還有個特點:

不僅僅需要手勢,還需要依靠面部表情、身體動作等表達資訊。

調研發現,絕大多數聽障者隻能了解手語新聞中不到60%的内容。

除了手語翻譯難的問題外,另一個顯而易見的現狀是——

手語主持人太少了。

是以,非常有必要去研發翻譯精準的AI手語主持人。

2021年10月,廣電總局在《廣播電視和網絡視聽“十四五”科技發展規劃》中首次明确指出,要推動虛拟主播、動畫手語廣泛應用于新聞播報、天氣預報、綜藝科教等節目生産,創新節目形态,提高制播效率和智能化水準。

讓數字人掌握專業手語翻譯

問題是,如何讓數字人學會專業的手語翻譯呢?

聆語、小聰背後,整合了3D數字人模組化、語音識别、語義了解、機器翻譯和圖像渲染技術等。

說起機器翻譯,我們的程式員還為此啃起了《國家通用手語詞典》。

用手語“解說”昨晚奪金那一刻

經曆了漫長的手語調研、手語顧問團隊建設,我們開發出了一套手語翻譯系統——

隻需輸入健聽人語言,即可通過機器翻譯低延遲生成高準确率的手語語言表征,比如:

輸入:他是我的手語老師

預處理:他 是 我 的 手語 老師

翻譯:他 我 手語 老師 是

接着,驅動手語數字人準确表達——

基于騰訊多模态端到端生成模型,進行聯合模組化及預測生成高準确率的動作、表情、唇動等序列,實作自然專業、易懂度高的手語效果。

通過這項技術,AI手語可懂度達90%以上。

一直以來,騰訊都在積極倡導全社會共同關注資訊無障礙,我們将面向社會開放技術與能力。

期待未來,會有更多AI手語主持人在電視欄目中上線。

繼續閱讀