天天看点

用手语“解说”昨晚夺金那一刻

左手食指横伸;右手伸拇指、小指,撞向左手食指……

用手语“解说”昨晚夺金那一刻

手语:冲刺

“武大靖最后一次冲刺!最后一个弯道,武大靖率先冲出弯道,冲过了终点!”

在央视频的比赛播放中,央视频AI手语翻译官聆语,为昨晚夺金那一刻,带来了手语解说。

目前,大陆有2780万听力障碍人群。

电视画面右下角的手语主持人,就是他们眼中的“解说员”。

同时为听障人士解说的有——腾讯 3D 手语数字人小聪,将上线腾讯体育。

小聪手语解说“中国夺得首金”

小聪、聆语,均由腾讯的技术团队打造,特点是:

手语表达能力接近真人;

所谓学无止境,他们能自行学习,快速补充海量新词、热词。

最近这段时间,聆语、小聪会为冰雪赛事的转播采访等环节,提供手语解说服务。

2780万人需要手语主持人

如何让2780万听障人群享受更美好的电视时光?

答案是,手语主持人!

但手语解说,可不简单。

先来看语序问题——

汉语、手语的正常语序编排是不一样的。来看个例子——

汉语:猫追老鼠

手语:猫 老鼠 追

这就给手语解说增加了难度——

如果你按汉语正常语序编排,那么,听障人士看到的手语解说,其实是乱序的。

除了语序问题外,手语还有个特点:没有虚词和量词。

举俩例子感受下——

汉语:两本书

手语:书 二

汉语:大雪纷飞

手语:雪 + 大幅身体摆动体现程度

试想一下,不恰当的省略,会导致意思理解上千差万别——

比如,“两捆书”可能被理解成“两本书”。

此外,手语还有个特点:

不仅仅需要手势,还需要依靠面部表情、身体动作等表达信息。

调研发现,绝大多数听障者只能理解手语新闻中不到60%的内容。

除了手语翻译难的问题外,另一个显而易见的现状是——

手语主持人太少了。

因此,非常有必要去研发翻译精准的AI手语主持人。

2021年10月,广电总局在《广播电视和网络视听“十四五”科技发展规划》中首次明确指出,要推动虚拟主播、动画手语广泛应用于新闻播报、天气预报、综艺科教等节目生产,创新节目形态,提高制播效率和智能化水平。

让数字人掌握专业手语翻译

问题是,如何让数字人学会专业的手语翻译呢?

聆语、小聪背后,整合了3D数字人建模、语音识别、语义理解、机器翻译和图像渲染技术等。

说起机器翻译,我们的程序员还为此啃起了《国家通用手语词典》。

用手语“解说”昨晚夺金那一刻

经历了漫长的手语调研、手语顾问团队建设,我们开发出了一套手语翻译系统——

只需输入健听人语言,即可通过机器翻译低延迟生成高准确率的手语语言表征,比如:

输入:他是我的手语老师

预处理:他 是 我 的 手语 老师

翻译:他 我 手语 老师 是

接着,驱动手语数字人准确表达——

基于腾讯多模态端到端生成模型,进行联合建模及预测生成高准确率的动作、表情、唇动等序列,实现自然专业、易懂度高的手语效果。

通过这项技术,AI手语可懂度达90%以上。

一直以来,腾讯都在积极倡导全社会共同关注信息无障碍,我们将面向社会开放技术与能力。

期待未来,会有更多AI手语主持人在电视栏目中上线。

继续阅读