天天看點

球場之外,他們用AI給這支特殊的“中國女足”造了一雙“耳朵”

機器之心原創

作者:張倩

提起中國女足,估計很多人都忘不了大年初六的那個不眠之夜。國足姑娘們在南韓女足 2-0 領先的巨大壓力下舍命防守,最終以 3-2 的戰績完成了史詩級逆轉,斬獲亞洲杯冠軍。這樣的拼搏精神令人動容。

但很多人不知道的是,在無聲的世界裡,一支僅靠手語溝通的女足隊伍也曾取得過驕人的戰果。

球場之外,他們用AI給這支特殊的“中國女足”造了一雙“耳朵”

湛江聾人女子足球隊的姑娘們。圖源:http://www.52hrtt.com/zw/n/w/info/H1568090270933

這支球隊于 2013 年成立于廣東湛江,2015 年站上了省殘運會的最高領獎台。2019 年,她們奪得了泰國曼谷第三屆亞太聾人室内五人足球錦标賽第四名,隊長陳智慧還獲得了「亞洲最佳聾人女子守門員」稱号。

球場之外,他們用AI給這支特殊的“中國女足”造了一雙“耳朵”

圖源:像素筆記

幾年過去,這些女孩也到了走向社會的年紀,為她們出謀劃策的是她們的教練鄭國棟。

鄭國棟本是湛江特校的國文老師,靠着書和光碟一步步地摸索如何教聽障孩子們踢球,還自創了一套球場上的溝通手勢。他親眼看到,足球這項運動如何讓這些孩子變得越來越開朗、自信。足球場上的她們與健全人無異,甚至更加堅韌。

球場之外,他們用AI給這支特殊的“中國女足”造了一雙“耳朵”

在湛江聾人女足,鄭國棟既是教練,也是父親一樣的存在。隊員們對他的稱呼是「爸爸」。圖源:https://sports.qq.com/a/20160615/008975.htm

但離開這個大集體之後,這些女孩或多或少地遇到了一些麻煩。

「有些孩子發資訊,說爸爸,我準備換工作了。我說你不是剛做兩個月嗎?怎麼又換?她感覺沒有認同感、存在感,一旦有些人給了不善意的眼光,她就感覺别人看不起她,對她有意見,心理上調節不過來,就覺得算了,不做了。」鄭國棟低聲說道。

類似的情況在聽障群體中非常常見。由于溝通不暢,他們與外面的世界總是存在一些隔閡。這導緻他們的就業面變得非常窄,即使找到工作也很難長期穩定地做下去,進而很難積累職業技能,随之生活也陷入困頓。

近些年來,社會加大了對這一群體的救助,比如部分省市為聽障兒童、青少年免費植入人工耳蝸。

人工耳蝸是一種特殊的聲能 - 電能轉換電子裝置。與助聽器等其它類型的聽覺輔助裝置不同,人工耳蝸的工作原理不是放大聲音,而是對位于耳蝸内、功能尚完好的聽神經施加脈沖電刺激。這就決定了,即使植入了人工耳蝸,聽障患者和普通人聽到的聲音也是不一樣的。

「成人的耳蝸圈流行着三句話:安靜環境下我們是正常人,噪音環境下我們是聾人,多人聊天我們是局外人。」中國人工耳蝸植入第一人陸峰就曾經這樣自己的處境。也就是說,很多人工耳蝸植入者正常環境和安靜環境下和人交流沒問題 ,但是一到噪音環境下就聽不清、跟不上了。陸峰說,這叫「二次聽障」。

「在噪音環境下,老闆說你怎麼聽不到我說話,你不是以前和我交流地很好嗎?一兩次之後 ,這對聽障群體造成巨大的心理壓力。是以我們這個圈子認為,二次聽障會比一次聽障帶來更大的心理傷害。」陸峰解釋說。

球場之外,他們用AI給這支特殊的“中國女足”造了一雙“耳朵”

中國首例人工耳蝸植入者陸峰。圖源:http://www.cndcm.cn/html/home/kangfuzhishi/1446_1.html

是以,對于聽障患者來說,植入人工耳蝸并沒有普通人想象得那麼美好,利用降噪技術降低二次聽障的傷害更重要。

提到降噪,一個很自然的想法就是在人工耳蝸中內建降噪算法,尤其是目前效果比較好的深度學習降噪算法。

但是,事情并沒有那麼簡單。

「人工耳蝸由很小的電池來供電,而且使用者一般早上戴上後,晚上才能摘下來,是以它對功耗的要求非常嚴格。這也導緻人工耳蝸的晶片很難達到很高的算力,進而運作高計算複雜度的 AI 降噪算法。」騰訊會議天籁實驗室主任商世東解釋說。

功耗之外,健康問題也是一大考量,因為「植入體對裝置工作時的溫度有相當嚴苛的要求」,騰訊會議天籁實驗室專家研究員肖玮補充說。

考慮到這些限制,天籁實驗室給出了一個折中的方案——讓手機去運作高算力的 AI 降噪算法,然後再把處理好的語音資訊通過藍牙傳到人工耳蝸裝置上。

球場之外,他們用AI給這支特殊的“中國女足”造了一雙“耳朵”

這個想法最早于 2020 年落地在國産人工耳蝸廠商諾爾康的産品上。為了打造這款産品,天籁實驗室免費開放了打磨多年,并在騰訊會議億級使用者上經過驗證的 AI 降噪算法,将新一代人工耳蝸的語音清晰度和可懂度提升了 40%。

來自廣東順德的曉婷是該産品的首批試用者。她的媽媽回報說,在公園裡,曉婷告訴她,「媽媽,我聽到了鳥的聲音,是兩隻鳥。」人工耳蝸和 AI 降噪算法的組合給了這個女孩一個不止「聽得見」,更是「聽得清」的感受,為她真正融入「有聲世界」掃清了一些障礙。

球場之外,他們用AI給這支特殊的“中國女足”造了一雙“耳朵”

曉婷的夢想是成為一名舞蹈家。而她的媽媽隻有一個非常簡單的願望,希望自己老了以後不用再擔心曉婷。

不過,人工耳蝸雖好,能否達到理想效果卻與聽障者的年齡有關系。一般認為,人工耳蝸須及早植入,以趕上腦的聽覺發育和語言發育的關鍵期。如果年紀較大,人的聽覺和言語中樞就基本停止發育了,再植入耳蝸效果就比較差,語言能力很難提高。再者,雖然國産人工耳蝸已經将這類産品的價格降下來很多,但依然不是每個家庭都負擔得起的。

是以,綜合來看,隻将 AI 算法與人工耳蝸相結合所覆寫的人群和場景可能比較有限。這也是騰訊會議天籁實驗室在過去兩年中所觀察到的現實問題。

鄭國棟球隊裡的隊員大多都屬于這種情況,因為家庭貧困,她們沒有在聽覺、語言發育的關鍵期植入人工耳蝸,之後生理條件也不允許再植入。是以他很希望社會能為這些人提供一些幫助:「科技的變化,無障礙溝通,我覺得都是非常好的,我也想過有沒有方式能更友善地為聾人群體創造無障礙溝通的工具。就算不是真正意義上的無障礙,起碼在很大程度上能為他們生活提供更好的溝通橋梁,我覺得這就已經足夠了。」

目前,他的女足隊員們正在試用一款輔聽産品——由騰訊會議天籁實驗室聯合中國聾人協會、中國聯通共同推出的暢聽王卡更新版。

初代「暢聽王卡」的設計非常簡單,針對的是聽障使用者接打電話的場景:如果有電話打進來(比如外賣員),它會自動将接聽界面轉為類似微信聊天的場景,把對方的語音轉換為文字,同時也把聽障者打出的文字轉換為語音。如今,這個簡單的應用已經覆寫了 30 多萬聽障使用者。

在 3 月 3 日「全國愛耳日」之際,騰訊天籁又聯合中國聯通推出了這一應用的更新版。

球場之外,他們用AI給這支特殊的“中國女足”造了一雙“耳朵”

更新版的發力點主要集中在輔聽和字幕識别上,用肖玮的話說就是「對人的耳朵輔聽,對機器也輔聽」。

對人的耳朵輔聽很好了解,就是借助 AI 降噪算法讓聽損者在嘈雜環境下聽得更清。對機器輔聽則展現在實時字幕上。對此,肖玮舉了一個生動的例子:「假設一個有聽力障礙的大娘去買菜。因為現場說話很嘈雜,大娘很難跟菜農溝通。這個時候,大娘可以手持手機,手機安裝了暢聽王卡的 APP,裡面搭載了天籁音頻 AI 降噪技術。菜農說活的聲音被這個手機接收之後,大字就會橫屏顯示在手機上,進而幫助大娘更順暢地交流。」

這些都是由騰訊天籁專門為聽障使用者打造的個性化 AI 語音增強輔聽算法來支援的,它可以同時賦能語音通話和實時字幕雙場景,實作典型噪音場景下單一位元組言語識别率提升 66%,實時字幕識别準确率提高了 5.5-9.9 個百分點。

這種以軟體為載體的輔聽方式大大降低了聽障患者使用輔聽産品的成本,覆寫人群不僅限于聽障者,還可以擴充到普通聽損者,比如上了年紀的老年人。随着老齡化的加劇,這一人群的規模将持續擴大。

不過,提到成本,騰訊天籁與美笛樂合作的「美訊聽寶 APP」也是非常值得一提的。

聽障的治療是一個漫長的過程,而且非常個性化,需要經曆測聽(類似配眼鏡時的驗光)、調機(把人工耳蝸調到最佳狀态)等繁瑣的過程,往往給聽障家庭帶來很大的經濟壓力。

美訊聽寶将測聽、輔聽、遠端康複服務集中到了一個 APP 上,可以讓聽障人士不出家門就能随時掌握自身聽力狀态,并遠端連線聽力和康複專家接受會診調機和康複指導服務。其特有的 AI 輔聽功能還能讓聽損者借助一副藍牙耳機聽到更清晰的聲音。

「從成本上來說,美笛樂也給我們做了統計,平均每次可以節省 3000 人民币的費用,對一些使用者來說,一年算下來的節省成本還是蠻可觀的。」肖玮頗為欣慰地說到。

球場之外,他們用AI給這支特殊的“中國女足”造了一雙“耳朵”

從技術研究到産業落地,再到在公益領域找到新的用武之地,商世東和肖玮都經曆了一段不同尋常的職業生涯。在談到所做的事情時,他們提到了同一個詞——「成就感」。商世東甚至曾經說過,「過去所有工作帶給我的成就感,都沒有曉婷給我的這麼大」。

此外,商世東也提到了他們在打磨這些産品時遇到的一些挑戰,比如輔聽裝置對延遲的嚴格要求。

「我們在騰訊會議也要使用降噪技術,因為開會的兩個人往往不是在同一個環境裡面,對延遲的要求可以放寬到上百毫秒。但對于助聽裝置佩戴者來說,他和另一個對話者可能在同一個房間裡面,間隔就幾米,聲音既可以直接傳到對方耳朵裡,也可以通過助聽器降噪、放大、做完補償以後再傳過去,它對延遲的要求在 10 毫秒以下。這兩者的技術挑戰是不一樣的,整個技術路線也是不一樣的。」

「我們在這個過程當中做了很多的工作,把面向騰訊會議産品的降噪技術在一個低延遲、低功耗的限制下做到最好的體驗,能夠盡可能在延遲、功耗和效果上取得最好的平衡,實驗室在這方面投入了很多的資源,包括人力資源、研究資源、經濟資源與雲上的資源,來訓練、開發這樣的模型。」商世東介紹說。

由此可見,把現有的技術用到公益場景其實并非簡單的技術遷移,背後還有很多工作要做。

展望未來,除了繼續疊代現有的算法和産品,商世東和肖玮所在的團隊也在積極尋找新的可能性。在他們看來,通信産品開發過程當中用到的多項技術,如降噪、波束形成、聲回報抑制,在整個助聽器、人工耳蝸領域都有很大的用武之地。國内的産品之是以和國際上最好的産品還有一定的距離,其中的技術瓶頸也是在這裡。此外,晶片能力的不斷提升和功耗的不斷下降,以及無線連接配接、5G、WiFi、藍牙 5.0、BLE 等互聯互通技術的崛起都将為助聽裝置的發展提供更廣闊的空間。

「助聽器行業跟很多家居的、養老的、IOT 的應用可以結合起來。如果之間能夠實作很好的助聽體驗,一些資料可以互聯互通結合起來,這裡面的想象空間也是巨大的。」商世東說到。

參考連結:http://www.52hrtt.com/zw/n/w/info/H1568090270933

https://zhuanlan.zhihu.com/p/82324705

https://www.tencent.com/zh-cn/articles/2201096.html

繼續閱讀