天天看點

有了這條黑科技項鍊,用下巴“說話”可能就不遠了

想象一下,如果你坐在落針可聞的會議室或圖書館,脫口而出「Siri,看看明天的天氣」,這或許并不合适。

當一個人說不了話或者必須保持安靜,卻需要給智能裝置指令,這該怎麼辦?

為此,康奈爾大學的資訊科學助理教授 Cheng Zhang 和博士生 Ruidong Zhang,設計了一款叫做「Speechin」的項鍊。

有了這條黑科技項鍊,用下巴“說話”可能就不遠了

圖檔來自:Cornell University

它基于下巴運動,捕捉「頸部和面部皮膚變形圖像」,進而識别無聲語言,目前可以識别英語和中文的簡單短語。

有了這條黑科技項鍊,用下巴“說話”可能就不遠了

動圖制作自:YouTube@Cornell University

SpeeChin 的紅外攝像頭安裝在 3D 列印的「項鍊盒」上,「項鍊盒」挂在銀鍊上,攝像頭指向佩戴者的下巴。為了提高穩定性,開發人員在兩側設計了「機翼」,并在底部放置了一枚硬币。

除了這些,SpeeChin 還配備有微處理器、電池和藍牙子產品。

有了這條黑科技項鍊,用下巴“說話”可能就不遠了

利用基于機器學習的算法,該裝置能根據佩戴者的下巴運動,确定佩戴者在無聲地說出哪些指令,然後将這些指令中繼到配對的智能手機,就像另一種溝通方式下的 Siri。

為了避免隐私問題,SpeeChin 隻會怼向下巴下方,不會直接指向使用者的臉。

在最初的試驗中,有 20 名參與者(10 名說英語,10 名國語),研究人員測量了他們下巴的基線位置,然後使用差分圖像訓練 SpeeChin 識别簡單指令。

10 位英語參與者默默說出 54 條指令,包括數字、互動指令、語音助手指令、标點指令和導航指令,其他 10 位國語參與者的 44 條指令也是如此。

有了這條黑科技項鍊,用下巴“說話”可能就不遠了

事實證明,SpeeChin 識别英語和國語指令的平均準确率分别為 90.5% 和 91.6%。研究人員表示,這款裝置有可能學習一個人的無聲語音模式。

研究人員還要求 6 名參與者在行走時默默說出 10 個國語和 10 個英語短語。這項研究的成功率較低,主要是因為參與者的頭部以不可預測的方式移動。

為什麼要以項鍊的形式做無聲語音識别這件事?一位研究人員闡述了他們的研究目的:

我們認為項鍊是人們習慣的一種形式,而不是耳挂式裝置,後者可能不太舒服;至于無聲語音,人們可能會想「我的手機上已經有語音識别裝置了」。但是你需要為一些無法發聲的人和場合發聲。

值得一提的是,SpeeChin 在外觀上與 NeckFace 相似。NeckFace 是 Cheng Zhang 和他的 SciFi Lab 團隊去年推出的裝置,通過使用紅外錄影機,在頸部下方捕捉下巴和面部的圖像,并生成完整表情的 3D 重建,進而持續跟蹤面部表情。

有了這條黑科技項鍊,用下巴“說話”可能就不遠了

動圖制作自:YouTube@CornellScifiLab

NeckFace 在心理健康領域可能特别有用,因為它可以跟蹤人們一天中的情緒。雖然人們并不總是把情緒表現在臉上,但随着時間的推移,面部表情的變化量可能表明情緒波動。

NeckFace 也可以用于其他場景,比如在無法選擇前置攝像頭時進行虛拟會議、虛拟現實場景中的面部表情檢測等等。

如果 SpeeChin 進一步發展,它的使用場景同樣會越來越多,包括必須靜音的環境、無法識别的嘈雜環境以及缺乏語言能力的人群。

繼續閱讀