智東西
編譯 | 吳菲凝
編輯 | 李水青
智東西3月7日報道，根據谷歌官網，谷歌的通用語音模型USM目前已實作更新，支援100多個語種内容的自動識别檢測。
去年11月，谷歌曾計劃建立一個支援1000個語種的AI模型USM。谷歌将其描述為“最先進的通用語音模型”，擁有20億個參數，經過涵蓋1200萬小時的語音、280億個句子和300多個語種資料集的預訓練。
USM的強大效果目前已在Youtube的字幕生成中展現出來，可自動翻譯和檢測如英語、漢語等主流語種，還能識别出阿薩姆語這種小衆語種，可以說“精通方言”。
根據谷歌部落格，與OpenAI的大型通用語音模型Whisper相比，USM的資料訓練時長更短，錯誤率更低。
一、可自動檢測翻譯100+語種，USM面臨兩大挑戰
當微軟和谷歌還在為誰家的AI聊天機器人更智能而争論不休時，我們需要清楚，語音模型的用途遠不止于此。
外媒The Verge的記者稱，除了相傳将在今年的I/O開發者大會中展示的20多款AI驅動産品之外，谷歌目前還在朝着更高目标邁進——建構一個支援1000種語種的機器學習模型。
在周一釋出的更新中，谷歌分享了更多有關USM的資訊，谷歌稱，這是建構支援1000種語言的通用語音模型的“關鍵第一步”。
USM已被YouTube用于生成字幕，它還支援自動語音識别（ASR），可自動檢測和翻譯語言，不僅包括國語、英語等廣泛使用的語言，還包括阿姆哈拉語、宿務語、阿薩姆語等冷門語言。
目前，谷歌稱USM可支援檢測100多個語種，并将作為建構更大的系統的“基礎”。不過，這項技術似乎還有些遙遠，谷歌在I/O開發者大會期間對阿拉伯語的錯誤表述就已證明。
谷歌研究院科學家張宇（Yu Zhang）和軟體工程師詹姆斯·秦（James Qin）在谷歌部落格上發文稱，為了實作USM這個雄心勃勃的目标，他們目前需要解決ASR面臨的兩個重大挑戰。
一是傳統的學習方法的缺乏可擴充性。語音技術擴充到多語種的一個基本挑戰是需要足夠的資料來訓練高品質的模型，使用傳統方法時，需要手動将音頻資料進行标記，既耗時又價格高昂，對于那些小衆冷門的語種而言，也更難找到預先存在的來源收集。是以，研究院後續準備将傳統學習方法轉變為自我監督學習，利用純音頻來收集資料。
二是在擴大語言覆寫範圍和品質的同時，模型必須以計算效率更高的方法來改進。這就要求學習算法更加靈活、高效、泛化。這些算法需要使用來源廣泛的資料，并在不用完全訓練的情況下更新模型，再推廣到新的語言中。
二、三個步驟降低識别錯誤率，擊敗OpenAI
據該團隊發表的論文稱，USM使用的是标準的編碼器-解碼器架構，其中解碼器是CTC、RNN-T和LAS，編碼器使用的是Conformer或卷積增強變換器。其中，Conformer使用的關鍵元件是Conformer塊，由注意力子產品、前饋子產品和卷積子產品組成，應用一系列Conformer塊和投影層以最終嵌入。
據論文顯示，對于USM的訓練共分為三個步驟。
第一步是使用BEST-RQ來對涵蓋數百種語種的語音音頻進行自我監督學習，已經在多語言任務上展示了最先進的結果，在使用了大量的無監督音頻資料後的證明結果是有效的。
第二步需要使用多目标監督預訓練來整合來自于其他文本資料的資訊。該模型引入了一個額外的編碼器子產品來輸入文本，并引入額外層來組合語音編碼器和文本編碼器的輸出，并在未标記語音、标記語音和文本資料上聯合訓練模型。
最後一步需要USM對下遊任務進行微調，包括ASR（自動語音識别）和AST（自動語音翻譯）。
USM的整體教育訓練管道
對于USM的有效性，團隊通過Youtube Caption的多語言語音資料進行微調來驗證。
受監督的Youtube資料包括有73種語種，每個語種的資料不到3000小時。盡管監督的資料有限，但USM在73個語種當中實作了平均低于30%的單詞容錯率（WER），與目前内部最先進的模型相比降低了6%。與進行了近40萬小時資料訓練的大型模型Whisper相比，USM的錯誤率更低，它在18個語種中的解碼錯誤率僅有32.7%，而Whisper有40%。
在WER低于40%的情況下，USM在其支援的語言上優于Whisper
在公開可用的資料上，與Whisper相比，USM在CORAAL（非裔美國人使用的英語）、SpeechStew和FLEURS這三個語言資料集上都顯示出了更低的單詞容錯率。
在ASR基準上比較USM（有或沒有域内資料）和Whisper的結果。
對于語音翻譯，團隊在CoVoST資料集上微調USM，在有限的監督資料上實作了最好的性能。為了評估模型性能的廣度，他們根據資源可用性将CoVoST資料集中的語言分為高、中、低三類，并計算每個部分中的BLEU分數（機器翻譯評價名額），根據最終展示出的結果，USM在所有細分市場上的表現都優于Whisper。
他們認為，谷歌若想實作連接配接全球資訊并使每個人都能自由通路的願景，USM的開發将會是關鍵的一步，USM的基礎模型架構和訓練通道已經打下了一個基礎，他們要做的就是在此基礎上将語音模型擴充至1000種語言。
結語：AI突破語言障礙，助全球打破資訊繭房
目前，USM已支援100多個語種，未來将持續擴充到1000多個，屆時将會吸引到更大一部分使用者進行體驗，真正實作将資訊分發到全球各個角落。
資訊時代，科技進步将會進一步幫助各個國家地區的語言和文化突破地域的限制，很大程度上解決資訊繭房帶來的困擾。
來源：The Verge、谷歌部落格