一文看懂深度學習在語音合成&增強上的應用

文作者劉斌，中科院自動化所博士，極限元資深智能語音算法專家，中科院-極限元智能互動聯合實驗室核心技術人員，曾多次在國際頂級會議上發表論文，獲得多項關于語音及音頻領域的專利，具有豐富的工程經驗。

深度學習在 2006 年嶄露頭角後，近幾年來取得了快速發展，在學術界和工業界均呈現出指數級增長的趨勢；伴随着這項技術的不斷成熟，深度學習在智能語音領域率先發力，取得一系列成功的應用。本文将重點分享近年來深度學習在語音生成問題中的新方法，圍繞語音合成和語音增強兩個典型問題展開介紹。

語音合成主要采用波形拼接合成和統計參數合成兩種方式。波形拼接語音合成需要有足夠的高品質發音人錄音才能夠合成高品質的語音，它在工業界中得到了廣泛使用。統計參數語音合成雖然整體合成品質略低，但是在發音人語料規模有限的條件下，優勢更為明顯。在上一期我們重點介紹了深度學習在統計參數語音合成中的應用，本期将和大家分享基于波形拼接的語音合成系統，圍繞 Siri 近期推出的語音合成系統展開介紹，它是一種混合語音合成系統，選音方法類似于傳統的波形拼接方法，它利用參數合成方法來指導選音，本質上是一種波形拼接語音合成系統。

單元選擇是波形拼接語音合成系統的基本難題，需要在沒有明顯錯誤的條件下将合适的基元組合在一起。語音合成系統通常分為前端和後端兩個部分，前端子產品對于提高語音合成系統的表現力起到非常重要的作用。前端子產品将包含數字、縮寫等在内的原始文本正則化，并對各個詞預測讀音，解析來自文本的句法、節奏、重音等資訊。是以，前端子產品高度依賴于語言學資訊。後端通過語言學特征預測聲學參數，模型的輸入是數值化的語言學特征。模型的輸出是聲學特征，例如頻譜、基頻、時長等。在合成階段，利用訓練好的統計模型把輸入文本特征映射到聲學特征，然後用來指導選音。在選音過程中需要重點考慮以下兩個準則：（1）候選基元和目标基元的特征必須接近；（2）相鄰兩個基元的邊界處必須自然過渡。可以通過計算目标代價和拼接代價評估這兩個準則；然後通過維特比算法計算最優路徑确定最終的候選基元；最後通過波形相似重疊相加算法找出最佳拼接時刻，是以生成平滑且連續合成語音。

Siri 的 TTS 系統的目标是訓練一個基于深度學習的統一模型，該模型能自動準确地預測資料庫中單元的目标成本和拼接成本。是以該方法使用深度混合密度模型來預測特征值的分布。這種網絡結構結合了正常的深度神經網絡和高斯混合模型的優勢，即通過 DNN 對輸入和輸出之間的複雜關系進行模組化，并且以機率分布作為輸出。系統使用了基于 MDN 統一的目标和拼接模型，該模型能預測語音目标特征（譜、基頻、時長）和拼接成本分布，并引導基元的搜尋。對于元音，有時語音特征相對穩定，而有些時候變化又非常迅速，針對這一問題，模型需要能夠根據這種變化性對參數作出調整，是以在模型中使用嵌入方差解決這一問題。系統在運作速度、記憶體使用上具有一定優勢，使用快速預選機制、單元剪枝和計算并行化優化了它的性能，可以在移動裝置上運作。

通過語音增強可以有效抑制各種幹擾信号，增強目智語音信号；有效的語音增強算法一方面可以提高語音可懂度和話音品質，另一方面有助于提高語音識别和聲紋識别的魯棒性。經典的語音增強方法包括譜減法、維納濾波法、最小均方誤差法，上述方法基于一些數學假設，在真實環境下難以有效抑制非平穩噪聲的幹擾。基于盲分離的非負矩陣分解方法也得到了一定關注，但是這類方法計算複雜度相對較高；近年來，基于深度學習的語音增強方法得到了越來越多的關注，接下來重點介紹幾種典型的基于深度學習的語音增強方法。

這類方法通過深層神經網絡模型建立帶噪語音和幹淨語音譜參數之間的映射關系，模型的輸入是帶噪語音的幅值譜相關特征，模型的輸出是幹淨語音的幅值譜相關特征，通過深層神經網絡強大的非線性模組化能力重構安靜語音的幅值譜相關特征；神經網絡模型結構可以是 DNN/BLSTM-RNN/CNN 等；相比于譜減、最小均方誤差、維納濾波等傳統方法，這類方法可以更為有效的利用上下文相關資訊，對于處理非平穩噪聲具有明顯的優勢。

采用這類方法模組化時模型的輸入可以是聽覺域相關特征，模型的輸出是二值型屏蔽值或浮點型屏蔽值，最常用的聽覺域特征是 Gamma 濾波器相關特征，這種方法根據聽覺感覺特性将音頻信号分成不同子帶提取特征參數；對于二值型屏蔽值，如果某個時頻單元能量是語音主導，則保留該時頻單元能量，如果某個時頻單元能量是噪聲主導，則将該時頻單元能量置零；采用這種方法的優勢是，共振峰位置處的能量得到了很好的保留，而相鄰共振峰之間波谷處的能量雖然失真誤差較大，但是人耳對這類失真并不敏感；是以通過這種方法增強後的語音具有較高的可懂度；浮點值屏蔽是在二值型屏蔽基礎上進一步改進，目标函數反映了對各個時頻單元的抑制程度，進一步提高增強後語音的話音品質和可懂度。

目前主流的語音增強方法更多的關注于對幅值譜相關特征的增強而保留原始語音的相位譜，随着信噪比的降低相位譜失真對聽感的影響明顯增強，在低信噪比條件下，有效的相位重構方法可以有助于提高語音可懂度；一種典型的相位重構方法是利用基音周期線索對濁音段的相位進行有效修複，但是這類方法無法有效估計清音段的相位資訊；複數神經網絡模型可以對複數值進行非線性變換，而語音幀的複數譜能夠同時包含幅值譜資訊和相位譜資訊，可以通過複數神經網絡建立帶噪語音複數譜和幹淨語音複數譜的映射關系，實作同時對幅值資訊和相位資訊的增強。

通過說話人分離技術可以将混疊語音中不同的說話人資訊有效分離出來，已有的基于深度學習的說話人分離模型受限于說話人，隻能分離出特定說話人的聲音；采用具有置換不變性的訓練方法得到的說話人分離模型不再受限于特定說話人；這種方法通過自動尋找分離出的信号和标注的聲源之間的最佳比對來優化語音增強目标函數；模型的輸入是混疊語音的譜參數特征，模型的輸出包含多個任務，每個任務對應一個說話人；在訓練過程中，對于訓練集中一個樣本内，每個任務固定對應某個說話人；可以采用 BLSTM-RNN 模型結構模組化。

基于深度聚類的說話人分離方法是另一種說話人無關的分離模型，這種方法通過把混疊語音中的每個時頻單元結合它的上下文資訊映射到一個新的空間，并在這個空間上進行聚類，使得在這一空間中屬于同一說話人的時頻單元距離較小可以聚類到一起；将時頻單元映射到新的空間跟詞矢量抽取的思想有些類似，可以通過 k 均值聚類的方法對時頻單元分組，然後計算二值型屏蔽值分離出不同說話人的語音，也可以通過模糊聚類的方法描述不同的時頻單元，然後計算浮點型屏蔽值後分離混疊語音。基于深層聚類的方法和基于 PIT 的方法有着各自的優勢，為了更有效的解決問題，可能需要将兩種方法有效的結合。

在深度學習生成模型方面的最新突破是生成對抗網絡，GAN 在計算機視覺領域生成逼真圖像上取得巨大成功，可以生成像素級、複雜分布的圖像。GAN 還沒有廣泛應用于語音生成問題。本文介紹一種基于對抗網絡的語音增強方法。這種方法提供了一種快速增強處理方法，不需要因果關系，沒有 RNN 中類似的遞歸操作；直接處理原始音頻的端到端方法，不需要手工提取特征，無需對原始資料做明顯假設；從不同說話者和不同類型噪聲中學習，并将它們結合在一起形成相同的共享參數，使得系統簡單且泛化能力較強。

語音增強問題是由輸入含噪信号得到增強信号，這種方法通過語音增強 GAN 實作，其中生成網絡用于增強。它的輸入是含噪語音信号和潛在表征信号，輸出是增強後的信号。将生成器設計為全部是卷積層（沒有全連接配接層），這麼做可以減少訓練參數進而縮短了訓練時間。生成網絡的一個重要特點是端到端結構，直接處理原始語音信号，避免了通過中間變換提取聲學特征。在訓練過程中，鑒别器負責向生成器發送輸入資料中真僞資訊，使得生成器可以将其輸出波形朝着真實的分布微調，進而消除幹擾信号。

本文圍繞着近年來深度學習在語音合成和語音增強問題中的新方法展開介紹，雖然語音合成和語音增強需要解決的問題不同，但是在模組化方法上有很多相通之處，可以互相借鑒。深度學習方法在語音轉換、語音帶寬擴充等領域也有着廣泛的應用，感興趣的讀者可以關注這一領域最新的研究成果。雖然深度學習的快速發展推動了智能語音産品的落地，但是仍有些問題不能依賴于深度學習方法徹底解決，例如提高合成語音的表現力、提高增強後語音的可懂度，需要在對輸入輸出特征的實體含義深入了解的基礎上，有效的表征資訊，選擇合适的方法進行模組化。

本文作者：極限元