摘要：本文旨在詳細介紹語音轉化聲學特征的過程，并詳細介紹不同聲學特征在不同模型中的應用。
本文分享自華為雲社群《你真的懂語音特征背後的原理嗎？》，作者： 白馬過平川 。
語音資料常被用于人工智能任務，但語音資料往往不能像圖像任務那樣直接輸入到模型中訓練，其在長時域上沒有明顯的特征變化，很難學習到語音資料的特征，加之語音的時域資料通常由16K采樣率構成，即1秒16000個采樣點，直接輸入時域采樣點訓練資料量大且很難有訓練出實際效果。是以語音任務通常是将語音資料轉化為聲學特征作為模型的輸入或者輸出。是以本文指在詳細介紹語音轉化聲學特征的過程，并詳細介紹不同聲學特征在不同模型中的應用。
首先搞清語音是怎麼産生的對于我們了解語音有很大幫助。人通過聲道産生聲音，聲道的形狀決定了發出怎樣的聲音。聲道的形狀包括舌頭，牙齒等。如果可以準确的知道這個形狀，那麼我們就可以對産生的音素進行準确的描述。聲道的形狀通常由語音短時功率譜的包絡中顯示出來。那如何得到功率譜，或者在功率譜的基礎上得到頻譜包絡，便是可以或得語音的特征。
一、時域圖
圖1：音頻的時域圖
時域圖中，語音信号直接用它的時間波形表示出來，上圖1是用Adobe Audition打開的音頻的時域圖，表示這段語音波形時量化精度是16bit，從圖中可以得到各個音的起始位置，但很難看出更加有用的資訊。但如果我們将其放大到100ms的場景下，可以得到下圖2所示的圖像。
圖2：音頻的短時時域圖
從上圖我們可以看出在短時的的時間次元上，語音時域波形是存在一定的周期的，不同的發音往往對應着不同的周期的變化，是以在短時域上我們可以将波形通過傅裡葉變換轉化為頻域圖，觀察音頻的周期特性，進而擷取有用的音頻特征。
短時傅裡葉變換（STFT）是最經典的時頻域分析方法。所謂短時傅裡葉變換，顧名思義，是對短時的信号做傅裡葉變化。由于語音波形隻有在短時域上才呈現一定周期性，是以使用的短時傅裡葉變換可以更為準确的觀察語音在頻域上的變化。傅裡葉變化實作的示意圖如下：
圖3：傅裡葉變換的從時域轉化為頻域的示意圖
上圖顯示的了如何通過傅裡葉變化将時域波形轉化為頻域譜圖的過程，但在由于本身傅裡葉變化的算法複雜度為O(N^2)，難以應用,在計算機中應用中更多的是使用快速傅裡葉變換（FFT）。其中轉化的推理證明參考[知乎](https://zhuanlan.zhihu.com/p/31584464)
二、擷取音頻特征
由上述一可以知道擷取音頻的頻域特征的具體方法原理，那如何操作将原始音頻轉化為模型訓練的音頻特征，其中任然需要很多輔助操作。具體流程如下圖4所示：
圖4：音頻轉化為音頻特征的流程圖
(1)預加重
預加重處理其實是将語音信号通過一個高通濾波器：
H(z) = 1 - \mu z^{-1}H(z)=1−μz−1
其中\muμ，我們通常取為0.97。預加重的目的是提升高頻部分，使信号的頻譜變得平坦，保持在低頻到高頻的整個頻帶中，能用同樣的信噪比求頻譜。同時，也是為了消除發生過程中聲帶和嘴唇的效應，來補償語音信号受到發音系統所抑制的高頻部分，也為了突出高頻的共振峰。
pre_emphasis = 0.97
emphasized_signal = np.append(original_signal[0], original_signal[1:] - pre_emphasis * original_signal[:-1]) (2)分幀
由于傅裡葉變換要求輸入信号是平穩的，不平穩的信号做傅裡葉變換是沒有什麼意義的。由上述我們可以知道語音在長時間上是不穩定的，在短時上穩定是有一定的周期性的，即語音在宏觀上來看是不平穩的，你的嘴巴一動，信号的特征就變了。但是從微觀上來看，在比較短的時間内，嘴巴動得是沒有那麼快的，語音信号就可以看成平穩的，就可以截取出來做傅裡葉變換了，是以要進行分幀的操作，即截取短時的語音片段。
那麼一幀有多長呢？幀長要滿足兩個條件：
- 從宏觀上看，它必須足夠短來保證幀内信号是平穩的。前面說過，口型的變化是導緻信号不平穩的原因，是以在一幀的期間内口型不能有明顯變化，即一幀的長度應當小于一個音素的長度。正常語速下，音素的持續時間大約是 50~200 毫秒，是以幀長一般取為小于 50 毫秒。
- 從微觀上來看，它又必須包括足夠多的振動周期，因為傅裡葉變換是要分析頻率的，隻有重複足夠多次才能分析頻率。語音的基頻，男聲在 100 赫茲左右，女聲在 200 赫茲左右，換算成周期就是 10 ms和 5 ms。既然一幀要包含多個周期，是以一般取至少 20 毫秒。
注意： 分幀的截取并不是嚴格的分片段，而是有一個幀移的概念，即确定好幀視窗的大小，每次按照幀移大小移動，截取短時音頻片段，通常幀移的大小為5-10ms,視窗的大小通常為幀移的2-3倍即20-30ms。之是以設定幀移的方式主要是為了後續加窗的操作。
具體分幀的流程如下所示：
圖5：音頻分幀示意圖
(3)加窗
取出來的一幀信号，在做傅裡葉變換之前，要先進行「加窗」的操作，即與一個「窗函數」相乘，如下圖所示：
圖5：音頻加窗示意圖
加窗的目的是讓一幀信号的幅度在兩端漸變到0。漸變對傅裡葉變換有好處，可以讓頻譜上的各個峰更細，不容易糊在一起（術語叫做減輕頻譜洩漏），加窗的代價是一幀信号兩端的部分被削弱了，沒有像中央的部分那樣得到重視。彌補的辦法是，幀不要背靠背地截取，而是互相重疊一部分。相鄰兩幀的起始位置的時間差叫做幀移。
通常我們使用漢明窗進行加窗，将分幀後的每一幀乘以漢明窗，以增加幀左端和右端的連續性。假設分幀後的信号為 S(n), n=0,1,…,N-1, NS(n),n=0,1,…,N−1,N為幀的大小，那麼乘上漢明窗後:
W(n,a)=(1-a)-a\times \cos(\frac{2\pi n}{N-1}), \quad 0 \leq n \leqN-1W(n,a)=(1−a)−a×cos(N−12πn),0≤n≤N−1
不同的a值會産生不同的漢明窗，一般情況下取為0.46。
S^{'}(n) = S(n) \times W(n, a)S′(n)=S(n)×W(n,a)
實作的代碼：
# 簡單的漢明窗建構
N = 200
x = np.arange(N)
y = 0.54 * np.ones(N) - 0.46 * np.cos(2*np.pi*x/(N-1))
# 加漢明窗
frames *= np.hamming(frame_length) （4）快速傅裡葉變換FFT
由于信号在時域上的變換通常很難看出信号的特性，是以通常将它轉換為頻域上的能量分布來觀察，不同的能量分布，就能代表不同語音的特性。在乘上漢明窗後，每幀還必須再經過快速傅裡葉變換以得到在頻譜上的能量分布。對分幀加窗後的各幀信号進行快速傅裡葉變換得到各幀的頻譜。快速傅裡葉變換的實作原理已經在前面介紹過，這裡不過多介紹。詳細的推理和實作推介參考知乎FFT(https://zhuanlan.zhihu.com/p/31584464)
注意 ： 這裡音頻經過快速傅裡葉變換傳回的是複數，其中實部表示的頻率的振幅，虛部表示的是頻率的相位。
包含FFT函數的庫有很多，簡單列舉幾個：
import librosa
import torch
import scipy
x_stft = librosa.stft(wav, n_fft=fft_size, hop_length=hop_size,win_length=win_length)
x_stft = torch.stft(wav, n_fft=fft_size, hop_length=hop_size, win_length=win_size)
x_stft = scipy.fftpack.fft(wav) 得到音頻的振幅和相位譜，需要對頻譜取模平方得到語音信号的功率譜，也就是語音合成上常說的線性頻譜。
（5）Mel頻譜
人耳能聽到的頻率範圍是20-20000Hz，但人耳對Hz這種标度機關并不是線性感覺關系。例如如果我們适應了1000Hz的音調，如果把音調頻率提高到2000Hz，我們的耳朵隻能覺察到頻率提高了一點點，根本察覺不到頻率提高了一倍。是以可以将普通的頻率标度轉化為梅爾頻率标度，使其更符合人們的聽覺感覺，這種映射關系如下式所示：
mel(f)=2595×log10(1+700f)
f=700 \times (10^{\frac{m}{2595}}-1)
f=700×(102595m−1)
在計算機中，線性坐标到梅爾坐标的變換，通常使用帶通濾波器來實作，一般常用的使用三角帶通濾波器，使用三角帶通濾波器有兩個主要作用：對頻譜進行平滑化，并消除諧波的作用，突顯原先語音的共振峰。其中三角帶通濾波器構造的示意圖如下所示：
圖6：三角帶通濾波器構造示意圖
這是非均等的三角帶通濾波器構造示意圖，因為人類對高頻的能量感覺較弱，是以低頻的儲存能量要明顯大與高頻。其中三角帶通濾波器的構造代碼如下：
low_freq_mel = 0
high_freq_mel = (2595 * numpy.log10(1 + (sample_rate / 2) / 700)) # Convert Hz to Mel
mel_points = numpy.linspace(low_freq_mel, high_freq_mel, nfilt + 2) # Equally spaced in Mel scale
hz_points = (700 * (10**(mel_points / 2595) - 1)) # Convert Mel to Hz
bin = numpy.floor((NFFT + 1) * hz_points / sample_rate)
fbank = numpy.zeros((nfilt, int(numpy.floor(NFFT / 2 + 1))))
for m in range(1, nfilt + 1):
f_m_minus = int(bin[m - 1]) # left
f_m = int(bin[m]) # center
f_m_plus = int(bin[m + 1]) # right
for k in range(f_m_minus, f_m):
fbank[m - 1, k] = (k - bin[m - 1]) / (bin[m] - bin[m - 1])
for k in range(f_m, f_m_plus):
fbank[m - 1, k] = (bin[m + 1] - k) / (bin[m + 1] - bin[m])
filter_banks = numpy.dot(pow_frames, fbank.T)
filter_banks = numpy.where(filter_banks == 0, numpy.finfo(float).eps, filter_banks) # Numerical Stability
filter_banks = 20 * numpy.log10(filter_banks) # dB 然後隻需将線性譜乘以三角帶通濾波器，并取對數就能得到mel頻譜。通常語音合成的任務的音頻特征提取一般就到這，mel頻譜作為音頻特征基本滿足了一些語音合成任務的需求。但在語音識别中還需要再做一次離散餘弦變換（DCT變換），因為不同的Mel濾波器是有交集的，是以它們是相關的，我們可以用DCT變換去掉這些相關性可以提高識别的準确率，但在語音合成中需要保留這種相關性，是以隻有識别中需要做DCT變換。其中DCT變換的原理詳解可以參考知乎DCT(https://zhuanlan.zhihu.com/p/85299446)
想了解更多的AI技術幹貨，歡迎上華為雲的AI專區，目前有AI程式設計Python等六大實戰營供大家免費學習。（六大實戰營link:http://su.modelarts.club/qQB9）