語音識别入門第三節：GMM以及EM算法

目錄

潛變量模型

K-Means聚類

K-Means回顧

K-Means應用

GMM模型

GMM模型基礎

GMM參數的EM估計

EM算法

E步

 M步

潛變量模型

 觀測變量：可以直接觀測到的變量

潛（隐）變量：無法直接被觀測到，需要通過模型和觀測變量進行推斷的變量，利用潛變量來解釋觀測變量的數學模型，稱為潛變量模型。

K-Means聚類

K-Means回顧

給定一個含有N個資料點的集合

，聚類目标是将此N個資料點聚類到K個類别中，且假設K值已經給定。

• 引入K個D維均值向量

  

  ，

  

  即為第k個類别的聚類中心
• 計算資料點

  

  和所有類中心

  

  的距離，類中心距離此資料點最近的類别，即為目前資料點的類别
• 根據新的聚類結果，使用目前聚集到各個類别的資料的均值來更新目前類别的聚類中心
• 傳回第二步，知道滿足一定的停止準則

K-Means應用

如圖像分割和壓縮等。

GMM模型

GMM模型基礎

一維高斯混合模型簡單圖例

如圖所示，紅色實線和黑色實作分别為兩個獨立的高斯模型，藍色虛線為二者的高斯混合模型。

從幾何角度來看，高斯混合模型可以看做多個高斯模型的權重平均，即由多個高斯分布疊加而成。

對于上圖兩個高斯分布，都有自己的均值和協方差矩陣：

、

，其高斯混合模型為：

，其中，

為混合系數，也可以簡單了解為權重。

二維高斯混合模型簡單投影圖例

 從混合模型角度來看，設

為觀測變量，此時，引入一個隐變量

，

表示對應的樣本

是屬于哪一個高斯分布，

是一個離散的随機變量，對于

有如下機率分布（此處假設該高斯混合模型由

個的高斯模型混合而成）：

	​​​​​​		……
			……

有

，在GMM模型中，任意樣本均屬于所有獨立的高斯模型，隻是其屬于各高斯模型的機率有大有小而已（也可以了解為是一種軟分類）。

設

為觀測資料，有

，

為完整資料，

為參數，

，

的極大似然估計

，是以，無法直接用MLE求解GMM，無法得出解析解。

GMM參數的EM估計

EM：

一般會先給一個

，逐漸遞進，求出最大值。

一般會将

看做一個Q函數

。

EM算法

E步

 M步

 求

。

 其餘

、

同理。

本節對應實踐見：語音識别入門第三節：GMM以及EM算法（實戰篇）_安靜_xju的部落格-CSDN部落格