天天看點

sgp4模型具體算法_【機器學習基礎】數學推導+純Python實作機器學習算法28:CRF條件随機場...

Python機器學習算法實作

Author:louwill

Machine Learning Lab

     本文我們來看一下條件随機場(Conditional Random Field,CRF)模型。作為機率圖模型的經典代表之一,CRF了解起來并不容易。究其緣由,還是在于CRF模型過于抽象,大量的機率公式放在一起時常讓人犯暈。還有就是即使了解了公式,很多朋友也迷惑CRF具體用在什麼地方。

     是以在本文的開頭,我們先具體化一個應用場景,明确一下CRF的用途。就拿筆者來舉例:假設現在有筆者從早到晚的一系列照片,現在我們想根據這些照片對筆者日常活動進行分類,比如說吃飯、上班、學習等等。要達到這個目的我們可以訓練一個圖像分類模型來對圖檔所對應的活動進行分類。在訓練資料足夠的情況下,我們是可以達到這個分類目的的。但這種方法一個最大的缺陷在于忽略了筆者這些照片之間是存在時序關系的,如果能确定某一張照片的前一張或者後一張的活動狀态,那對于我們做分類工作大有幫助。而CRF模型就是一種能夠考慮相鄰時序資訊的模型。比如說詞性标注就是CRF最常用的一個場景之一。另外在早期深度學習語義分割模型中,CRF也被作為的一種後處理技術來優化神經網絡的分割結果。

機率無向圖

    機率圖模型是一種用圖來表示機率分布的模型。而機率無向圖模型(Probabilistic Undirected Graphical Model)也叫馬爾可夫随機場(Markov Random Field),是一種用無向圖來表示聯合機率分布。

sgp4模型具體算法_【機器學習基礎】數學推導+純Python實作機器學習算法28:CRF條件随機場...

    假設有聯合機率分布,由無向圖表示,其中圖的結點表示随機變量,邊表示為随機變量之間的依賴關系。如果聯合機率分布滿足成對、局部或者全局馬爾可夫性,則該聯合機率分布為機率無向圖模型。所謂馬爾可夫性,即在給定一組随機變量的條件下,另外兩個随機變量之間的條件獨立性。

    無向圖中任何兩個結點均有邊連接配接的結點子集稱為團,若為的一個團,且不能再加進任何一個結點使其成為更大的團,則稱為的最大團。基于最大團,機率無向圖模型的聯合機率分布可寫作圖中所有最大團上的函數的乘積形式:

其中為規範化因子:

花一點篇幅說一下機率無向圖,主要在于CRF是一種機率無向圖模型。是以它滿足機率無向圖的一些特征,包括上述最大團函數乘積條件。

CRF詳解

CRF定義

    CRF就是在給定随機變量的條件下,随機變量的馬爾可夫随機場。假設和為随機變量,是給定的條件下的條件機率分布。并且當該條件機率分布能夠構成一個由無向圖表示的馬爾可夫随機場,即:

    其中表示在圖中與結點有邊連接配接的所有結點,表示結點以外的所有結點。從CRF的定義我們大緻能夠明白它就是一個滿足馬爾可夫随機場的條件機率分布,我們以線性鍊CRF為例來看其參數化表達方法。

CRF參數化表達

    假設為線性CRF,在随機變量取值為的條件下,随機變量取值為的條件機率具備如下形式:

其中:

上式中和為特征函數,和為對應的權值,為規範化因子,求和是在所有可能的輸出序列上進行的。為了加深對上述式子的了解,我們以一個例子來說明:假設我們要進行一個詞性标注任務,那麼上式中就是輸入的整個句子,為目前位置,和為目前位置和前一位置的标簽,以上四項作為特征函數的輸入。其中為轉移特征函數,為狀态特征函數。當滿足特征條件時特征函數取值為1,不滿足時取值為0。

sgp4模型具體算法_【機器學習基礎】數學推導+純Python實作機器學習算法28:CRF條件随機場...

線性CRF的三個問題

    線性CRF需要解決三個核心問題,包括基于前向-後向的機率估計算法、基于極大似然和牛頓優化的學習算法以及基于維特比算法的預測算法。

前向-後向算法

    所謂CRF的機率估計算法,即給定條件機率分布和輸入輸出序列和時,計算條件機率和以及對應的期望。

    要計算條件機率和,我們可以使用前向-後向算法。先看前向計算過程。定義表示當序列位置的标記為時,在位置之前的部分标記序列的非規範化機率,下式定義了給定下從轉移到的非規範化機率:

    相應的可以得到序列位置的标記為時,在位置之前的部分标記序列的非規範化機率的遞推公式:

在序列起點處定義:

假設可能标記的總數為,則的取值有個,用表示這個值組成的前向向量如下:

用矩陣表示由構成的階矩陣:

最後的遞推公式可以由矩陣表達為:

同理可定義後向計算過程,即定義為序列位置的标記時,在位置之後的部分标記序列的非規範化機率的遞推公式:

在序列終點處定義:

其向量化表達為:,而規範化因子為:

最後的向量表達為:。

按照前向-後向算法,我們可計算标記序列在位置是标記的條件機率和在位置與是标記和的條件機率:

CRF模型學習算法

    線性CRF是如何訓練的呢?在給定訓練資料集和對應标記序列以及個特征函數,需要學習的包括模型參數和條件機率,且條件機率和模型參數滿足如下關系:

    這個式子是不是有點眼熟?其實就是softmax表達式。當訓練得到模型參數之後,我們就可以根據上式計算出條件機率。

     線性CRF的學習模型實際上是定義在時序資料上的對數線形模型,其學習方法包括極大似然估計和正則化的極大似然估計方法。模型優化算法包括梯度下降法、牛頓法、拟牛頓法以及疊代尺度法等。具體的優化算法求解這裡略過。

CRF模型預測算法

    CRF的預測問題是給定條件随機場和輸入序列,求條件機率最大的輸出序列,即要對觀測序列進行标注。CRF使用維特比(Viterbi)算法進行标注預測。

我們先看一下維特比算法的輸入輸出和基本流程。維特比算法的輸入是模型的特征向量和權值向量以及觀測序列,輸出為最優路徑。其算法流程如下:

  • 初始化
  • 遞推。對于,有:
  • 終止:,
  • 傳回路徑:

按照上述維特比算法可球的最優路徑。

     可以看到維特比算法本質上是一種求最優路徑的動态規劃算法,但上述流程了解起來過于抽象,是否有更加具體的方式來了解呢。

     假設我們要在下述有向圖中找出一條從到的最短路徑。最簡單粗暴的方法莫過于周遊所有路徑然後比較一條最短的,但這麼做時間複雜度太高。而維特比算法就是一種可以高效尋找最優路徑的算法。

sgp4模型具體算法_【機器學習基礎】數學推導+純Python實作機器學習算法28:CRF條件随機場...

    我們将該圖從左至右來看。先看起點到第一列的可能路徑有三種:、、。僅從第一列我們尚不能确定某一段就是最終最優路徑中的某一段,是以我們接着看列。經過的所有路徑有三條:、、,比較這三個路徑,選擇一個最短的,因為其他兩條不再可能是最優路徑,我們可以将其他兩條路徑删掉。假設這裡我們保留的是最短路徑。同理我們再對和進行路徑比較,假設經過和保留下來的最短路徑分别為和。最後我們到達終點點,将上述三條路徑連結點後分别比較、和,假設路徑最短,那麼它就是最優路徑。從這個過程我們可以體會到維特比算法是一個典型的動态規劃算法。

CRF實作

實作一個完整的CRF模型包括權重初始化、參數化表達、機率得分計算以及維特比解碼算法等子產品。完整的CRF實作參考:

https://github.com/lancifollia/crf/blob/master/crf.py

下面給出維特比算法的一個參考實作代碼。

import numpy as npdef viterbi(y, A, B, Pi=None):    """    Return the MAP estimate of state trajectory of Hidden Markov Model.    Parameters    ----------    y : array (T,)        Observation state sequence. int dtype.    A : array (K, K)        State transition matrix. See HiddenMarkovModel.state_transition  for        details.    B : array (K, M)        Emission matrix. See HiddenMarkovModel.emission for details.    Pi: optional, (K,)        Initial state probabilities: Pi[i] is the probability x[0] == i. If        None, uniform initial distribution is assumed (Pi[:] == 1/K).    Returns    -------    x : array (T,)        Maximum a posteriori probability estimate of hidden state trajectory,        conditioned on observation sequence y under the model parameters A, B,        Pi.    T1: array (K, T)        the probability of the most likely path so far    T2: array (K, T)        the x_j-1 of the most likely path so far    """    # Cardinality of the state space    K = A.shape[0]    # Initialize the priors with default (uniform dist) if not given by caller    Pi = Pi if Pi is not None else np.full(K, 1 / K)    T = len(y)    T1 = np.empty((K, T), 'd')    T2 = np.empty((K, T), 'B')    # Initilaize the tracking tables from first observation    T1[:, 0] = Pi * B[:, y[0]]    T2[:, 0] = 0    # Iterate throught the observations updating the tracking tables    for i in range(1, T):        T1[:, i] = np.max(T1[:, i - 1] * A.T * B[np.newaxis, :, y[i]].T, 1)        T2[:, i] = np.argmax(T1[:, i - 1] * A.T, 1)    # Build the output, optimal model trajectory    x = np.empty(T, 'B')    x[-1] = np.argmax(T1[:, T - 1])    for i in reversed(range(1, T)):        x[i - 1] = T2[x[i], i]    return x, T1, T2
           

參考資料:

李航 統計學習方法 第二版

https://www.zhihu.com/question/20136144/answer/763021768

https://stackoverflow.com/questions/9729968/python-implementation-of-viterbi-algorithm/9730083

https://github.com/lancifollia/crf/blob/master/crf.py

往期精彩:

數學推導+純Python實作機器學習算法27:EM算法

數學推導+純Python實作機器學習算法26:随機森林

數學推導+純Python實作機器學習算法25:CatBoost

數學推導+純Python實作機器學習算法24:LightGBM

數學推導+純Python實作機器學習算法23:kmeans聚類

數學推導+純Python實作機器學習算法22:最大熵模型

數學推導+純Python實作機器學習算法21:馬爾科夫鍊蒙特卡洛

數學推導+純Python實作機器學習算法20:LDA線性判别分析

數學推導+純Python實作機器學習算法19:PCA降維

數學推導+純Python實作機器學習算法18:奇異值分解SVD

數學推導+純Python實作機器學習算法17:XGBoost

數學推導+純Python實作機器學習算法16:Adaboost

數學推導+純Python實作機器學習算法15:GBDT

數學推導+純Python實作機器學習算法14:Ridge嶺回歸

數學推導+純Python實作機器學習算法13:Lasso回歸

數學推導+純Python實作機器學習算法12:貝葉斯網絡

數學推導+純Python實作機器學習算法11:樸素貝葉斯

數學推導+純Python實作機器學習算法10:線性不可分支援向量機

數學推導+純Python實作機器學習算法8-9:線性可分支援向量機和線性支援向量機

數學推導+純Python實作機器學習算法7:神經網絡

數學推導+純Python實作機器學習算法6:感覺機

數學推導+純Python實作機器學習算法5:決策樹之CART算法

數學推導+純Python實作機器學習算法4:決策樹之ID3算法

數學推導+純Python實作機器學習算法3:k近鄰

數學推導+純Python實作機器學習算法2:邏輯回歸

數學推導+純Python實作機器學習算法1:線性回歸

sgp4模型具體算法_【機器學習基礎】數學推導+純Python實作機器學習算法28:CRF條件随機場...

往期精彩回顧

适合初學者入門人工智能的路線及資料下載下傳

機器學習及深度學習筆記等資料列印

機器學習線上手冊

深度學習筆記專輯

《統計學習方法》的代碼複現專輯

AI基礎下載下傳

機器學習的數學基礎專輯

擷取一折本站知識星球優惠券,複制連結直接打開:

https://t.zsxq.com/yFQV7am

本站qq群1003271085。

加入微信群請掃碼進群:

sgp4模型具體算法_【機器學習基礎】數學推導+純Python實作機器學習算法28:CRF條件随機場...