近期做一個小整理，把之前學過的一些模型重新拿出來學習一下。而CRF（Conditional Random Fields，條件随機場）模型是自己了解到的第一批模型之一，是以拿過來複習一下
假設你有許多小明同學一天内不同時段的照片，從小明提褲子起床到脫褲子睡覺各個時間段都有（小明是照片控！）。現在的任務是對這些照片進行分類。比如有的照片是吃飯，那就給它打上吃飯的标簽；有的照片是跑步時拍的，那就打上跑步的标簽；有的照片是開會時拍的，那就打上開會的标簽。問題來了，你準備怎麼幹？
一個簡單直覺的辦法就是，不管這些照片之間的時間順序，想辦法訓練出一個多元分類器。就是用一些打好标簽的照片作為訓練資料，訓練出一個模型，直接根據照片的特征來分類。例如，如果照片是早上6:00拍的，且畫面是黑暗的，那就給它打上睡覺的标簽;如果照片上有車，那就給它打上開車的标簽。
這樣可行嗎？
乍一看可以！但實際上，由于我們忽略了這些照片之間的時間順序這一重要資訊，我們的分類器會有缺陷的。舉個例子，假如有一張小明閉着嘴的照片，怎麼分類？顯然難以直接判斷，需要參考閉嘴之前的照片，如果之前的照片顯示小明在吃飯，那這個閉嘴的照片很可能是小明在咀嚼食物準備下咽，可以給它打上吃飯的标簽；如果之前的照片顯示小明在唱歌，那這個閉嘴的照片很可能是小明唱歌瞬間的抓拍，可以給它打上唱歌的标簽。
是以，為了讓我們的分類器能夠有更好的表現，在為一張照片分類時，我們必須将與它相鄰的照片的标簽資訊考慮進來。這——就是條件随機場(CRF)大顯身手的地方！
從例子說起——詞性标注問題
啥是詞性标注問題？
非常簡單的，就是給一個句子中的每個單詞注明詞性。比如這句話：“Bob drank coffee at Starbucks”，注明每個單詞的詞性後是這樣的：“Bob (名詞) drank(動詞) coffee(名詞) at(介詞) Starbucks(名詞)”。
下面，就用條件随機場來解決這個問題。
以上面的話為例，有5個單詞，我們将：(名詞，動詞，名詞，介詞，名詞)作為一個标注序列，稱為l，可選的标注序列有很多種，比如l還可以是這樣：（名詞，動詞，動詞，介詞，名詞），我們要在這麼多的可選标注序列中，挑選出一個最靠譜的作為我們對這句話的标注。
怎麼判斷一個标注序列靠譜不靠譜呢？
就我們上面展示的兩個标注序列來說，第二個顯然不如第一個靠譜，因為它把第二、第三個單詞都标注成了動詞，動詞後面接動詞，這在一個句子中通常是說不通的。
假如我們給每一個标注序列打分，打分越高代表這個标注序列越靠譜，我們至少可以說，凡是标注中出現了動詞後面還是動詞的标注序列，要給它負分！！
上面所說的動詞後面還是動詞就是一個特征函數，我們可以定義一個特征函數集合，用這個特征函數集合來為一個标注序列打分，并據此選出最靠譜的标注序列。也就是說，每一個特征函數都可以用來為一個标注序列評分，把集合中所有特征函數對同一個标注序列的評分綜合起來，就是這個标注序列最終的評分值。
定義CRF中的特征函數
現在，我們正式地定義一下什麼是CRF中的特征函數，所謂特征函數，就是這樣的函數，它接受四個參數：
句子s（就是我們要标注詞性的句子）
i，用來表示句子s中第i個單詞
l_i，表示要評分的标注序列給第i個單詞标注的詞性
l_i-1，表示要評分的标注序列給第i-1個單詞标注的詞性
它的輸出值是0或者1,0表示要評分的标注序列不符合這個特征，1表示要評分的标注序列符合這個特征。
Note:這裡，我們的特征函數僅僅依靠目前單詞的标簽和它前面的單詞的标簽對标注序列進行評判，這樣建立的CRF也叫作線性鍊CRF，這是CRF中的一種簡單情況。為簡單起見，本文中我們僅考慮線性鍊CRF。
從特征函數到機率
定義好一組特征函數後，我們要給每個特征函數f_j賦予一個權重λ_j。現在，隻要有一個句子s，有一個标注序列l，我們就可以利用前面定義的特征函數集來對l評分。
上式中有兩個求和，外面的求和用來求每一個特征函數f_j評分值的和，裡面的求和用來求句子中每個位置的單詞的的特征值的和。
對這個分數進行指數化和标準化，我們就可以得到标注序列l的機率值p(l|s)，如下所示：
幾個特征函數的例子:
前面我們已經舉過特征函數的例子，下面我們再看幾個具體的例子，幫助增強大家的感性認識。
當l_i是“副詞”并且第i個單詞以“ly”結尾時，我們就讓f1 = 1，其他情況f1為0。不難想到，f1特征函數的權重λ1應當是正的。而且λ1越大，表示我們越傾向于采用那些把以“ly”結尾的單詞标注為“副詞”的标注序列
如果i=1，l_i=動詞，并且句子s是以“？”結尾時，f2=1，其他情況f2=0。同樣，λ2應當是正的，并且λ2越大，表示我們越傾向于采用那些把問句的第一個單詞标注為“動詞”的标注序列。
當l_i-1是介詞，l_i是名詞時，f3 = 1，其他情況f3=0。λ3也應當是正的，并且λ3越大，說明我們越認為介詞後面應當跟一個名詞。
如果l_i和l_i-1都是介詞，那麼f4等于1，其他情況f4=0。這裡，我們應當可以想到λ4是負的，并且λ4的絕對值越大，表示我們越不認可介詞後面還是介詞的标注序列。
好了，一個條件随機場就這樣建立起來了，讓我們總結一下：
為了建一個條件随機場，我們首先要定義一個特征函數集，每個特征函數都以整個句子s，目前位置i，位置i和i-1的标簽為輸入。然後為每一個特征函數賦予一個權重，然後針對每一個标注序列l，對所有的特征函數權重求和，必要的話，可以把求和的值轉化為一個機率值。
CRF與邏輯回歸的比較
觀察公式：
是不是有點邏輯回歸的味道？
事實上，條件随機場是邏輯回歸的序列化版本。邏輯回歸是用于分類的對數線性模型，條件随機場是用于序列化标注的對數線性模型。
CRF與HMM的比較
對于詞性标注問題，HMM模型也可以解決。HMM的思路是用生成辦法，就是說，在已知要标注的句子s的情況下，去判斷生成标注序列l的機率，如下所示：
這裡:
p(l_i|l_i-1)是轉移機率，比如，l_i-1是介詞，l_i是名詞，此時的p表示介詞後面的詞是名詞的機率。
p(w_i|l_i)表示發射機率（emission probability），比如l_i是名詞，w_i是單詞“ball”，此時的p表示在是名詞的狀态下，是單詞“ball”的機率。
如果有不太想看枯燥的公式的同學，可以看如何用簡單易懂的例子解釋隐馬爾可夫模型？，該文将HMM的原理講的非常清楚，包括老師上課時候也給我們推薦了一波。
那麼，HMM和CRF怎麼比較呢？
答案是：CRF比HMM要強大的多，它可以解決所有HMM能夠解決的問題，并且還可以解決許多HMM解決不了的問題。事實上，我們可以對上面的HMM模型取對數，就變成下面這樣：
我們把這個式子與CRF的式子進行比較：
不難發現，如果我們把第一個HMM式子中的log形式的機率看做是第二個CRF式子中的特征函數的權重的話，我們會發現，CRF和HMM具有相同的形式。
換句話說，我們可以構造一個CRF，使它與HMM的對數形式相同。怎麼構造呢？
對于HMM中的每一個轉移機率p(l_i=y|l_i-1=x),我們可以定義這樣的一個特征函數：
該特征函數僅當l_i = y,l_i-1=x時才等于1。這個特征函數的權重如下：
同樣的，對于HMM中的每一個發射機率，我們也都可以定義相應的特征函數，并讓該特征函數的權重等于HMM中的log形式的發射機率。
用這些形式的特征函數和相應的權重計算出來的p(l|s)和對數形式的HMM模型幾乎是一樣的！
用一句話來說明HMM和CRF的關系就是這樣：
每一個HMM模型都等價于某個CRF每一個HMM模型都等價于某個CRF每一個HMM模型都等價于某個CRF
但是，CRF要比HMM更加強大，原因主要有兩點：
CRF可以定義數量更多，種類更豐富的特征函數。HMM模型具有天然具有局部性，就是說，在HMM模型中，目前的單詞隻依賴于目前的标簽，目前的标簽隻依賴于前一個标簽。這樣的局部性限制了HMM隻能定義相應類型的特征函數，我們在上面也看到了。但是CRF卻可以着眼于整個句子s定義更具有全局性的特征函數，如這個特征函數：
如果i=1，l_i=動詞，并且句子s是以“？”結尾時，f2=1，其他情況f2=0。
CRF可以使用任意的權重将對數HMM模型看做CRF時，特征函數的權重由于是log形式的機率，是以都是小于等于0的，而且機率還要滿足相應的限制，如
但在CRF中，每個特征函數的權重可以是任意值，沒有這些限制。
轉自NLP系列學習:CRF條件随機場(2)