作者：zhbzz2007 出處：http://www.cnblogs.com/zhbzz2007 歡迎轉載，也請保留這段聲明。謝謝！
1 簡介
詞性（part-of-speech）是詞彙基本的文法範疇，通常也稱為詞類，主要用來描述一個詞在上下文的作用。例如，描述一個概念的詞就是名詞，在下文引用這個名詞的詞就是代詞。有的詞性經常會出現一些新的詞，例如名詞，這樣的詞性叫做開放式詞性。另外一些詞性中的詞比較固定，例如代詞，這樣的詞性叫做封閉式詞性。因為存在一個詞對應多個詞性的現象，是以給詞準确地标注詞性并不是很容易。例如，“改革”在“中國開始對計劃經濟體制進行改革”這句話中是一個動詞，但是在“醫藥衛生改革中的經濟問題”這個句子中是一個名詞。把這個問題抽象出來，就是已知單詞序列，給每個單詞标注詞性。詞性标注是自然語言進行中一項非常重要的基礎性工作。
漢語詞性标注同樣面臨許多棘手的問題，其主要的難點可以歸納為以下三個方面：
- （1） 漢語是一種缺乏詞形态變化的語言，詞的類别不能像印歐語言那樣，直接從詞的形态變化來判别；
- （2） 常用詞兼類現象嚴重，越是常用的詞，不同的用法越多，盡管兼類現象僅僅占漢語詞彙很小的一部分，但是由于兼類使用的程度高，兼類現象紛繁，覆寫面廣，涉及漢語中大部分詞類，因而造成漢國文本中詞類歧義排除的任務量大，而且面廣，複雜多樣；
- （3） 研究者主觀原因造成的困難。語言學界在詞性劃分的目的、标準等問題還存在分歧；
不同的語言有不同的詞性标注集。為了友善指明詞的詞性，可以給每個詞性編碼，可以具體參考 ICTCLAS 漢語詞性标注集 ，其中，常見的有a表示形容詞，d表示副詞，n表示名詞，p表示介詞，v表示動詞。
目前采用的詞性标注方法主要有基于統計模型的标注方法、基于規則的标注方法、統計方法與規則方法相結合的方法、基于有限狀态轉換機的标注方法和基于神經網絡的詞性标注方法。
jieba分詞中提供了詞性标注功能，可以标注标注句子分詞後每個詞的詞性，詞性标注集采用北大計算所詞性标注集，屬于采用基于統計模型的标注方法，下面将通過執行個體講解介紹如何使用jieba分詞的詞性标注接口、以及通過源碼講解其實作的原理。
PS：
jieba是采用和ICTCLAS相容的标記法，參考連結：ictclas 詞性标注在哪裡可以看到？ #47 ， 詞性 eng 是啥？ 為什麼官方沒有詞性對照表？ #411；計算所詞性标注集的作者是張華平老師，張華平老師也是ICTCLAS的作者，是以ICTCLAS詞性标注集就是北大計算所的詞性标注集，參考 計算所漢語詞性标記集 。ICTCLAS現在已經更新為NLPIR，github位址為 https://github.com/NLPIR-team/NLPIR 。
2 執行個體講解
示例代碼如下所示，
# 引入詞性标注接口
import jieba.posseg as psg
text = “去北京大學玩”
#詞性标注
seg = psg.cut(text)
#将詞性标注結果列印出來
for ele in seg:
print ele
控制台輸出，
去/v
北京大學/nt
玩/v 可以觀察到“去”是動詞，“北京大學”是機構名稱，“玩”也是動詞。
3 jieba分詞系統的詞性标注流程
jieba分詞的詞性标注過程非常類似于jieba分詞的分詞流程，同時進行分詞和詞性标注。在詞性标注的時候，首先基于正規表達式（漢字）進行判斷，1）如果是漢字，則會基于字首詞典建構有向無環圖，然後基于有向圖計算最大機率路徑，同時在字首詞典中查找所分出的詞的詞性，如果沒有找到，則将其詞性标注為“x”（非語素字 非語素字隻是一個符号，字母x通常用于代表未知數、符号）；如果HMM标志位置位，并且該詞為未登入詞，則通過隐馬爾科夫模型對其進行詞性标注；2）如果是其它，則根據正規表達式判斷其類型，分别賦予“x”，“m”（數詞 取英語numeral的第3個字母，n，u已有他用），“eng”（英文）。流程圖如下所示，
其中，基于字首詞典構造有向無環圖，然後基于有向無環圖計算最大機率路徑，原理及源碼剖析，具體可參考 結巴分詞2--基于字首詞典及動态規劃實作分詞 這篇blog。
其中，基于隐馬爾科夫模型進行詞性标注，就是将詞性标注視為序列标注問題，利用Viterbi算法進行求解，原理及源碼剖析，具體可參考 結巴分詞3--基于漢字成詞能力的HMM模型識别未登入詞 這篇blog。
4 源碼分析
jieba分詞的詞性标注功能，是在jieba/posseg目錄下實作的。
其中，__init__.py實作了詞性标注的大部分函數；
char_state_tab.py存儲了離線統計的字及其對應的狀态；
prob_emit.py存儲了狀态到字的發射機率的對數值；
prob_start.py存儲了初始狀态的機率的對數值；
prob_trans.py存儲了前一時刻的狀态到目前時刻的狀态的轉移機率的對數值；
viterbi.py實作了Viterbi算法；
4.1 主調函數
jieba分詞的詞性标注接口的主調函數是cut函數，位于jieba/posseg/__init__.py檔案中。
預設條件下，jieba.pool是None，jieba.pool is None這個條件為True，會執行下面的for循環。
def cut(sentence, HMM=True):
"""
Global cutcut function that supports parallel processing.
Note that this only works using dt, custom POSTokenizer
instances are not supported.
“”"
global dt
# 預設條件下，此條件為True
if jieba.pool is None:
# 執行for循環
for w in dt.cut(sentence, HMM=HMM):
yield w
else:
parts = strdecode(sentence).splitlines(True)
if HMM:
result = jieba.pool.map(_lcut_internal, parts)
else:
result = jieba.pool.map(_lcut_internal_no_hmm, parts)
for r in result:
for w in r:
yield w
for循環中的dt = POSTokenizer(jieba.dt)，POSTokenizer就是jieba分詞中的詞性标注定義的類，其中jieba.dt是jieba自己實作的分詞接口。POSTokenizer類在初始化的時候，會讀取離線統計的詞典（每行分别為字、頻率、詞性），加載為詞--詞性詞典。
最終，程式會執行dt.cut函數。
cut函數是預設條件下jieba分詞的詞性标注過程的執行函數，位于jieba/posseg/__init__.py檔案定義的POSTokenizer中。cut函數會執行__cut_internal這個函數。
__cut_internal函數會首先根據标志位，選擇不同的分割函數，然後會首先基于正規表達式對輸入句子進行分割，如果是漢字，則根據分割函數進行分割；否則，進一步根據正規表達式判斷其類型。
預設情況下，HMM标志位為True，是以cut_blk = self.__cut_DAG，也就會使用HMM模型來對未登入詞進行詞性标注。
def __cut_internal(self, sentence, HMM=True):
self.makesure_userdict_loaded()
sentence = strdecode(sentence)
blocks = re_han_internal.split(sentence)
# 根據标志位判斷，選擇不同的分割函數
if HMM:
# 使用HMM模型
cut_blk = self.__cut_DAG
else:
# 不使用HMM模型
cut_blk = self.__cut_DAG_NO_HMM
<span class="hljs-keyword">for</span> blk <span class="hljs-keyword">in</span> blocks:
<span class="hljs-comment"># 比對漢字的正規表達式，進一步根據分割函數進行切割</span>
<span class="hljs-keyword">if</span> re_han_internal.match(blk):
<span class="hljs-keyword">for</span> word <span class="hljs-keyword">in</span> cut_blk(blk):
<span class="hljs-keyword">yield</span> word
<span class="hljs-comment"># 沒有比對上漢字的正規表達式</span>
<span class="hljs-keyword">else</span>:
tmp = re_skip_internal.split(blk)
<span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> tmp:
<span class="hljs-keyword">if</span> re_skip_internal.match(x):
<span class="hljs-keyword">yield</span> pair(x, <span class="hljs-string">'x'</span>)
<span class="hljs-keyword">else</span>:
<span class="hljs-keyword">for</span> xx <span class="hljs-keyword">in</span> x:
<span class="hljs-comment"># 比對為數字</span>
<span class="hljs-keyword">if</span> re_num.match(xx):
<span class="hljs-keyword">yield</span> pair(xx, <span class="hljs-string">'m'</span>)
<span class="hljs-comment"># 比對為英文</span>
<span class="hljs-keyword">elif</span> re_eng.match(x):
<span class="hljs-keyword">yield</span> pair(xx, <span class="hljs-string">'eng'</span>)
<span class="hljs-comment"># 未知類型</span>
<span class="hljs-keyword">else</span>:
<span class="hljs-keyword">yield</span> pair(xx, <span class="hljs-string">'x'</span>)</code></pre>
4.2 基于有向無環圖計算最大機率路徑
__cut_DAG函數會首先根據離線統計的詞典（每行分别為字、頻率、詞性）建構字首詞典這個詞典。然後基于字首詞典建構有向無環圖，然後基于有向無環圖計算最大機率路徑，對句子進行分割。基于分割結果，如果該詞在詞--詞性詞典中，則将詞典中該詞的詞性賦予給這個詞，否則賦予“x”；如果字首詞典中不存在該詞，則這個詞是未登入詞，則利用隐馬爾科夫模型對其進行詞性标注；如果上述兩個條件都沒有滿足，則将詞性标注為“x”。
def __cut_DAG(self, sentence):
# 建構有向無環圖
DAG = self.tokenizer.get_DAG(sentence)
route = {}
<span class="hljs-comment"># 計算最大機率路徑</span>
<span class="hljs-keyword">self</span>.tokenizer.calc(sentence, DAG, route)
x = <span class="hljs-number">0</span>
buf = <span class="hljs-string">''</span>
N = len(sentence)
<span class="hljs-keyword">while</span> x < <span class="hljs-symbol">N:</span>
y = route[x][<span class="hljs-number">1</span>] + <span class="hljs-number">1</span>
l_word = sentence[<span class="hljs-symbol">x:</span>y]
<span class="hljs-keyword">if</span> y - x == <span class="hljs-number">1</span>:
buf += l_word
<span class="hljs-symbol">else:</span>
<span class="hljs-keyword">if</span> <span class="hljs-symbol">buf:</span>
<span class="hljs-keyword">if</span> len(buf) == <span class="hljs-number">1</span>:
<span class="hljs-comment"># 詞--詞性詞典中有該詞，則将詞性賦予給該詞；否則為“x”</span>
<span class="hljs-keyword">yield</span> pair(buf, <span class="hljs-keyword">self</span>.word_tag_tab.get(buf, <span class="hljs-string">'x'</span>))
<span class="hljs-comment"># 字首詞典中不存在這個詞，則利用隐馬爾科夫模型進行詞性标注</span>
elif <span class="hljs-keyword">not</span> <span class="hljs-keyword">self</span>.tokenizer.FREQ.get(buf):
recognized = <span class="hljs-keyword">self</span>.__cut_detail(buf)
<span class="hljs-keyword">for</span> t <span class="hljs-keyword">in</span> <span class="hljs-symbol">recognized:</span>
<span class="hljs-keyword">yield</span> t
<span class="hljs-symbol">else:</span>
<span class="hljs-comment"># 兩種條件都不滿足，則将詞性标注為“x”</span>
<span class="hljs-keyword">for</span> elem <span class="hljs-keyword">in</span> <span class="hljs-symbol">buf:</span>
<span class="hljs-keyword">yield</span> pair(elem, <span class="hljs-keyword">self</span>.word_tag_tab.get(elem, <span class="hljs-string">'x'</span>))
buf = <span class="hljs-string">''</span>
<span class="hljs-comment"># 預設将詞性标注為“x”</span>
<span class="hljs-keyword">yield</span> pair(l_word, <span class="hljs-keyword">self</span>.word_tag_tab.get(l_word, <span class="hljs-string">'x'</span>))
x = y
.......
.......</code></pre>
4.3 隐馬爾科夫識别未登入詞
__cut_detail函數是利用隐馬爾科夫模型進行詞性标注的主函數。
__cut_detail函數首先利用正規表達式對未登入詞組成的句子進行分割，然後根據正規表達式進行判斷，如果比對上，則利用隐馬爾科夫模型對其進行詞性标注；否則，進一步根據正規表達式，判斷其類型。
其中，__cut是隐馬爾科夫模型進行詞性标注的執行函數。
def __cut_detail(self, sentence):
# 根據正規表達式對未登入詞組成的句子進行分割
blocks = re_han_detail.split(sentence)
for blk in blocks:
# 比對上正規表達式
if re_han_detail.match(blk):
# 利用隐馬爾科夫模型對其進行詞性标注
for word in self.__cut(blk):
yield word
# 沒有比對上正規表達式
else:
tmp = re_skip_detail.split(blk)
for x in tmp:
if x:
# 比對為數字
if re_num.match(x):
yield pair(x, 'm')
# 比對為英文
elif re_eng.match(x):
yield pair(x, 'eng')
# 比對為未知類型
else:
yield pair(x, 'x') __cut函數會首先執行Viterbi算法，由Viterbi算法得到狀态序列（包含分詞及詞性标注），也就可以根據狀态序列得到分詞結果。其中狀态以B開頭，離它最近的以E結尾的一個子狀态序列或者單獨為S的子狀态序列，就是一個分詞。以”去北京大玩學城“為例，其中，“去“和”北京”在字首詞典中有，是以直接通過詞--詞性詞典對其比對即可，它倆的詞性分别為“去/v”，“北京/ns”；而對于”大玩學城“這個句子，是未登入詞，是以對其利用隐馬爾科夫模型對其進行詞性标志，它的隐藏狀态序列就是[(u'S', u'a'), (u'B', u'n'), (u'E', u'n'), (u'B', u'n')]這個清單，清單中的每個元素為一個元組，則分詞為”S / BE / B“，對應觀測序列，也就是”大 / 玩學 / 城”。
def __cut(self, sentence):
# 執行Viterbi算法
prob, pos_list = viterbi(
sentence, char_state_tab_P, start_P, trans_P, emit_P)
begin, nexti = 0, 0
<span class="hljs-keyword">for</span> i, char <span class="hljs-keyword">in</span> enumerate(sentence):
<span class="hljs-comment"># 根據狀态進行分詞</span>
pos = pos_list[i][<span class="hljs-number">0</span>]
<span class="hljs-keyword">if</span> pos == <span class="hljs-string">'B'</span>:
<span class="hljs-keyword">begin</span> = i
elif pos == <span class="hljs-string">'E'</span>:
<span class="hljs-keyword">yield</span> pair(sentence[<span class="hljs-symbol">begin:</span>i + <span class="hljs-number">1</span>], pos_list[i][<span class="hljs-number">1</span>])
nexti = i + <span class="hljs-number">1</span>
elif pos == <span class="hljs-string">'S'</span>:
<span class="hljs-keyword">yield</span> pair(char, pos_list[i][<span class="hljs-number">1</span>])
nexti = i + <span class="hljs-number">1</span>
<span class="hljs-keyword">if</span> nexti < len(sentence):
<span class="hljs-keyword">yield</span> pair(sentence[<span class="hljs-symbol">nexti:</span>], pos_list[nexti][<span class="hljs-number">1</span>])</code></pre>
4.4 Viterbi算法
viterbi函數是在jieba/posseg/viterbi.py檔案中實作。實作過程非常類似于結巴分詞3--基于漢字成詞能力的HMM模型識别未登入詞 這篇blog 3.3 章節中講解的。
其中，obs是觀測序列，也即待标注的句子；
states是每個詞可能的狀态，在jieba/posseg/char_state_tab.py檔案中定義，格式如下，表示字“一”（\u4e00）可能的狀态包括1）“B”表明位于詞的開始位置，“m”表示詞性為為數詞；2）“S”表明單字成詞，“m”表示詞性為為數詞等等狀态。
P={'\u4e00': (('B', 'm'),
('S', 'm'),
('B', 'd'),
('B', 'a'),
('M', 'm'),
('B', 'n'),
...
}
start_p，是初始狀态，在jieba/posseg/prob_start.py檔案中定義，格式如下，表示1）“B”表明位于詞的開始位置，“a”表示為形容詞，其對數機率為-4.762305214596967；2）=）“B”表明位于詞的開始位置，“b”表示為差別詞（取漢字“别”的聲母），其初始機率的對數值為-5.018374362109218等等狀态。
P={('B', 'a'): -4.762305214596967,
('B', 'ad'): -6.680066036784177,
('B', 'ag'): -3.14e+100,
('B', 'an'): -8.697083223018778,
('B', 'b'): -5.018374362109218,
...
}
trans_p，是狀态轉移機率，在jieba/posseg/prob_trans.py檔案中定義中定義，格式如下，表示1）前一時刻的狀态為（“B”和“a”），也即前一個字為詞的開始位置，詞性為形容詞，目前時刻的狀态為（“E”和“a”），也即目前字位于詞的末尾位置，詞性為形容詞，它的狀态轉移機率的對數值為-0.0050648453069648755等等狀态。
P={('B', 'a'): {('E', 'a'): -0.0050648453069648755,
('M', 'a'): -5.287963037107507},
('B', 'ad'): {('E', 'ad'): -0.0007479013978476627,
('M', 'ad'): -7.198613337130562},
('B', 'ag'): {},
('B', 'an'): {('E', 'an'): 0.0},
...
}
emit_p，是狀态發射機率，在jieba/posseg/prob_emit.py檔案中定義中定義，格式如下，表示1）目前狀态為（“B”和“a”），也即目前字位于詞的開始位置，詞性為形容詞，到漢字“一”的發射機率的對數值為-3.618715666782108；2）到漢字“萬”（\u4e07）的發射機率的對數值為-10.500566885381515。
P={('B', 'a'): {'\u4e00': -3.618715666782108,
'\u4e07': -10.500566885381515,
'\u4e0a': -8.541143017159477,
'\u4e0b': -8.445222895280738,
'\u4e0d': -2.7990867583580403,
'\u4e11': -7.837979058356061,
...
}
viterbi函數會先計算各個初始狀态的對數機率值，然後遞推計算，依次1）擷取前一時刻所有的狀态集合；2）根據前一時刻的狀态和狀态轉移矩陣，提前計算目前時刻的狀态集合，再根據目前的觀察值獲得目前時刻的可能狀态集合，再與上一步驟計算的狀态集合取交集；3）根據每時刻目前所處的狀态，其對數機率值取決于上一時刻的對數機率值、上一時刻的狀态到這一時刻的狀态的轉移機率、這一時刻狀态轉移到目前的字的發射機率三部分組成。最後再根據最大機率路徑依次回溯，得到最優的路徑，也即為要求的各個時刻的狀态。
jieba分詞中的狀态如何選取？在模型的資料是如何生成的？ #7中提到，
狀态多一些使得分詞更準确這一點我也贊同。其實，在jieba分詞的詞性标注子子產品posseg中，就是将BMES四種狀态和20集中詞性做笛卡爾集得到所有的狀态，最後的效果也的确比finalseg要好，尤其是人名識别方面，但是速度就嚴重下降了。https://github.com/fxsjy/jieba/blob/master/jieba/posseg/prob_start.py
def viterbi(obs, states, start_p, trans_p, emit_p):
V = [{}] # tabular
mem_path = [{}]
# 根據狀态轉移矩陣，擷取所有可能的狀态
all_states = trans_p.keys()
# 時刻t=0，初始狀态
for y in states.get(obs[0], all_states): # init
V[0][y] = start_p[y] + emit_p[y].get(obs[0], MIN_FLOAT)
mem_path[0][y] = ''
# 時刻t=1,...,len(obs) - 1
for t in xrange(1, len(obs)):
V.append({})
mem_path.append({})
#prev_states = get_top_states(V[t-1])
# 擷取前一時刻所有的狀态集合
prev_states = [
x for x in mem_path[t - 1].keys() if len(trans_p[x]) > 0]
# 根據前一時刻的狀态和狀态轉移矩陣，提前計算目前時刻的狀态集合
prev_states_expect_next </span>= <span class="hljs-keyword">set</span>(
(y <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> prev_states <span class="hljs-keyword">for</span> y <span class="hljs-keyword">in</span> trans_p[x].keys()))
<span class="hljs-meta"># 根據目前的觀察值獲得目前時刻的可能狀态集合，再與上一步驟計算的狀态集合取交集</span>
obs_states = <span class="hljs-keyword">set</span>(
states.<span class="hljs-keyword">get</span>(obs[t], all_states)) & prev_states_expect_next
<span class="hljs-meta"># 如果目前狀态的交集集合為空</span>
<span class="hljs-keyword">if</span> not obs_states:
<span class="hljs-meta"># 如果提前計算目前時刻的狀态集合不為空，則目前時刻的狀态集合為提前計算目前時刻的狀态集合，否則為全部可能的狀态集合</span>
obs_states = prev_states_expect_next <span class="hljs-keyword">if</span> prev_states_expect_next <span class="hljs-keyword">else</span> all_states
<span class="hljs-meta"># 目前時刻所處的各種可能的狀态集合</span>
<span class="hljs-keyword">for</span> y <span class="hljs-keyword">in</span> obs_states:
<span class="hljs-meta"># 分别擷取上一時刻的狀态的機率對數，該狀态到本時刻的狀态的轉移機率對數，本時刻的狀态的發射機率對數</span>
<span class="hljs-meta"># prev_states是目前時刻的狀态所對應上一時刻可能的狀态集合</span>
prob, state = max((V[t - <span class="hljs-number">1</span>][y0] + trans_p[y0].<span class="hljs-keyword">get</span>(y, MIN_INF) +
emit_p[y].<span class="hljs-keyword">get</span>(obs[t], MIN_FLOAT), y0) <span class="hljs-keyword">for</span> y0 <span class="hljs-keyword">in</span> prev_states)
V[t][y] = prob
mem_path[t][y] = state
<span class="hljs-meta"># 最後一個時刻</span>
last = [(V[<span class="hljs-number">-1</span>][y], y) <span class="hljs-keyword">for</span> y <span class="hljs-keyword">in</span> mem_path[<span class="hljs-number">-1</span>].keys()]
<span class="hljs-meta"># <span class="hljs-meta-keyword">if</span> len(last)==0:</span>
<span class="hljs-meta"># print obs</span>
prob, state = max(last)
<span class="hljs-meta"># 從時刻t = len(obs) - 1,...,0，依次将最大機率對應的狀态儲存在清單中</span>
route = [None] * len(obs)
i = len(obs) - <span class="hljs-number">1</span>
<span class="hljs-keyword">while</span> i >= <span class="hljs-number">0</span>:
route[i] = state
state = mem_path[i][state]
i -= <span class="hljs-number">1</span>
<span class="hljs-meta"># 傳回最大機率及各個時刻的狀态</span>
<span class="hljs-keyword">return</span> (prob, route)</code></pre>
相關優化：
- 1 根據前一時刻的狀态和狀态轉移矩陣，提前計算目前時刻的狀态集合，再根據目前的觀察值獲得目前時刻的可能狀态集合，再與上一步驟計算的狀态集合取交集，可以減少目前時刻的所處的狀态數目；
5 Reference
詞性标注
ICTCLAS 漢語詞性标注集
統計自然語言處理（宗成慶）--第7章 漢語自動分詞與詞性标注
![詞性标注[圖]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)