天天看點

哈工大LTP和中科院NLPIR中文分詞比較

個人實驗總結,僅供參考。

1.LTP有自動分句功能,NLPIR沒有分句功能;

LTP的分句是根據中文标點裡的句号、問号、感歎号、分号、省略号。

2.NLPIR分詞有兩種方式,分詞結果完全一緻。

(1)利用分詞函數NLPIR_ParagraphProcess;

(2)利用NLPIR_FileProcess對整個文本進行分詞。

其中第(2)種有時候會出現bug,分詞進行到文本某一處時會進行不下去。

3.LTP有線上API和本地兩種:

(1)線上API受限于URI構造規則,不能送出一些特殊字元(如#、&、+、換行符、英文分号等),而且存在極少數未知的組合bug(比如and和in居然不能同時送出);

(2)本地LTP在分詞時則不受上述限制。

符号 問題
換行符 程式直接報錯
& 會影響句子處理(句子會被截斷)
英文分号; 會影響句子處理(句子會被截斷)
# 會影響句子處理(程式直接報錯,如“C#”)
+ 會被系統删除(如“網際網路+”、“C++”)

        基于上述原因,調用線上API分詞和本地分詞兩種方式的分詞結果會有差異,而且除了上述特殊字元引起的差異外,還會有其他一些極少數差異。

差異統計:3000個句子,有40句存在分詞差異。

“+”引起:21句

“#”引起:2句

其他:17句

LTP本地 LTP線上 LTP本地 LTP線上
異常 點 異常點 多 年 多年
不好的 不好 的 過 關 過關
書 挺 不錯 的 書挺 不錯 的 白 學 了 白學 了
很快 很 快 就 此 就此
趕上 趕 上 網絡類 的 圖書 網絡 類 的 圖書
初學者 初 學者 缺 失 缺失

上述例子并不絕對,在有些句子裡,線上切分也能夠将“初學者”切分出來,而本地切分卻會将其切分成“初”“學者”。

4.使用者詞典:

(1)NLPIR分詞時将優先使用使用者詞典;

(2)LTP使用者詞典:官方補充說“LTP的分詞子產品并非采用詞典比對的政策,外部詞典以特征方式加入機器學習算法,并不能保證所有的詞都是按照詞典裡的方式進行切分”;

是以LTP有些詞加入使用者詞典也無效,比如“C++”、“C#”、“網際網路+”。

5.哈工大LTP與中科院NLPIR分詞差異

        試驗了3000句,去除哈工大停用詞後有31259個詞,其中1505句分詞結果完全一樣。

        注意:清單隻是給出一些詞在某些句子裡的切分情況,并不表示在所有句子裡都是這樣切分。在有些情況下,哈工大和中科院的切分方法甚至會反過來。

        整體上感覺中科院NLPIR在很多詞上更傾向于分得更小。

下表給出了導緻不一緻的一些分詞:

哈工大LTP分詞 中科院NLPIR分詞
正在 正 在
給力 給 力
不用說 不用 說
有點 有 點
翻譯家 翻譯 家
一 大 堆話 一 大 堆 話
隻有 隻 有
字字千金 字字 千金
網絡類 網絡 類
不過 不 過
樓主 樓 主
看 起來 看起來
大牛 大 牛
免郵費 免 郵費
贊贊贊 贊 贊 贊
初 學者 初學者
這 本 書 這 本書
難看 懂 難 看 懂
隻能 隻 能
有 人 說 有人 說
難懂 難 懂
有些 有 些
真的 真 的
還是 還 是
以前 以 前
實體書 實體 書
有 些 有些
不錯 不 錯
說是 很 不錯 說 是 很 不 錯
是否 對 味口 是否 對味 口
書摸 起來 的 質感 書 摸 起來 的 質感
與時俱進 與 時 俱 進
就是 就 是
錯版 錯 版
來 入門 的 話 來 入門 的話
經典 之 作 經典之作
膜拜 膜 拜
不好 不 好
你們 你 們
離 不 開 離不開
很多 很 多
知易行 難 知 易行 難
實乃 實 乃
傾情 傾 情
有着 有 着
有 點 有點
很 多 很多
高管 高 管
一下 一 下
延展 延 展
但是 但 是
亞馬遜 亞 馬 遜
就 是 就是
圖靈 圖書 圖 靈 圖書
安卓 安 卓
進階 進 階
例程 例 程
入 門書 入門 書
最好 最 好
還有 還 有
心痛 心 痛
會上瘾 會上 瘾
上來 上 來
實用性 實用 性
原書 原 書
沒 得 說麼 就 是 好 沒 得 說 麼 就 是 好
源碼 源 碼
跟着 跟 着
一部分 一 部分
說說 說 說
太坑 了 太 坑 了
入門者 入門 者
不怎麼樣 不 怎麼樣
開發者 開發 者
本書 本 書
無 需 多 說 無需 多 說
正版書 正版 書
一 本 完 完全全 的 入門書 一 本 完 完全 全 的 入門 書
微網誌 微 博
一頁紙 一 頁 紙
中文字 中 文字
沒有 沒 有
有點 取寵 之 嫌 有點 取 寵 之 嫌
禅意 禅 意
炫技 炫 技
未曾 未 曾
可是 可 是
更新 更 新
菜鳥 菜 鳥
書挺 不錯 的 書 挺 不錯 的
後端 後 端
早就 早 就
再說 吧 再 說 吧
看看 看 看
不行 不 行
很快 很 快
隻是 隻 是
九流 九 流
若是 若 是
名頭 名 頭
書香味 書 香味
知識點 知識 點
個人 個 人
當作 參考 書用 當作 參考書 用
邏輯 思維 邏輯思維
到貨 到 貨
污損 污 損
之前 之 前
一點點 一點 點
完虐 完 虐
曬 圖 曬圖
沒法 沒 法
一起 一 起
第幾 第 幾
線上 在 線
不能 不能
右下角 右 下 角
電商 電 商
支付寶 支付 寶
物聯網 物 聯網
難得一見 難 得 一 見
睜 眼 瞎 睜眼瞎

繼續閱讀