個人實驗總結,僅供參考。
1.LTP有自動分句功能,NLPIR沒有分句功能;
LTP的分句是根據中文标點裡的句号、問号、感歎号、分号、省略号。
2.NLPIR分詞有兩種方式,分詞結果完全一緻。
(1)利用分詞函數NLPIR_ParagraphProcess;
(2)利用NLPIR_FileProcess對整個文本進行分詞。
其中第(2)種有時候會出現bug,分詞進行到文本某一處時會進行不下去。
3.LTP有線上API和本地兩種:
(1)線上API受限于URI構造規則,不能送出一些特殊字元(如#、&、+、換行符、英文分号等),而且存在極少數未知的組合bug(比如and和in居然不能同時送出);
(2)本地LTP在分詞時則不受上述限制。
符号 | 問題 |
換行符 | 程式直接報錯 |
& | 會影響句子處理(句子會被截斷) |
英文分号; | 會影響句子處理(句子會被截斷) |
# | 會影響句子處理(程式直接報錯,如“C#”) |
+ | 會被系統删除(如“網際網路+”、“C++”) |
基于上述原因,調用線上API分詞和本地分詞兩種方式的分詞結果會有差異,而且除了上述特殊字元引起的差異外,還會有其他一些極少數差異。
差異統計:3000個句子,有40句存在分詞差異。
“+”引起:21句
“#”引起:2句
其他:17句
LTP本地 | LTP線上 | LTP本地 | LTP線上 |
異常 點 | 異常點 | 多 年 | 多年 |
不好的 | 不好 的 | 過 關 | 過關 |
書 挺 不錯 的 | 書挺 不錯 的 | 白 學 了 | 白學 了 |
很快 | 很 快 | 就 此 | 就此 |
趕上 | 趕 上 | 網絡類 的 圖書 | 網絡 類 的 圖書 |
初學者 | 初 學者 | 缺 失 | 缺失 |
上述例子并不絕對,在有些句子裡,線上切分也能夠将“初學者”切分出來,而本地切分卻會将其切分成“初”“學者”。
4.使用者詞典:
(1)NLPIR分詞時将優先使用使用者詞典;
(2)LTP使用者詞典:官方補充說“LTP的分詞子產品并非采用詞典比對的政策,外部詞典以特征方式加入機器學習算法,并不能保證所有的詞都是按照詞典裡的方式進行切分”;
是以LTP有些詞加入使用者詞典也無效,比如“C++”、“C#”、“網際網路+”。
5.哈工大LTP與中科院NLPIR分詞差異
試驗了3000句,去除哈工大停用詞後有31259個詞,其中1505句分詞結果完全一樣。
注意:清單隻是給出一些詞在某些句子裡的切分情況,并不表示在所有句子裡都是這樣切分。在有些情況下,哈工大和中科院的切分方法甚至會反過來。
整體上感覺中科院NLPIR在很多詞上更傾向于分得更小。
下表給出了導緻不一緻的一些分詞:
哈工大LTP分詞 | 中科院NLPIR分詞 |
正在 | 正 在 |
給力 | 給 力 |
不用說 | 不用 說 |
有點 | 有 點 |
翻譯家 | 翻譯 家 |
一 大 堆話 | 一 大 堆 話 |
隻有 | 隻 有 |
字字千金 | 字字 千金 |
網絡類 | 網絡 類 |
不過 | 不 過 |
樓主 | 樓 主 |
看 起來 | 看起來 |
大牛 | 大 牛 |
免郵費 | 免 郵費 |
贊贊贊 | 贊 贊 贊 |
初 學者 | 初學者 |
這 本 書 | 這 本書 |
難看 懂 | 難 看 懂 |
隻能 | 隻 能 |
有 人 說 | 有人 說 |
難懂 | 難 懂 |
有些 | 有 些 |
真的 | 真 的 |
還是 | 還 是 |
以前 | 以 前 |
實體書 | 實體 書 |
有 些 | 有些 |
不錯 | 不 錯 |
說是 很 不錯 | 說 是 很 不 錯 |
是否 對 味口 | 是否 對味 口 |
書摸 起來 的 質感 | 書 摸 起來 的 質感 |
與時俱進 | 與 時 俱 進 |
就是 | 就 是 |
錯版 | 錯 版 |
來 入門 的 話 | 來 入門 的話 |
經典 之 作 | 經典之作 |
膜拜 | 膜 拜 |
不好 | 不 好 |
你們 | 你 們 |
離 不 開 | 離不開 |
很多 | 很 多 |
知易行 難 | 知 易行 難 |
實乃 | 實 乃 |
傾情 | 傾 情 |
有着 | 有 着 |
有 點 | 有點 |
很 多 | 很多 |
高管 | 高 管 |
一下 | 一 下 |
延展 | 延 展 |
但是 | 但 是 |
亞馬遜 | 亞 馬 遜 |
就 是 | 就是 |
圖靈 圖書 | 圖 靈 圖書 |
安卓 | 安 卓 |
進階 | 進 階 |
例程 | 例 程 |
入 門書 | 入門 書 |
最好 | 最 好 |
還有 | 還 有 |
心痛 | 心 痛 |
會上瘾 | 會上 瘾 |
上來 | 上 來 |
實用性 | 實用 性 |
原書 | 原 書 |
沒 得 說麼 就 是 好 | 沒 得 說 麼 就 是 好 |
源碼 | 源 碼 |
跟着 | 跟 着 |
一部分 | 一 部分 |
說說 | 說 說 |
太坑 了 | 太 坑 了 |
入門者 | 入門 者 |
不怎麼樣 | 不 怎麼樣 |
開發者 | 開發 者 |
本書 | 本 書 |
無 需 多 說 | 無需 多 說 |
正版書 | 正版 書 |
一 本 完 完全全 的 入門書 | 一 本 完 完全 全 的 入門 書 |
微網誌 | 微 博 |
一頁紙 | 一 頁 紙 |
中文字 | 中 文字 |
沒有 | 沒 有 |
有點 取寵 之 嫌 | 有點 取 寵 之 嫌 |
禅意 | 禅 意 |
炫技 | 炫 技 |
未曾 | 未 曾 |
可是 | 可 是 |
更新 | 更 新 |
菜鳥 | 菜 鳥 |
書挺 不錯 的 | 書 挺 不錯 的 |
後端 | 後 端 |
早就 | 早 就 |
再說 吧 | 再 說 吧 |
看看 | 看 看 |
不行 | 不 行 |
很快 | 很 快 |
隻是 | 隻 是 |
九流 | 九 流 |
若是 | 若 是 |
名頭 | 名 頭 |
書香味 | 書 香味 |
知識點 | 知識 點 |
個人 | 個 人 |
當作 參考 書用 | 當作 參考書 用 |
邏輯 思維 | 邏輯思維 |
到貨 | 到 貨 |
污損 | 污 損 |
之前 | 之 前 |
一點點 | 一點 點 |
完虐 | 完 虐 |
曬 圖 | 曬圖 |
沒法 | 沒 法 |
一起 | 一 起 |
第幾 | 第 幾 |
線上 | 在 線 |
不能 | 不能 |
右下角 | 右 下 角 |
電商 | 電 商 |
支付寶 | 支付 寶 |
物聯網 | 物 聯網 |
難得一見 | 難 得 一 見 |
睜 眼 瞎 | 睜眼瞎 |