在對文檔(Document)中的内容進行索引前, 需要對域(Field)中的内容使用分析對象(分詞器)進行分詞. IK分詞器是一款功能完備、擴充性較高的中文分詞器, 企業開發中使用較多.
目錄
- 1 分詞器概述
- 1.1 分詞器簡介
- 1.2 分詞器的使用
- 1.3 中文分詞器
- 1.3.1 中文分詞器簡介
- 1.3.2 Lucene提供的中文分詞器
- 1.3.3 第三方中文分詞器
- 2 IK分詞器的使用
- 2.1 配置pom.xml檔案, 加入IK分詞器的依賴
- 2.2 修改索引流程的分詞器
- 2.3 修改檢索流程的分詞器
- 2.4 重新建立索引
- 3 擴充中文詞庫
- 3.1 加入IK分詞器的配置檔案
- 3.2 增加擴充詞示範(擴充: 人民郵電出版社)
- 3.3 增加停用詞示範(增加: 的、和)
- 版權聲明
在對文檔(Document)中的内容進行索引前, 需要對域(Field)中的内容使用分析對象(分詞器)進行分詞.
**分詞的目的是為了索引, 索引的目的是為了搜尋. **
- 分詞的過程是 先分詞, 再過濾:
- 分詞: 将Document中Field域的值切分成一個一個的單詞. 具體的切分方法(算法)由具體使用的分詞器内部實作.
- 過濾: 去除标點符号,去除停用詞(的、是、is、the、a等), 詞的大寫轉為小寫.
- 分詞流程圖:
Lucene 03 - 什麼是分詞器 + 使用IK中文分詞器
-
停用詞說明:
停用詞是指為了節省存儲空間和提高搜尋效率, 搜尋引擎在索引内容或處理搜尋請求時會自動忽略的字詞, 這些字或詞被稱為"stop words". 如語氣助詞、副詞、介詞、連接配接詞等, 通常自身沒有明确的含義, 隻有放在一個上下文語句中才有意義(如:的、在、啊, is、a等).
例如:
原始文檔内容:
Lucene is a Java full-text search engine
lucene java full text search engine
(1) 索引流程使用
流程: 把原始資料轉換成文檔對象(Document), 再使用分詞器将文檔域(Field)的内容切分成一個一個的詞語.
目的: 友善後續建立索引.
(2) 檢索流程使用
流程: 根據使用者輸入的查詢關鍵詞, 使用分詞器将關鍵詞進行分詞以後, 建立查詢對象(Query), 再執行搜尋.
注意: 索引流程和檢索流程使用的分詞器, 必須統一.
英文本身是以單詞為機關, 單詞與單詞之間, 句子之間通常是空格、逗号、句号分隔. 因而對于英文, 可以簡單的以空格來判斷某個字元串是否是一個詞, 比如:
I love China
, love和China很容易被程式處理.
但是中文是以字為機關的, 字與字再組成詞, 詞再組成句子. 中文: 我愛中國, 電腦不知道“愛中”是一個詞, 還是“中國”是一個詞？是以我們需要一定的規則來告訴電腦應該怎麼切分, 這就是中文分詞器所要解決的問題.
常見的有一進制切分法“我愛中國”: 我、愛、中、國. 二進制切分法“我愛中國”: 我愛、愛中、中國.
-
StandardAnalyzer
-
CJKAnalyzer
-
SmartChineseAnalyzer
**說明: Lucene提供的中文分詞器, 隻做了解, 企業項目中不推薦使用. **
-
paoding
-
mmseg4j
-
IK-analyzer
說明: 由于IK分詞器是對Lucene分詞器的擴充實作, 使用IK分詞器與使用Lucene分詞器是一樣的.
<project>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<!-- mysql版本 -->
<mysql.version>5.1.44</mysql.version>
<!-- lucene版本 -->
<lucene.version>4.10.4</lucene.version>
<!-- ik分詞器版本 -->
<ik.version>2012_u6</ik.version>
</properties>
<dependencies>
<!-- ik分詞器 -->
<dependency>
<groupId>com.janeluo</groupId>
<artifactId>ikanalyzer</artifactId>
<version>${ik.version}</version>
</dependency>
</dependencies>
</project>
使用Lucene預設的标準分詞器(一進制分詞器):
使用ik分詞器之後(對中文分詞支援較好):
說明: 企業開發中, 随着業務的發展, 會産生一些新的詞語不需要分詞, 而需要作為整體比對, 如: 尬聊, 戲精, 藍瘦香菇; 也可能有一些詞語會過時, 需要停用.
-- 通過配置檔案來實作.
說明: 這些配置檔案需要放到類的根路徑下.
說明: 在ext.dic檔案中增加"人民郵電出版社":
注意: 不要使用Windows自帶的記事本或Word, 因為這些程式會在檔案中加入一些标記符号(bom, byte order market), 導緻配置檔案不能被識别.
增加擴充詞之後:
在stopword.dic檔案增加停用詞(的、和):
增加停用詞之前:
增加停用詞之後:
注意事項:
修改擴充詞配置檔案ext.dic和停用詞配置檔案stopword.dic, 不能使用Windows自帶的記事本程式修改, 否則修改以後不生效: 記事本程式會增加一些bom符号.
推薦使用Emacs, Vim, Sublime等編輯器修改.
作者: 馬瘦風
出處: 部落格園 馬瘦風的部落格
您的支援是對部落客的極大鼓勵, 感謝您的閱讀.
本文版權歸部落客所有, 歡迎轉載, 但請保留此段聲明, 并在文章頁面明顯位置給出原文連結, 否則部落客保留追究相關人員法律責任的權利.