天天看點

lucene 使用教程<轉>

1 lucene簡介 

1.1 什麼是lucene 

1.2 lucene能做什麼 

要回答這個問題,先要了解lucene的本質。實際上lucene的功能很單一,說到底,就是你給它若幹個字元串,然後它為你提供一個全文搜尋服務,告訴你你要搜尋的關鍵詞出現在哪裡。知道了這個本質,你就可以發揮想象做任何符合這個條件的事情了。你可以把站内新聞都索引了,做個資料庫;你可以把一個資料庫表的若幹個字段索引起來,那就不用再擔心因為“%like%”而鎖表了;你也可以寫個自己的搜尋引擎……

1.3 你該不該選擇lucene 

下面給出一些測試資料,如果你覺得可以接受,那麼可以選擇。 

測試一:250萬記錄,300M左右文本,生成索引380M左右,800線程下平均處理時間300ms。 

測試二:37000記錄,索引資料庫中的兩個varchar字段,索引檔案2.6M,800線程下平均處理時間1.5ms。

2 lucene的工作方式 

lucene提供的服務實際包含兩部分:一入一出。所謂入是寫入,即将你提供的源(本質是字元串)寫入索引或者将其從索引中删除;所謂出是讀出,即向使用者提供全文搜尋服務,讓使用者可以通過關鍵詞定位源。

2.1寫入流程 

源字元串首先經過analyzer處理,包括:分詞,分成一個個單詞;去除stopword(可選)。 

将源中需要的資訊加入Document的各個Field中,并把需要索引的Field索引起來,把需要存儲的Field存儲起來。 

将索引寫入存儲器,存儲器可以是記憶體或磁盤。

2.2讀出流程 

使用者提供搜尋關鍵詞,經過analyzer處理。 

對處理後的關鍵詞搜尋索引找出對應的Document。 

使用者根據需要從找到的Document中提取需要的Field。

3 一些需要知道的概念 

lucene用到一些概念,了解它們的含義,有利于下面的講解。

3.1 analyzer 

Analyzer 是分析器,它的作用是把一個字元串按某種規則劃分成一個個詞語,并去除其中的無效詞語,這裡說的無效詞語是指英文中的“of”、 “the”,中文中的 “的”、“地”等詞語,這些詞語在文章中大量出現,但是本身不包含什麼關鍵資訊,去掉有利于縮小索引檔案、提高效率、提高命中率。 

分詞的規則千變萬化,但目的隻有一個:按語義劃分。這點在英文中比較容易實作,因為英文本身就是以單詞為機關的,已經用空格分開;而中文則必須以某種方法将連成一片的句子劃分成一個個詞語。具體劃分方法下面再詳細介紹,這裡隻需了解分析器的概念即可。

3.2 document 

使用者提供的源是一條條記錄,它們可以是文本檔案、字元串或者資料庫表的一條記錄等等。一條記錄經過索引之後,就是以一個Document的形式存儲在索引檔案中的。使用者進行搜尋,也是以Document清單的形式傳回。

3.3 field 

一個Document可以包含多個資訊域,例如一篇文章可以包含“标題”、“正文”、“最後修改時間”等資訊域,這些資訊域就是通過Field在Document中存儲的。 

Field有兩個屬性可選:存儲和索引。通過存儲屬性你可以控制是否對這個Field進行存儲;通過索引屬性你可以控制是否對該Field進行索引。這看起來似乎有些廢話,事實上對這兩個屬性的正确組合很重要,下面舉例說明: 

還是以剛才的文章為例子,我們需要對标題和正文進行全文搜尋,是以我們要把索引屬性設定為真,同時我們希望能直接從搜尋結果中提取文章标題,是以我們把标題域的存儲屬性設定為真,但是由于正文域太大了,我們為了縮小索引檔案大小,将正文域的存儲屬性設定為假,當需要時再直接讀取檔案;我們隻是希望能從搜尋解果中提取最後修改時間,不需要對它進行搜尋,是以我們把最後修改時間域的存儲屬性設定為真,索引屬性設定為假。上面的三個域涵蓋了兩個屬性的三種組合,還有一種全為假的沒有用到,事實上Field不允許你那麼設定,因為既不存儲又不索引的域是沒有意義的。

3.4 term 

term是搜尋的最小機關,它表示文檔的一個詞語,term由兩部分組成:它表示的詞語和這個詞語所出現的field。

3.5 tocken 

tocken是term的一次出現,它包含trem文本和相應的起止偏移,以及一個類型字元串。一句話中可以出現多次相同的詞語,它們都用同一個term表示,但是用不同的tocken,每個tocken标記該詞語出現的地方。

3.6 segment 

添加索引時并不是每個document都馬上添加到同一個索引檔案,它們首先被寫入到不同的小檔案,然後再合并成一個大索引檔案,這裡每個小檔案都是一個segment。

4 lucene的結構 

lucene包括core和sandbox兩部分,其中core是lucene穩定的核心部分,sandbox包含了一些附加功能,例如highlighter、各種分析器。 

Lucene core有七個包:analysis,document,index,queryParser,search,store,util。 

4.1 analysis 

Analysis包含一些内建的分析器,例如按空白字元分詞的WhitespaceAnalyzer,添加了stopwrod過濾的StopAnalyzer,最常用的StandardAnalyzer。 

4.2 document 

Document包含文檔的資料結構,例如Document類定義了存儲文檔的資料結構,Field類定義了Document的一個域。 

4.3 index 

Index 包含了索引的讀寫類,例如對索引檔案的segment進行寫、合并、優化的IndexWriter類和對索引進行讀取和删除操作的 IndexReader類,這裡要注意的是不要被IndexReader這個名字誤導,以為它是索引檔案的讀取類,實際上删除索引也是由它完成, IndexWriter隻關心如何将索引寫入一個個segment,并将它們合并優化;IndexReader則關注索引檔案中各個文檔的組織形式。 

4.4 queryParser 

QueryParser 包含了解析查詢語句的類,lucene的查詢語句和sql語句有點類似,有各種保留字,按照一定的文法可以組成各種查詢。 Lucene有很多種 Query類,它們都繼承自Query,執行各種特殊的查詢,QueryParser的作用就是解析查詢語句,按順序調用各種 Query類查找出結果。 

4.5 search 

Search包含了從索引中搜尋結果的各種類,例如剛才說的各種Query類,包括TermQuery、BooleanQuery等就在這個包裡。 

4.6 store 

Store包含了索引的存儲類,例如Directory定義了索引檔案的存儲結構,FSDirectory為存儲在檔案中的索引,RAMDirectory為存儲在記憶體中的索引,MmapDirectory為使用記憶體映射的索引。 

4.7 util 

Util包含一些公共工具類,例如時間和字元串之間的轉換工具。

5 如何建索引 

5.1 最簡單的能完成索引的代碼片斷

IndexWriter writer = new IndexWriter(“/data/index/”, new StandardAnalyzer(), true); 

Document doc = new Document(); 

doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED)); 

doc.add(new Field("content", "lucene works well", Field.Store.YES, Field.Index.TOKENIZED)); 

writer.addDocument(doc); 

writer.optimize(); 

writer.close();

下面我們分析一下這段代碼。 

首先我們建立了一個writer,并指定存放索引的目錄為“/data/index”,使用的分析器為StandardAnalyzer,第三個參數說明如果已經有索引檔案在索引目錄下,我們将覆寫它們。 

然後我們建立一個document。 

我們向document添加一個field,名字是“title”,内容是“lucene introduction”,對它進行存儲并索引。 

再添加一個名字是“content”的field,内容是“lucene works well”,也是存儲并索引。 

然後我們将這個文檔添加到索引中,如果有多個文檔,可以重複上面的操作,建立document并添加。 

添加完所有document,我們對索引進行優化,優化主要是将多個segment合并到一個,有利于提高索引速度。 

随後将writer關閉,這點很重要。

對,建立索引就這麼簡單! 

當然你可能修改上面的代碼獲得更具個性化的服務。

5.2 将索引直接寫在記憶體 

你需要首先建立一個RAMDirectory,并将其傳給writer,代碼如下:

Directory dir = new RAMDirectory(); 

IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(), true); 

5.3 索引文本檔案 

如果你想把純文字檔案索引起來,而不想自己将它們讀入字元串建立field,你可以用下面的代碼建立field:

Field field = new Field("content", new FileReader(file));

這裡的file就是該文本檔案。該構造函數實際上是讀去檔案内容,并對其進行索引,但不存儲。

6 如何維護索引 

索引的維護操作都是由IndexReader類提供。

6.1 如何删除索引 

lucene提供了兩種從索引中删除document的方法,一種是

void deleteDocument(int docNum)

這種方法是根據document在索引中的編号來删除,每個document加進索引後都會有個唯一編号,是以根據編号删除是一種精确删除,但是這個編号是索引的内部結構,一般我們不會知道某個檔案的編号到底是幾,是以用處不大。另一種是

void deleteDocuments(Term term)

這種方法實際上是首先根據參數term執行一個搜尋操作,然後把搜尋到的結果批量删除了。我們可以通過這個方法提供一個嚴格的查詢條件,達到删除指定document的目的。 

下面給出一個例子:

Directory dir = FSDirectory.getDirectory(PATH, false); 

IndexReader reader = IndexReader.open(dir); 

Term term = new Term(field, key); 

reader.deleteDocuments(term); 

reader.close();

6.2 如何更新索引 

lucene并沒有提供專門的索引更新方法,我們需要先将相應的document删除,然後再将新的document加入索引。例如:

Term term = new Term(“title”, “lucene introduction”); 

doc.add(new Field("content", "lucene is funny", Field.Store.YES, Field.Index.TOKENIZED)); 

7 如何搜尋 

lucene 的搜尋相當強大,它提供了很多輔助查詢類,每個類都繼承自Query類,各自完成一種特殊的查詢,你可以像搭積木一樣将它們任意組合使用,完成一些複雜操作;另外lucene還提供了Sort類對結果進行排序,提供了Filter類對查詢條件進行限制。你或許會不自覺地拿它跟SQL語句進行比較: “lucene能執行and、or、order by、where、like ‘%xx%’操作嗎?”回答是:“當然沒問題!”

7.1 各種各樣的Query 

下面我們看看lucene到底允許我們進行哪些查詢操作:

7.1.1 TermQuery 

首先介紹最基本的查詢,如果你想執行一個這樣的查詢:“在content域中包含‘lucene’的document”,那麼你可以用TermQuery:

Term t = new Term("content", " lucene"; 

Query query = new TermQuery(t);

7.1.2 BooleanQuery 

如果你想這麼查詢:“在content域中包含java或perl的document”,那麼你可以建立兩個TermQuery并把它們用BooleanQuery連接配接起來:

TermQuery termQuery1 = new TermQuery(new Term("content", "java"); 

TermQuery termQuery 2 = new TermQuery(new Term("content", "perl"); 

BooleanQuery booleanQuery = new BooleanQuery(); 

booleanQuery.add(termQuery 1, BooleanClause.Occur.SHOULD); 

booleanQuery.add(termQuery 2, BooleanClause.Occur.SHOULD);

7.1.3 WildcardQuery 

如果你想對某單詞進行通配符查詢,你可以用WildcardQuery,通配符包括’?’比對一個任意字元和’*’比對零個或多個任意字元,例如你搜尋’use*’,你可能找到’useful’或者’useless’:

Query query = new WildcardQuery(new Term("content", "use*");

7.1.4 PhraseQuery 

你可能對中日關系比較感興趣,想查找‘中’和‘日’挨得比較近(5個字的距離内)的文章,超過這個距離的不予考慮,你可以:

PhraseQuery query = new PhraseQuery(); 

query.setSlop(5); 

query.add(new Term("content ", “中”)); 

query.add(new Term(“content”, “日”));

那麼它可能搜到“中日合作……”、“中方和日方……”,但是搜不到“中國某高層上司說日本欠扁”。

7.1.5 PrefixQuery 

如果你想搜以‘中’開頭的詞語,你可以用PrefixQuery:

PrefixQuery query = new PrefixQuery(new Term("content ", "中");

7.1.6 FuzzyQuery 

FuzzyQuery用來搜尋相似的term,使用Levenshtein算法。假設你想搜尋跟‘wuzza’相似的詞語,你可以:

Query query = new FuzzyQuery(new Term("content", "wuzza");

你可能得到‘fuzzy’和‘wuzzy’。

7.1.7 RangeQuery 

另一個常用的Query是RangeQuery,你也許想搜尋時間域從20060101到20060130之間的document,你可以用RangeQuery:

RangeQuery query = new RangeQuery(new Term(“time”, “20060101”), new Term(“time”, “20060130”), true);

最後的true表示用閉合區間。

7.2 QueryParser 

看了這麼多Query,你可能會問:“不會讓我自己組合各種Query吧,太麻煩了!”當然不會,lucene提供了一種類似于SQL語句的查詢語句,我們姑且叫它lucene語句,通過它,你可以把各種查詢一句話搞定,lucene會自動把它們查分成小塊交給相應Query執行。下面我們對應每種 Query示範一下: 

TermQuery可以用“field:key”方式,例如“content:lucene”。 

BooleanQuery中‘與’用‘+’,‘或’用‘ ’,例如“content:java contenterl”。 

WildcardQuery仍然用‘?’和‘*’,例如“content:use*”。 

PhraseQuery用‘~’,例如“content:"中日"~5”。 

PrefixQuery用‘*’,例如“中*”。 

FuzzyQuery用‘~’,例如“content: wuzza ~”。 

RangeQuery用‘[]’或‘{}’,前者表示閉區間,後者表示開區間,例如“time:[20060101 TO 20060130]”,注意TO區分大小寫。 

你可以任意組合query string,完成複雜操作,例如“标題或正文包括lucene,并且時間在20060101到20060130之間的文章”可以表示為:“+ (title:lucene content:lucene) +time:[20060101 TO 20060130]”。代碼如下:

IndexSearcher is = new IndexSearcher(dir); 

QueryParser parser = new QueryParser("content", new StandardAnalyzer()); 

Query query = parser.parse("+(title:lucene content:lucene) +time:[20060101 TO 20060130]"; 

Hits hits = is.search(query); 

for (int i = 0; i < hits.length(); i++) 

Document doc = hits.doc(i); 

System.out.println(doc.get("title"); 

is.close();

首先我們建立一個在指定檔案目錄上的IndexSearcher。 

然後建立一個使用StandardAnalyzer作為分析器的QueryParser,它預設搜尋的域是content。 

接着我們用QueryParser來parse查詢字串,生成一個Query。 

然後利用這個Query去查找結果,結果以Hits的形式傳回。 

這個Hits對象包含一個清單,我們挨個把它的内容顯示出來。

7.3 Filter 

filter 的作用就是限制隻查詢索引的某個子集,它的作用有點像SQL語句裡的where,但又有差別,它不是正規查詢的一部分,隻是對資料源進行預處理,然後交給查詢語句。注意它執行的是預處理,而不是對查詢結果進行過濾,是以使用filter的代價是很大的,它可能會使一次查詢耗時提高一百倍。 

最常用的filter是RangeFilter和QueryFilter。RangeFilter是設定隻搜尋指定範圍内的索引;QueryFilter是在上次查詢的結果中搜尋。 

Filter的使用非常簡單,你隻需建立一個filter執行個體,然後把它傳給searcher。繼續上面的例子,查詢“時間在20060101到20060130之間的文章”除了将限制寫在query string中,你還可以寫在RangeFilter中:

Query query = parser.parse("title:lucene content:lucene"; 

RangeFilter filter = new RangeFilter("time", "20060101", "20060230", true, true); 

Hits hits = is.search(query, filter); 

7.4 Sort 

有時你想要一個排好序的結果集,就像SQL語句的“order by”,lucene能做到:通過Sort。 

Sort sort = new Sort(“time”); //相當于SQL的“order by time” 

Sort sort = new Sort(“time”, true); // 相當于SQL的“order by time desc” 

下面是一個完整的例子:

Sort sort = new Sort(“time”); 

Hits hits = is.search(query, filter, sort); 

8 分析器 

在前面的概念介紹中我們已經知道了分析器的作用,就是把句子按照語義切分成一個個詞語。英文切分已經有了很成熟的分析器: StandardAnalyzer,很多情況下StandardAnalyzer是個不錯的選擇。甚至你會發現StandardAnalyzer也能對中文進行分詞。 

但是我們的焦點是中文分詞,StandardAnalyzer能支援中文分詞嗎?實踐證明是可以的,但是效果并不好,搜尋“如果” 會把“牛奶不如果汁好喝”也搜尋出來,而且索引檔案很大。那麼我們手頭上還有什麼分析器可以使用呢?core裡面沒有,我們可以在sandbox裡面找到兩個: ChineseAnalyzer和CJKAnalyzer。但是它們同樣都有分詞不準的問題。相比之下用StandardAnalyzer和 ChineseAnalyzer建立索引時間差不多,索引檔案大小也差不多,CJKAnalyzer表現會差些,索引檔案大且耗時比較長。 

要解決問題,首先分析一下這三個分析器的分詞方式。StandardAnalyzer和ChineseAnalyzer都是把句子按單個字切分,也就是說 “牛奶不如果汁好喝”會被它們切分成“牛 奶 不 如 果 汁 好 喝”;而CJKAnalyzer則會切分成“牛奶 奶不 不如 如果 果汁 汁好好喝”。這也就解釋了為什麼搜尋“果汁”都能比對這個句子。 

以上分詞的缺點至少有兩個:比對不準确和索引檔案大。我們的目标是将上面的句子分解成 “牛奶 不如 果汁好喝”。這裡的關鍵就是語義識别,我們如何識别“牛奶”是一個詞而“奶不”不是詞語?我們很自然會想到基于詞庫的分詞法,也就是我們先得到一個詞庫,裡面列舉了大部分詞語,我們把句子按某種方式切分,當得到的詞語與詞庫中的項比對時,我們就認為這種切分是正确的。這樣切詞的過程就轉變成比對的過程,而比對的方式最簡單的有正向最大比對和逆向最大比對兩種,說白了就是一個從句子開頭向後進行比對,一個從句子末尾向前進行比對。基于詞庫的分詞詞庫非常重要,詞庫的容量直接影響搜尋結果,在相同詞庫的前提下,據說逆向最大比對優于正向最大比對。 

當然還有别的分詞方法,這本身就是一個學科,我這裡也沒有深入研究。回到具體應用,我們的目标是能找到成熟的、現成的分詞工具,避免重新發明車輪。經過網上搜尋,用的比較多的是中科院的 ICTCLAS和一個不開放源碼但是免費的JE-Analysis。ICTCLAS有個問題是它是一個動态連結庫, java調用需要本地方法調用,不友善也有安全隐患,而且口碑也确實不大好。JE-Analysis效果還不錯,當然也會有分詞不準的地方,相比比較友善放心。

9 性能優化 

一直到這裡,我們還是在讨論怎麼樣使lucene跑起來,完成指定任務。利用前面說的也确實能完成大部分功能。但是測試表明lucene的性能并不是很好,在大資料量大并發的條件下甚至會有半分鐘傳回的情況。另外大資料量的資料初始化建立索引也是一個十分耗時的過程。那麼如何提高lucene的性能呢?下面從優化建立索引性能和優化搜尋性能兩方面介紹。

9.1 優化建立索引性能 

這方面的優化途徑比較有限,IndexWriter提供了一些接口可以控制建立索引的操作,另外我們可以先将索引寫入RAMDirectory,再批量寫入FSDirectory,不管怎樣,目的都是盡量少的檔案IO,因為建立索引的最大瓶頸在于磁盤IO。另外選擇一個較好的分析器也能提高一些性能。

9.1.1 通過設定IndexWriter的參數優化索引建立 

setMaxBufferedDocs(int maxBufferedDocs) 

控制寫入一個新的segment前記憶體中儲存的document的數目,設定較大的數目可以加快建索引速度,預設為10。 

setMaxMergeDocs(int maxMergeDocs) 

控制一個segment中可以儲存的最大document數目,值較小有利于追加索引的速度,預設Integer.MAX_VALUE,無需修改。 

setMergeFactor(int mergeFactor) 

控制多個segment合并的頻率,值較大時建立索引速度較快,預設是10,可以在建立索引時設定為100。

9.1.2 通過RAMDirectory緩寫提高性能 

我們可以先把索引寫入RAMDirectory,達到一定數量時再批量寫進FSDirectory,減少磁盤IO次數。

FSDirectory fsDir = FSDirectory.getDirectory("/data/index", true); 

RAMDirectory ramDir = new RAMDirectory(); 

IndexWriter fsWriter = new IndexWriter(fsDir, new StandardAnalyzer(), true); 

IndexWriter ramWriter = new IndexWriter(ramDir, new StandardAnalyzer(), true); 

while (there are documents to index) 

... create Document ... 

ramWriter.addDocument(doc); 

if (condition for flushing memory to disk has been met) 

fsWriter.addIndexes(new Directory[] { ramDir }); 

ramWriter.close(); 

ramWriter = new IndexWriter(ramDir, new StandardAnalyzer(), true); 

}

9.1.3 選擇較好的分析器 

這個優化主要是對磁盤空間的優化,可以将索引檔案減小将近一半,相同測試資料下由600M減少到380M。但是對時間并沒有什麼幫助,甚至會需要更長時間,因為較好的分析器需要比對詞庫,會消耗更多cpu,測試資料用StandardAnalyzer耗時133分鐘;用MMAnalyzer耗時150分鐘。

9.2 優化搜尋性能 

雖然建立索引的操作非常耗時,但是那畢竟隻在最初建立時才需要,平時隻是少量的維護操作,更何況這些可以放到一個背景程序處理,并不影響使用者搜尋。我們建立索引的目的就是給使用者搜尋,是以搜尋的性能才是我們最關心的。下面就來探讨一下如何提高搜尋性能。

9.2.1 将索引放入記憶體 

這是一個最直覺的想法,因為記憶體比磁盤快很多。Lucene提供了RAMDirectory可以在記憶體中容納索引:

Directory fsDir = FSDirectory.getDirectory(“/data/index/”, false); 

Directory ramDir = new RAMDirectory(fsDir); 

Searcher searcher = new IndexSearcher(ramDir);

但是實踐證明RAMDirectory和FSDirectory速度差不多,當資料量很小時兩者都非常快,當資料量較大時(索引檔案400M)RAMDirectory甚至比FSDirectory還要慢一點,這确實讓人出乎意料。 

而且lucene的搜尋非常耗記憶體,即使将400M的索引檔案載入記憶體,在運作一段時間後都會out of memory,是以個人認為載入記憶體的作用并不大。

9.2.2 優化時間範圍限制 

既然載入記憶體并不能提高效率,一定有其它瓶頸,經過測試發現最大的瓶頸居然是時間範圍限制,那麼我們可以怎樣使時間範圍限制的代價最小呢? 

當需要搜尋指定時間範圍内的結果時,可以: 

1、用RangeQuery,設定範圍,但是RangeQuery的實作實際上是将時間範圍内的時間點展開,組成一個個BooleanClause加入到 BooleanQuery中查詢,是以時間範圍不可能設定太大,經測試,範圍超過一個月就會抛 BooleanQuery.TooManyClauses,可以通過設定 BooleanQuery.setMaxClauseCount (int maxClauseCount)擴大,但是擴大也是有限的,并且随着maxClauseCount擴大,占用記憶體也擴大 

2、用 RangeFilter代替RangeQuery,經測試速度不會比RangeQuery慢,但是仍然有性能瓶頸,查詢的90%以上時間耗費在 RangeFilter,研究其源碼發現RangeFilter實際上是首先周遊所有索引,生成一個BitSet,标記每個document,在時間範圍内的标記為true,不在的标記為false,然後将結果傳遞給Searcher查找,這是十分耗時的。 

3、進一步提高性能,這個又有兩個思路: 

a、緩存Filter結果。既然RangeFilter的執行是在搜尋之前,那麼它的輸入都是一定的,就是IndexReader,而 IndexReader是由Directory決定的,是以可以認為RangeFilter的結果是由範圍的上下限決定的,也就是由具體的 RangeFilter對象決定,是以我們隻要以RangeFilter對象為鍵,将filter結果BitSet緩存起來即可。lucene API 已經提供了一個CachingWrapperFilter類封裝了Filter及其結果,是以具體實施起來我們可以 cache CachingWrapperFilter對象,需要注意的是,不要被CachingWrapperFilter的名字及其說明誤導, CachingWrapperFilter看起來是有緩存功能,但的緩存是針對同一個filter的,也就是在你用同一個filter過濾不同 IndexReader時,它可以幫你緩存不同IndexReader的結果,而我們的需求恰恰相反,我們是用不同filter過濾同一個 IndexReader,是以隻能把它作為一個封裝類。 

b、降低時間精度。研究Filter的工作原理可以看出,它每次工作都是周遊整個索引的,是以時間粒度越大,對比越快,搜尋時間越短,在不影響功能的情況下,時間精度越低越好,有時甚至犧牲一點精度也值得,當然最好的情況是根本不作時間限制。 

下面針對上面的兩個思路示範一下優化結果(都采用800線程随機關鍵詞随即時間範圍): 

第一組,時間精度為秒: 

方式 直接用RangeFilter 使用cache 不用filter 

平均每個線程耗時 10s 1s 300ms

第二組,時間精度為天 

平均每個線程耗時 900ms 360ms 300ms

由以上資料可以得出結論: 

1、 盡量降低時間精度,将精度由秒換成天帶來的性能提高甚至比使用cache還好,最好不使用filter。 

2、 在不能降低時間精度的情況下,使用cache能帶了10倍左右的性能提高。

9.2.3 使用更好的分析器 

這個跟建立索引優化道理差不多,索引檔案小了搜尋自然會加快。當然這個提高也是有限的。較好的分析器相對于最差的分析器對性能的提升在20%以下。

10 一些經驗

10.1關鍵詞區分大小寫 

or AND TO等關鍵詞是區分大小寫的,lucene隻認大寫的,小寫的當做普通單詞。

10.2 讀寫互斥性 

同一時刻隻能有一個對索引的寫操作,在寫的同時可以進行搜尋

10.3 檔案鎖 

在寫索引的過程中強行退出将在tmp目錄留下一個lock檔案,使以後的寫操作無法進行,可以将其手工删除

10.4 時間格式 

lucene隻支援一種時間格式yyMMddHHmmss,是以你傳一個yy-MM-dd HH:mm:ss的時間給lucene它是不會當作時間來處理的

10.5 設定boost 

有些時候在搜尋時某個字段的權重需要大一些,例如你可能認為标題中出現關鍵詞的文章比正文中出現關鍵詞的文章更有價值,你可以把标題的boost設定的更大,那麼搜尋結果會優先顯示标題中出現關鍵詞的文章(沒有使用排序的前題下)。使用方法: 

Field. setBoost(float boost);預設值是1.0,也就是說要增權重重的需要設定得比1大。