Elasticsearch 是一款功能強大的開源分布式搜尋與資料分析引擎，目前國内諸多網際網路大廠都在使用，包括攜程、滴滴、今日頭條、餓了麼、360 安全、小米、vivo 等。
除了搜尋之外，結合 Kibana、Logstash、Beats，Elastic Stack 還被廣泛運用在大資料近實時分析領域，包括日志分析、名額監控、資訊安全等多個領域。
它可以幫助你探索海量結構化、非結構化資料，按需建立可視化報表，對監控資料設定報警門檻值，甚至通過使用機器學習技術，自動識别異常狀況。
今天，我們先自上而下，後自底向上的介紹ElasticSearch的底層工作原理，并試圖回答以下問題：
- 為什麼我的搜尋 *foo-bar* 無法比對 foo-bar ？
- 為什麼增加更多的檔案會壓縮索引（Index）？
- 為什麼 ElasticSearch 占用很多記憶體？
圖解 ElasticSearch
elasticsearch 版本: elasticsearch-2.2.0。
①雲上的叢集
如下圖：
②叢集裡的盒子
雲裡面的每個白色正方形的盒子代表一個節點——Node。
③節點之間
在一個或者多個節點直接，多個綠色小方塊組合在一起形成一個 ElasticSearch 的索引。
④索引裡的小方塊
在一個索引下，分布在多個節點裡的綠色小方塊稱為分片——Shard。
⑤Shard＝Lucene Index
一個 ElasticSearch 的 Shard 本質上是一個 Lucene Index。
Lucene 是一個 Full Text 搜尋庫（也有很多其他形式的搜尋庫），ElasticSearch 是建立在 Lucene 之上的。
接下來的故事要說的大部分内容實際上是 ElasticSearch 如何基于 Lucene 工作的。
圖解 Lucene
Mini 索引：Segment
在 Lucene 裡面有很多小的 Segment，我們可以把它們看成 Lucene 内部的 mini-index。
Segment 内部
Segment 内部有着許多資料結構，如上圖：
- Inverted Index
- Stored Fields
- Document Values
- Cache
最最重要的 Inverted Index如下圖：
Inverted Index 主要包括兩部分：
- 一個有序的資料字典 Dictionary（包括單詞 Term 和它出現的頻率）。
- 與單詞 Term 對應的 Postings（即存在這個單詞的檔案）。
當我們搜尋的時候，首先将搜尋的内容分解，然後在字典裡找到對應 Term，進而查找到與搜尋相關的檔案内容。
①查詢“the fury”
②自動補全（AutoCompletion-Prefix）
如果想要查找以字母“c”開頭的字母，可以簡單的通過二分查找（Binary Search）在 Inverted Index 表中找到例如“choice”、“coming”這樣的詞（Term）。
③昂貴的查找
如果想要查找所有包含“our”字母的單詞，那麼系統會掃描整個 Inverted Index，這是非常昂貴的。
在此種情況下，如果想要做優化，那麼我們面對的問題是如何生成合适的 Term。
④問題的轉化
對于以上諸如此類的問題，我們可能會有幾種可行的解決方案：
- * suffix→xiffus *，如果我們想以字尾作為搜尋條件，可以為 Term 做反向處理。
- (60.6384, 6.5017)→ u4u8gyykk，對于 GEO 位置資訊，可以将它轉換為 GEO Hash。
- 123→{1-hundreds, 12-tens, 123}，對于簡單的數字，可以為它生成多重形式的 Term。
⑤解決拼寫錯誤
一個 Python 庫為單詞生成了一個包含錯誤拼寫資訊的樹形狀态機，解決拼寫錯誤的問題。
⑥Stored Field 字段查找
當我們想要查找包含某個特定标題内容的檔案時，Inverted Index 就不能很好的解決這個問題，是以 Lucene 提供了另外一種資料結構 Stored Fields 來解決這個問題。
本質上，Stored Fields 是一個簡單的鍵值對 key-value。預設情況下，ElasticSearch 會存儲整個檔案的 JSON source。
⑦Document Values 為了排序，聚合
即使這樣，我們發現以上結構仍然無法解決諸如：排序、聚合、facet，因為我們可能會要讀取大量不需要的資訊。
是以，另一種資料結構解決了此種問題：Document Values。這種結構本質上就是一個列式的存儲，它高度優化了具有相同類型的資料的存儲結構。
為了提高效率，ElasticSearch 可以将索引下某一個 Document Value 全部讀取到記憶體中進行操作，這大大提升通路速度，但是也同時會消耗掉大量的記憶體空間。總之，這些資料結構 Inverted Index、Stored Fields、Document Values 及其緩存，都在 segment 内部。搜尋發生時搜尋時，Lucene 會搜尋所有的 Segment 然後将每個 Segment 的搜尋結果傳回，最後合并呈現給客戶。
Lucene 的一些特性使得這個過程非常重要：
-
Segments 是不可變的（immutable）：Delete？當删除發生時，Lucene 做的隻是将其标志位置為删除，但是檔案還是會在它原來的地方，不會發生改變。
Update？是以對于更新來說，本質上它做的工作是：先删除，然後重新索引（Re-index）。
- 随處可見的壓縮：Lucene 非常擅長壓縮資料，基本上所有教科書上的壓縮方式，都能在 Lucene 中找到。
- 緩存所有的所有：Lucene 也會将所有的資訊做緩存，這大大提高了它的查詢效率。
緩存的故事
當 ElasticSearch 索引一個檔案的時候，會為檔案建立相應的緩存，并且會定期（每秒）重新整理這些資料，然後這些檔案就可以被搜尋到。
随着時間的增加，我們會有很多 Segments，如下圖：
是以 ElasticSearch 會将這些 Segment 合并，在這個過程中，Segment 會最終被删除掉。
這就是為什麼增加檔案可能會使索引所占空間變小，它會引起 Merge，進而可能會有更多的壓縮。
舉個栗子
有兩個 Segment 将會 Merge：
這兩個 Segment 最終會被删除，然後合并成一個新的 Segment，如下圖：
這時這個新的 Segment 在緩存中處于 Cold 狀态，但是大多數 Segment 仍然保持不變，處于 Warm 狀态。
以上場景經常在 Lucene Index 内部發生的，如下圖：
在 Shard 中搜尋
ElasticSearch 從 Shard 中搜尋的過程與 Lucene Segment 中搜尋的過程類似。
與在 Lucene Segment 中搜尋不同的是，Shard 可能是分布在不同 Node 上的，是以在搜尋與傳回結果時，所有的資訊都會通過網絡傳輸。需要注意的是：1 次搜尋查找 2 個 Shard＝2 次分别搜尋 Shard。
對于日志檔案的處理：當我們想搜尋特定日期産生的日志時，通過根據時間戳對日志檔案進行分塊與索引，會極大提高搜尋效率。
當我們想要删除舊的資料時也非常友善，隻需删除老的索引即可。
在上種情況下，每個 Index 有兩個 Shards。
如何 Scale
Shard 不會進行更進一步的拆分，但是 Shard 可能會被轉移到不同節點上。
是以，如果當叢集節點壓力增長到一定的程度，我們可能會考慮增加新的節點，這就會要求我們對所有資料進行重新索引，這是我們不太希望看到的。是以我們需要在規劃的時候就考慮清楚，如何去平衡足夠多的節點與不足節點之間的關系。
節點配置設定與 Shard 優化：
- 為更重要的資料索引節點，配置設定性能更好的機器。
- 確定每個 Shard 都有副本資訊 Replica。
路由 Routing：每個節點，每個都存留一份路由表，是以當請求到任何一個節點時，ElasticSearch 都有能力将請求轉發到期望節點的 Shard 進一步處理。
一個真實的請求
①Query
Query 有一個類型 filtered，以及一個 multi_match 的查詢。
②Aggregation
根據作者進行聚合，得到 top10 的 hits 的 top10 作者的資訊。
③請求分發
這個請求可能被分發到叢集裡的任意一個節點，如下圖：
④上帝節點
這時這個節點就成為目前請求的協調者（Coordinator），它決定：
- 根據索引資訊，判斷請求會被路由到哪個核心節點。
- 以及哪個副本是可用的。
- 等等。
⑤路由
⑥在真實搜尋之前
ElasticSearch 會将 Query 轉換成 Lucene Query，如下圖：
然後在所有的 Segment 中執行計算，如下圖：
對于 Filter 條件本身也會有緩存，如下圖：
但 Queries 不會被緩存，是以如果相同的 Query 重複執行，應用程式自己需要做緩存。
是以：
- Filters 可以在任何時候使用。
⑦傳回
搜尋結束之後，結果會沿着下行的路徑向上逐層傳回，如下圖：
PS：歡迎在留言區留下你的觀點，一起讨論提高。如果今天的文章讓你有新的啟發，歡迎轉發分享給更多人。Java後端程式設計交流群已成立公衆号營運至今，離不開小夥伴們的支援。為了給小夥伴們提供一個互相交流的平台，特地開通了官方交流群。—————END—————推薦閱讀：
- i++ 是線程安全的嗎？
- IDEA 卡成球了 ！咋優化 ?
- 最美的Vue+Element開源背景管理系統
- 基于SpringBoot的迷你商城系統，附源碼！
- IntelliJ IDEA 2020.2.4款 神級超級牛逼插件推薦
最近面試BAT，整理一份面試資料《Java面試BAT通關手冊》，覆寫了Java核心技術、JVM、Java并發、SSM、微服務、資料庫、資料結構等等。明天見(｡･ω･｡)ﾉ♡