創作人：曾勇
需求的誕生
劉備一大早就來到了公司，一看張飛和關羽已經在公司了，就問道：“兩位賢弟，今天來的還蠻早啊。”張飛一聽就炸毛了，“大哥，你讓我和二哥去做什麼搜尋功能，我們已經一晚沒睡了，昨天就沒回去好嘛。” 關羽也來氣，“大哥，是啊，我們剛剛才上線電商網站，你這邊又要加什麼需求，現在用資料庫檢索不是好好的麼，能不能讓我們歇口氣。”
“兩位兄弟辛苦了，我也不想啊，最近咱們一單生意都沒有啊。昨天我和一位朋友聊，他說我們的網站很不好用，找不到他想要的鞋，結果隻好去别的地方買了。不過他給我推薦了一位黑客高手，叫諸葛亮的家夥，說是啥都得懂，我們今天找他取經去。”
三顧茅廬
三人一行來找諸葛亮，不過前面兩次都碰了壁。據諸葛亮書童說，諸葛亮不在家，到了第三次，還是不在家。張飛仔細一聽，明明是有人在家啊，而且玩遊戲喊的聲音還這麼大，張飛怒了，搭梯子把諸葛亮家的保險給拔了。諸葛亮正郁悶呢，咋停電了呢？算了，今天沒得玩了，于是讓書童請他們進來。
“在下諸葛名亮，字孔明，不知三位...”，三人一說，是這麼這麼回事。諸葛亮一聽，“哦，原來是這麼這麼回事啊，你們的網站我剛看了，你們家的草鞋品種确實不Nan少Kan。如今客戶上網站找東西，都是先用網站的搜尋來搜一下，但是你們網站的搜尋功能實在是太La弱Ji，明擺在那裡的商品我都搜不出來，實在是大問題啊。”
“這樣啊，我看你們仨都是好人，給你們推薦一個好東西，叫做 Elasticsearch，這個肯定可以幫助你們。”
“翼德，把先生放下來吧。”
“是，大哥。二哥，你把刀也放下吧。”
關羽一聽，好像在哪裡聽說過 Elasticsearch，“大哥，這個東西好像有點耳熟啊，哦，諸葛亮先生這一說，我倒是記起來了，隔壁公司的呂布最近神神秘秘的，好像就是在用這個，難怪他們最近公司業務好的很”。
Elasticsearch 的故事
諸葛亮清了清嗓子，又從抽屜裡摸出一把扇子，“還是讓我來給你們講講吧”。
“Elasticsearch 以前叫 Elastic Search。顧名思義，就是“彈性的搜尋”。很明顯，它一開始是圍繞着搜尋功能，打造了一個分布式搜尋引擎，底層是基于開源的搜尋引擎庫 Lucene，是由 Java 語言編寫的，項目大概是 2010 年 2 月份在 Github 正式落戶的。
咳咳，有必要首先給你介紹一下 Lucene。Lucene 是一個非常古老的搜尋引擎工具包，也是用 Java 編寫，主要用來建構反向索引（一種資料結構）和對這些索引進行檢索，進而實作全文檢索功能。
Lucene 很強大，使用起來也非常靈活，缺點是它僅僅是一個基礎類庫，也沒有考慮到高并發和分布式的場景。如果你想在自己的程式裡面使用 Lucene，還是需要做很多工作，并且涉及很多搜尋原理和索引資料結構的知識，這就給我們帶來了不少挑戰。是以，Lucene 的上手時間一般都比較長。”
關羽插了一句，“Lucene 我知道，确實賊難用，使用起來一堆問題啊，我之前試過來着。” 關羽說完，臉又紅了。
諸葛亮接着說。“時間一晃來到 2004 年，有一個以色列小夥子，名字叫謝伊·班農（ Shay Banon），他成親不久來到倫敦，因為當時他的夫人正好在倫敦學廚師。初來乍到，也沒有找到工作，于是班農就打算寫一個叫作 iCook 的小程式來管理和搜尋菜單，一來練練手，友善找工作；二來這個小工具還可以給其夫人用。
班農在編寫 iCook 的過程中，使用了 Lucene，感受到了直接使用 Lucene 開發程式的各種暴擊和痛苦，于是他在 Lucene 之上，封裝了一個叫作 Compass 的程式架構，與 Hibernate 和 JPA 等 ORM 架構進行內建，通過操作對象的方式來自動地調用 Lucene 以建構索引。
這樣做的好處是，可以很友善地實作對‘領域對象’進行索引的建立，并實作‘字段級别’的檢索，以及實作‘全文搜尋’功能。可以說，Compass 大大簡化了給 Java 程式添加搜尋功能的開發。Compass 開源出來，變得很流行。
在 Compass 編寫到 2.x 版本的時候，社群裡面出現了更多需求，比如需要有處理更多資料的能力以及分布式的設計。班農發現隻有重寫 Compass ，才能更好地實作這些分布式搜尋的需求，于是 Compass 3.0 就沒有了，取而代之的是一個全新的項目，也就是 Elasticsearch。”
讓人砰然心動的 Elasticsearch
看到劉備三人聽的入迷，諸葛亮輕揮羽扇，繼續說了下去。
“得益于 Compass 項目的積累，Elasticsearch 問世之初就考慮到了功能的易用性。
Elasticsearch 作為一個獨立的搜尋伺服器，提供了非常友善的搜尋功能。使用者完全不用關心底層 Lucene 的細節，隻需要通過标準的 Http+RESTful 風格的 API，就可以進行索引資料的增删改查。資料的輸入輸出采用 JSON 格式，以文檔和面向對象的方式，這樣就能非常友善地了解和表達領域資料。”
張飛一拍桌子，“Elasticsearch 簡直就是一個 Compass 的 RESTful 實作啊！”
“沒錯。同時，Elasticsearch 基于分片和副本的方式實作了一個分布式的 Lucene Directory，再結合Map-reduce 的理念，實作了一個簡單的搜尋請求分發合并的政策，能輕松化解海量索引和分布式高可用的問題。
可以說，僅僅依靠這兩點，Elasticsearch就已經秒殺了當時市面上所有的搜尋引擎服務或是程式庫，我當時看到 Elasticsearch 也眼前一亮。
如今，Elasticsearch 基本上已經是搜尋引擎市場排名第一的産品了，從 DB-Engines 網站的排名可以看到，Elasitcsearch 基本上是一騎絕紅塵，拉開第二名遠遠一大截。”
統計資料來源： https://db-engines.com/en/ranking/search+engine
ELK 橫空出世
諸葛亮口水狂飙，顯得很興奮，“如果隻是Elasticsearch單獨使用，那我們的故事也就結束了，事實上好戲這才剛剛開始。俗話說，一個好漢三個幫，開源社群亦是如此。”
“這一個好漢三個幫，說的不就是咱仨嘛。” 劉備接過話茬。
“别打岔，”諸葛亮繼續說，“這裡我要說的是 ‘ELK’ 的出現，不過首先我要給你們講講 Logstash。”
“Logstash 是一個開源的日志處理工具，用 JRuby 寫的，主要特點是基于靈活的 Pipeline 管道架構來處理資料。什麼意思呢？可以了解為将資料放進一個管道内進行處理，并且就跟真正的自來水管一樣，管道由一截一截管子組成，每一個小管代表着一個資料處理的流程，每一個流程隻做一件事情，然後可以根據資料的處理需要，選擇多個不同類型的管子靈活組裝。
Logstash 社群非常活躍，支援多種輸入資料源和多種輸出資料源。一開始， Elasticsearch 隻是作為其中一個輸出的存儲，主要用于日志資料的存儲。
不過，随着大家把日志發送到 Elasticsearch 之後，大家發現這家夥用起來很友善嘛，不僅能夠存儲大量的資料，水準伸縮還很友善。更關鍵的是，你能夠很友善地把資料找出來，也就是進行全文搜尋。
全文搜尋在日志分析裡面是非常基礎的一個功能，通過一個關鍵字就能定位具體的詳細日志，相比存放到關系型資料庫和普通的檔案存儲，Elasticsearch 優勢非常明顯。于是 Logstash 搭配 Elasticsearch 變得很受歡迎。
Kibana 的故事
不過 Logstash 自帶的 UI 查詢日志的界面有點簡陋，于是有一個叫作 Rashid Khan 的運維工程師表示完全忍不了了，用 PHP 寫了一個叫作 Kibana 的程式，一個更好看和更好用的前端界面。PHP 寫完一版，他又用 Ruby 寫一版，後面又用 AngularJS 寫了一版，不僅有日志的搜尋和檢視，還加上了一些統計展示功能。
Kibana 的名字其實是倆個水果的名字的組合（Kiwi+Banana）。
張飛聽到這裡：“工作不飽和啊這家夥”。孔明瞪了他一眼，繼續說道。
這個時候，Elasticsearch 已經有 Facet 概念，也就是分面統計（ 注：1.0 之後推出了 Aggregation 來代替 Facet），可以對資料裡面的某個字段進行單個次元的統計，支援多種統計類型。比如， TermFacet 可以計算字段裡面某些值出現了多少次；Histogram Facet 還可以按時間區間進行彙總統計等。這些統計功能在前端 UI 就可以被利用起來，展示一些餅圖、時間曲線等等，在運維的分析裡面自然也都是需要的。慢慢的 Kibana 越做越複雜，支援的功能越來越多，Kibana 3 變得流行起來。
于是乎，ELK 橫空出世（Elasticsearch、Logstash 和 Kibana 這三個産品的首字母縮寫），風靡了整個運維界。
故事講到這裡，相信你們對于 Elasticsearch 就有了一個大概的認識，可以用它做搜尋，也可以用它做日志。”
張飛點點頭，“還是相當的強悍嘛。”
Elastic Stack 平台的魅力
“不過，這還沒完。”諸葛亮吞了吞口水，繼續說。
“Elastic 後面又引入了 Beats 家族。這是一系列非常輕量級的資料收集端，我給你介紹幾個比較典型的，比如：
- Packetbeat
可以實時監聽網卡流量，并實時解析網絡協定資料，可用來做 NPM 網絡資料分析；
- Metricbeat
可以用來收集伺服器，以及伺服器上部署的應用服務的各項監控名額資料，這樣就可以替代 Zabbix 等傳統的監控軟體，來做伺服器的性能名額分析；
- Auditbeat
可以實時收集伺服器的行為事件，用于安全方面的入侵檢測和安全日志審計分析；
- Winlogbeat
用于 Windows 平台的事件日志收集；
- Filebeat
用于日志檔案的收集等。
Elasticsearch、Logstash、Kibana、Beats ，這幾個放在一起，就叫作 Elastic Stack。
如今，Elastic 的版圖越來越大，前年，Elastic 收購 Opbeat，開源了業界第一個完整的 APM 解決方案，通過探針可以實作無侵入的代碼級别的應用性能監控；去年7月又收購了代碼搜尋 Insight.IO，後續可以實作代碼級别的語義檢索。今年又收購了一個做終端安全的廠商 Endgame。這樣 Elastic Stack 這一個平台就可以同時做到：
- 日志分析
- 性能名額分析
- 安全日志分析
- APM 應用性能分析
- NPM 網絡性能分析
- 網站站内搜尋
- 企業級搜尋
- 代碼搜尋
- 實時 BI 業務分析
- SIEM 解決方案
- 終端裝置安全
- ......
試想一下：
在一個風和日麗的下午，你手機上收到一條告警短信，于是點選連結，打開 Kibana 的監控儀表盤，發現某台伺服器的 CPU 達到 100% 了。
于是，你順手點選過濾這台伺服器的所有相關資訊，可以看到相關的日志顯示，是這台伺服器上面部署的某一個業務服務的 QPS 有顯著下降，然後過濾到這個業務的日志，發現有很多異常的日志資訊，前端 Nginx 代理日志還顯示有很多請求被拒絕，看樣子是後端的微服務處理能力達到瓶頸。
這個時候，繼續點選 APM 的分析面闆，切換到事務和會話分析界面，看到有很多資料庫連結處于開啟狀态。你點選檢視調用代碼，立馬就找到了性能瓶頸的原因，原來是某個類的某個方法調用 MySQL 卻沒有及時釋放連結造成了洩露，于是修改這行代碼，送出上線，問題解決。然後，你可以若無其事地繼續浏覽相親網站啦。
盡管這是一個假想的例子，但是可以看到，基于 Elastic Stack ，你可以覆寫一整套完整的，從全局性能監控到具體代碼級别的排障和解決問題的過程，并且使用起來要比很多現有的方案更加高效和便捷。
好了，現在你們是否對 Elasticsearch 已經有了一個初步的了解呢？是不是也有躍躍欲試的打算？”
劉備點點頭：“今天來先生這裡真的是收獲不少，之前多有冒犯，還請多多包涵啊。”
關羽也說：“大哥，明天我就和三弟開始研究 Elasticsearch，争取早日改造好咱們的網站。”
“剛說的相親網站要不也發我一下”，張飛連忙問道。劉備沒好氣白了一眼張飛。
“天色已晚，告辭了！”
劉備三人作别孔明，各自高興的回家了。
“慢走不送，有空來喝茶啊。”
孔明抹了一把額頭，總算送走這仨了，恐怕從此江湖上估計要不平靜喽。
創作人簡介：
曾勇，Elastic 在中國的第一個員工，是中國最早接觸 Elasticsearch 的一波人，也是
Elastic 中文社群的創始人和社群主席，目前在 Elastic 負責中國企業客戶的項目落地與
技術咨詢，具有豐富的 Elastic 項目實施經驗。
部落格：
http://medcl.com