Elasticsearch 入門教程

全文搜尋屬于最常見的需求，開源的 Elasticsearch （以下簡稱 Elastic）是目前全文搜尋引擎的首選。

它可以快速地儲存、搜尋和分析海量資料。維基百科、Stack Overflow、Github 都采用它。

Elastic 的底層是開源庫 Lucene。但是，你沒法直接用 Lucene，必須自己寫代碼去調用它的接口。Elastic 是 Lucene 的封裝，提供了 REST API 的操作接口，開箱即用。

本文從零開始，講解如何使用 Elastic 搭建自己的全文搜尋引擎。每一步都有詳細的說明，大家跟着做就能學會。

一、安裝

Elastic 需要 Java 8 環境。如果你的機器還沒安裝 Java，可以參考這篇文章，注意要保證環境變量

JAVA_HOME

正确設定。

安裝完 Java，就可以跟着官方文檔安裝 Elastic。直接下載下傳壓縮包比較簡單。

$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.1.zip
$ unzip elasticsearch-5.5.1.zip
$ cd elasticsearch-5.5.1/

接着，進入解壓後的目錄，運作下面的指令，啟動 Elastic。

$ ./bin/elasticsearch

如果這時報錯"max virtual memory areas vm.maxmapcount [65530] is too low"，要運作下面的指令。

$ sudo sysctl -w vm.max_map_count=262144

如果一切正常，Elastic 就會在預設的9200端口運作。這時，打開另一個指令行視窗，請求該端口，會得到說明資訊。

$ curl localhost:9200

{
  "name" : "atntrTf",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "tf9250XhQ6ee4h7YI11anA",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

上面代碼中，請求9200端口，Elastic 傳回一個 JSON 對象，包含目前節點、叢集、版本等資訊。

按下 Ctrl + C，Elastic 就會停止運作。

預設情況下，Elastic 隻允許本機通路，如果需要遠端通路，可以修改 Elastic 安裝目錄的

config/elasticsearch.yml

檔案，去掉

network.host

的注釋，将它的值改成

0.0.0.0

，然後重新啟動 Elastic。

network.host: 0.0.0.0

上面代碼中，設成

0.0.0.0

讓任何人都可以通路。線上服務不要這樣設定，要設成具體的 IP。

二、基本概念

2.1 Node 與 Cluster

Elastic 本質上是一個分布式資料庫，允許多台伺服器協同工作，每台伺服器可以運作多個 Elastic 執行個體。

單個 Elastic 執行個體稱為一個節點（node）。一組節點構成一個叢集（cluster）。

2.2 Index

Elastic 會索引所有字段，經過處理後寫入一個反向索引（Inverted Index）。查找資料的時候，直接查找該索引。

是以，Elastic 資料管理的頂層機關就叫做 Index（索引）。它是單個資料庫的同義詞。每個 Index （即資料庫）的名字必須是小寫。

下面的指令可以檢視目前節點的所有 Index。

$ curl -X GET 'http://localhost:9200/_cat/indices?v'

2.3 Document

Index 裡面單條的記錄稱為 Document（文檔）。許多條 Document 構成了一個 Index。

Document 使用 JSON 格式表示，下面是一個例子。

{
  "user": "張三",
  "title": "工程師",
  "desc": "資料庫管理"
}

同一個 Index 裡面的 Document，不要求有相同的結構（scheme），但是最好保持相同，這樣有利于提高搜尋效率。

2.4 Type

Document 可以分組，比如

weather

這個 Index 裡面，可以按城市分組（北京和上海），也可以按氣候分組（晴天和雨天）。這種分組就叫做 Type，它是虛拟的邏輯分組，用來過濾 Document。

不同的 Type 應該有相似的結構（schema），舉例來說，

id

字段不能在這個組是字元串，在另一個組是數值。這是與關系型資料庫的表的一個差別。性質完全不同的資料（比如

products

和

logs

）應該存成兩個 Index，而不是一個 Index 裡面的兩個 Type（雖然可以做到）。

下面的指令可以列出每個 Index 所包含的 Type。

$ curl 'localhost:9200/_mapping?pretty=true'

根據規劃，Elastic 6.x 版隻允許每個 Index 包含一個 Type，7.x 版将會徹底移除 Type。

三、建立和删除 Index

建立 Index，可以直接向 Elastic 伺服器發出 PUT 請求。下面的例子是建立一個名叫

weather

的 Index。

$ curl -X PUT 'localhost:9200/weather'

伺服器傳回一個 JSON 對象，裡面的

acknowledged

字段表示操作成功。

{
  "acknowledged":true,
  "shards_acknowledged":true
}

然後，我們發出 DELETE 請求，删除這個 Index。

$ curl -X DELETE 'localhost:9200/weather'

四、中文分詞設定

首先，安裝中文分詞插件。這裡使用的是 ik，也可以考慮其他插件（比如 smartcn）。

$ ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.5.1/elasticsearch-analysis-ik-5.5.1.zip

上面代碼安裝的是5.5.1版的插件，與 Elastic 5.5.1 配合使用。

接着，重新啟動 Elastic，就會自動加載這個新安裝的插件。

然後，建立一個 Index，指定需要分詞的字段。這一步根據資料結構而異，下面的指令隻針對本文。基本上，凡是需要搜尋的中文字段，都要單獨設定一下。

$ curl -X PUT 'localhost:9200/accounts' -d '
{
  "mappings": {
    "person": {
      "properties": {
        "user": {
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_max_word"
        },
        "title": {
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_max_word"
        },
        "desc": {
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_max_word"
        }
      }
    }
  }
}'

上面代碼中，首先建立一個名稱為

accounts

的 Index，裡面有一個名稱為

person

的 Type。

person

有三個字段。

user

title

desc

這三個字段都是中文，而且類型都是文本（text），是以需要指定中文分詞器，不能使用預設的英文分詞器。

Elastic 的分詞器稱為 analyzer。我們對每個字段指定分詞器。

"user": {
  "type": "text",
  "analyzer": "ik_max_word",
  "search_analyzer": "ik_max_word"
}

上面代碼中，

analyzer

是字段文本的分詞器，

search_analyzer

是搜尋詞的分詞器。

ik_max_word

分詞器是插件

ik

提供的，可以對文本進行最大數量的分詞。

五、資料操作

5.1 新增記錄

向指定的 /Index/Type 發送 PUT 請求，就可以在 Index 裡面新增一條記錄。比如，向

/accounts/person

發送請求，就可以新增一條人員記錄。

$ curl -X PUT 'localhost:9200/accounts/person/1' -d '
{
  "user": "張三",
  "title": "工程師",
  "desc": "資料庫管理"
}'

伺服器傳回的 JSON 對象，會給出 Index、Type、Id、Version 等資訊。

{
  "_index":"accounts",
  "_type":"person",
  "_id":"1",
  "_version":1,
  "result":"created",
  "_shards":{"total":2,"successful":1,"failed":0},
  "created":true
}

如果你仔細看，會發現請求路徑是

/accounts/person/1

，最後的

是該條記錄的 Id。它不一定是數字，任意字元串（比如

abc

）都可以。

新增記錄的時候，也可以不指定 Id，這時要改成 POST 請求。

$ curl -X POST 'localhost:9200/accounts/person' -d '
{
  "user": "李四",
  "title": "工程師",
  "desc": "系統管理"
}'

上面代碼中，向

/accounts/person

發出一個 POST 請求，添加一個記錄。這時，伺服器傳回的 JSON 對象裡面，

_id

字段就是一個随機字元串。

{
  "_index":"accounts",
  "_type":"person",
  "_id":"AV3qGfrC6jMbsbXb6k1p",
  "_version":1,
  "result":"created",
  "_shards":{"total":2,"successful":1,"failed":0},
  "created":true
}

注意，如果沒有先建立 Index（這個例子是

accounts

），直接執行上面的指令，Elastic 也不會報錯，而是直接生成指定的 Index。是以，打字的時候要小心，不要寫錯 Index 的名稱。

5.2 檢視記錄

向

/Index/Type/Id

發出 GET 請求，就可以檢視這條記錄。

$ curl 'localhost:9200/accounts/person/1?pretty=true'

上面代碼請求檢視

/accounts/person/1

這條記錄，URL 的參數

pretty=true

表示以易讀的格式傳回。

傳回的資料中，

found

字段表示查詢成功，

_source

字段傳回原始記錄。

{
  "_index" : "accounts",
  "_type" : "person",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "user" : "張三",
    "title" : "工程師",
    "desc" : "資料庫管理"
  }
}

如果 Id 不正确，就查不到資料，

found

字段就是

false

。

$ curl 'localhost:9200/weather/beijing/abc?pretty=true'

{
  "_index" : "accounts",
  "_type" : "person",
  "_id" : "abc",
  "found" : false
}

5.3 删除記錄

删除記錄就是發出 DELETE 請求。

$ curl -X DELETE 'localhost:9200/accounts/person/1'

這裡先不要删除這條記錄，後面還要用到。

5.4 更新記錄

更新記錄就是使用 PUT 請求，重新發送一次資料。

$ curl -X PUT 'localhost:9200/accounts/person/1' -d '
{
    "user" : "張三",
    "title" : "工程師",
    "desc" : "資料庫管理，軟體開發"
}' 

{
  "_index":"accounts",
  "_type":"person",
  "_id":"1",
  "_version":2,
  "result":"updated",
  "_shards":{"total":2,"successful":1,"failed":0},
  "created":false
}

上面代碼中，我們将原始資料從"資料庫管理"改成"資料庫管理，軟體開發"。傳回結果裡面，有幾個字段發生了變化。

"_version" : 2,
"result" : "updated",
"created" : false

可以看到，記錄的 Id 沒變，但是版本（version）從

變成

，操作類型（result）從

created

updated

，

created

字段變成

false

，因為這次不是建立記錄。

六、資料查詢

6.1 傳回所有記錄

使用 GET 方法，直接請求

/Index/Type/_search

，就會傳回所有記錄。

$ curl 'localhost:9200/accounts/person/_search'

{
  "took":2,
  "timed_out":false,
  "_shards":{"total":5,"successful":5,"failed":0},
  "hits":{
    "total":2,
    "max_score":1.0,
    "hits":[
      {
        "_index":"accounts",
        "_type":"person",
        "_id":"AV3qGfrC6jMbsbXb6k1p",
        "_score":1.0,
        "_source": {
          "user": "李四",
          "title": "工程師",
          "desc": "系統管理"
        }
      },
      {
        "_index":"accounts",
        "_type":"person",
        "_id":"1",
        "_score":1.0,
        "_source": {
          "user" : "張三",
          "title" : "工程師",
          "desc" : "資料庫管理，軟體開發"
        }
      }
    ]
  }
}

上面代碼中，傳回結果的

took

字段表示該操作的耗時（機關為毫秒），

timed_out

字段表示是否逾時，

hits

字段表示命中的記錄，裡面子字段的含義如下。

total ：傳回記錄數，本例是2條。

max_score ：最高的比對程度，本例是 1.0

hits ：傳回的記錄組成的數組。

傳回的記錄中，每條記錄都有一個

_score

字段，表示比對的程式，預設是按照這個字段降序排列。

6.2 全文搜尋

Elastic 的查詢非常特别，使用自己的查詢文法，要求 GET 請求帶有資料體。

$ curl 'localhost:9200/accounts/person/_search'  -d '
{
  "query" : { "match" : { "desc" : "軟體" }}
}'

上面代碼使用 Match 查詢，指定的比對條件是

desc

字段裡面包含"軟體"這個詞。傳回結果如下。

{
  "took":3,
  "timed_out":false,
  "_shards":{"total":5,"successful":5,"failed":0},
  "hits":{
    "total":1,
    "max_score":0.28582606,
    "hits":[
      {
        "_index":"accounts",
        "_type":"person",
        "_id":"1",
        "_score":0.28582606,
        "_source": {
          "user" : "張三",
          "title" : "工程師",
          "desc" : "資料庫管理，軟體開發"
        }
      }
    ]
  }
}

Elastic 預設一次傳回10條結果，可以通過

size

字段改變這個設定。

$ curl 'localhost:9200/accounts/person/_search'  -d '
{
  "query" : { "match" : { "desc" : "管理" }},
  "size": 1
}'

上面代碼指定，每次隻傳回一條結果。

還可以通過

from

字段，指定位移。

$ curl 'localhost:9200/accounts/person/_search'  -d '
{
  "query" : { "match" : { "desc" : "管理" }},
  "from": 1,
  "size": 1
}'

上面代碼指定，從位置1開始（預設是從位置0開始），隻傳回一條結果。

6.3 邏輯運算

$ curl 'localhost:9200/accounts/person/_search'  -d '
{
  "query" : { "match" : { "desc" : "軟體 系統" }}
}'

$ curl 'localhost:9200/accounts/person/_search'  -d '
{
  "query": {
    "bool": {
      "must": [
        { "match": { "desc": "軟體" } },
        { "match": { "desc": "系統" } }
      ]
    }
  }
}'

Elasticsearch 入門教程

一、安裝

二、基本概念

2.1 Node 與 Cluster

2.2 Index

2.3 Document

2.4 Type

三、建立和删除 Index

四、中文分詞設定

五、資料操作

5.1 新增記錄

5.2 檢視記錄

5.3 删除記錄

5.4 更新記錄

六、資料查詢

6.1 傳回所有記錄

6.2 全文搜尋

6.3 邏輯運算

繼續閱讀

k8s部署es叢集和kibana

ElasticSearch：部署ElasticSearch & Kibana

ES分詞插件IK Analyzer安裝

【elasticsearch】The number of object passed must be even but was [1]1.概述

跟據經緯度實作附近搜尋Java實作

【最新 v7.9】Elasticsearch的基本概念與配置

圖解elasticsearch的_source、_all、store和index

深入elasticsearch源碼之環境搭建

elasticsearch 的 Percolator操作

es使用項目中遇到的問題

15.profile-api

【轉】ElasticSearch是什麼以及應用場景

ElasticSearch是什麼以及應用場景ES是如何産生的？ES 基礎一網打盡ES特點和優勢為什麼要用ES？ES的應用場景是怎樣的？

延雲行業搜尋資料庫在大資料生态中位置和重要性大資料的挑戰大資料技術的現狀延雲行業搜尋資料庫

尚矽谷—韓順平—圖解 Java設計模式（結構型）（55～）

30天了解30種技術系列---(10)面向Cloud的搜尋引擎 ElasticSearch