ES 27 - Elasticsearch的腳本使用實踐

Elasticsearch中的腳本(script)有什麼作用? 如何建立、搜尋、使用腳本? 腳本的緩存又是什麼? 對于腳本的使用, 有哪些高效的實踐政策? 本篇博文對這些内容作個簡單的探讨.

目錄

• 1 關于腳本
• 2 腳本使用的最佳實踐
  • 2.1 建立腳本并存儲
  • 2.2 腳本的緩存
  • 2.3 Script Field - 腳本字段
• 參考資料
• 版權聲明

本文以 ES 6.6.0 版本為例進行示範.

ES提供了腳本支援 —— 可以通過Groovy外置腳本(已過時)、内置

painless

腳本實作各種複雜操作.

—— painless有輕便之意, 使用時直接在文法中調用即可, 無需外置, 也就是不支援通過外部檔案存儲painless腳本并調用的方法.

// 向ES中插入一條資料:
PUT employee/developer/1
{
    "name": "shou feng", 
    "age": 20,
    "salary": 10000
}
  
// 通過GET發送腳本, 允許為每個比對的文檔傳回腳本評估(script evaluation)内容: 
GET employee/_search
{
    "script_fields": {
        "change_age_field": {	// 該字段不存在 - script fields可以處理未存儲的字段
            "script": {
                "lang":   "expression",
                "source": "doc['age'] * multiplier",  // 擷取age字段的值進行計算
                "params": {
                    "multiplier": 2
                }
            }
        }
    }
}

// 響應結果為: 
{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 1,
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "employee",
        "_type" : "developer",
        "_id" : "1",
        "_score" : 1.0,
        "fields" : {
          "change_age_field" : [
            40.0
          ]
        }
      }
    ]
  }
}
           

Elasticsearch第一次加載一個新腳本時, 會将新腳本編譯并存儲在緩存中.

編譯可能是一個繁重的過程, 如果需要将變量傳遞給腳本, 建議: 将它們作為命名參數傳遞給腳本本身(方式①), 而不是寫死在腳本中(方式②).

(1) 方式① 參數傳遞:

"source": "doc['age'] * multiplier",
"params": {
    "multiplier": 2
}
           

(2) 方式② 寫死:

"source": "doc['age'] * 2"
           

(3) 優劣對比:

• 每次乘數改變時都必須重新編譯第②個版本, 而第①個版本隻編譯一次.
• 如果短時間内編譯過多的腳本, ES将拒絕帶有

  circuit_breaking_exception

  錯誤的新腳本.
• Elasticsearch預設情況下, 每分鐘最多編譯15個内聯腳本, 可以通過修改

  script.max_compilations_rate

  的值來更改此設定.

可以使用

_scripts

API 将腳本存儲在叢集狀态中, 并從叢集狀态中檢索腳本.

使用

_scripts/{id}

的方式操作腳本, 具體步驟如下:

(1) 首先在叢集狀态中建立名為calculate-score的腳本:

POST _scripts/calculate-score
{
    "script": {
        "lang": "painless",
        "source": "Math.log(_score * 2) + params.my_modifier"
    }
}
           

(2) 檢索存儲的腳本:

GET _scripts/calculate-score
           

(3) 通過腳本id使用已建立的腳本:

GET _search
{
    "query": {
        "script": {
            "script": {
                "id": "calculate-score",
                "params": {
                    "my_modifier": 2	// 傳遞腳本所需的參數
                }
            }
        }
    }
}
           

(4) 删除腳本:

DELETE _scripts/calculate-score
           

預設情況下, 所有的腳本都會被緩存到ES叢集中, 是以隻有當腳本被更新之後, ES才會重新編譯它們.

同樣, 腳本沒有過期時間的說法, 但可以使用

script.cache.expire

設定更改過期時間.

也可以使用

script.cache.max_size

配置此腳本緩存的大小, 預設緩存大小為100.

存儲腳本的大小限制為65535位元組, 可以通過

script.max_size_in_bytes

來更改, 但是如果腳本非常大, 就應該考慮相關腳本的實作引擎是否足夠優秀.

腳本字段還可以通過通路

_source

字段來提取文檔的其他字段 —— 使用

params ['_source']

提取要從中擷取的内容.

比如通路

_source

元字段中

message

字段的内容, 可以用:

"script": "params['_source']['message']"

通路.

另外: 了解

doc['my_field'].value

和

params['_source']['my_field']

之間的差別非常重要:

① 使用doc關鍵字: 将導緻該字段的術語加載到記憶體(緩存)中, 這樣腳本的執行速度會更快, 但也會帶來更多的記憶體消耗. 另外,

doc […]

符号隻允許簡單的值字段(不能從中傳回JSON對象), 并且它隻對非分析或基于單個術語的字段有意義.

② 使用params關鍵字: 每次使用時都必須加載和解析

_source

, 這是非常緩慢的.

建議: 使用

doc

關鍵字, 從文檔中通路相關字段的值, 這種方式更加高效.

ES 6.6 官方文檔 - How to use scripts

作者: 馬瘦風(https://healchow.com)

出處: 部落格園 馬瘦風的部落格(https://www.cnblogs.com/shoufeng)

感謝閱讀, 如果文章有幫助或啟發到你, 點個[好文要頂👆] 或 [推薦👍] 吧😜

本文版權歸部落客所有, 歡迎轉載, 但 [必須在文章頁面明顯位置标明原文連結], 否則部落客保留追究相關人員法律責任的權利.