微服務架構-Day6

學習目标

• 學會微服務架構
• 對應項目hotel-demo

學習筆記

1.DSL查詢文檔

elasticsearch的查詢依然是基于JSON風格的DSL來實作的。

1.1.DSL查詢分類

Elasticsearch提供了基于JSON的DSL（Domain Specific Language）來定義查詢。常見的查詢類型包括：

• 查詢所有：查詢出所有資料，一般測試用。例如：match_all
• 全文檢索（full text）查詢：利用分詞器對使用者輸入内容分詞，然後去反向索引庫中比對。例如：
  • match_query
  • multi_match_query
• 精确查詢：根據精确詞條值查找資料，一般是查找keyword、數值、日期、boolean等類型字段。例如：
  • ids
  • range
  • term
• 地理（geo）查詢：根據經緯度查詢。例如：
  • geo_distance
  • geo_bounding_box
• 複合（compound）查詢：複合查詢可以将上述各種查詢條件組合起來，合并查詢條件。例如：
  • bool
  • function_score

查詢的文法基本一緻：

GET /indexName/_search
{
  "query": {
    "查詢類型": {
      "查詢條件": "條件值"
    }
  }
}
           

我們以查詢所有為例，其中：

• 查詢類型為match_all
• 沒有查詢條件

// 查詢所有
GET /indexName/_search
{
  "query": {
    "match_all": {
    }
  }
}
           

其它查詢無非就是查詢類型、查詢條件的變化。

1.2.全文檢索查詢

1.2.1.使用場景

全文檢索查詢的基本流程如下：

• 對使用者搜尋的内容做分詞，得到詞條
• 根據詞條去反向索引庫中比對，得到文檔id
• 根據文檔id找到文檔，傳回給使用者

比較常用的場景包括：

• 商城的輸入框搜尋
• 百度輸入框搜尋

1.2.2.基本文法

常見的全文檢索查詢包括：

• match查詢：單字段查詢
• multi_match查詢：多字段查詢，任意一個字段符合條件就算符合查詢條件

match查詢文法如下：

GET /indexName/_search
{
  "query": {
    "match": {
      "FIELD": "TEXT"
    }
  }
}
           

mulit_match文法如下：

GET /indexName/_search
{
  "query": {
    "multi_match": {
      "query": "TEXT",
      "fields": ["FIELD1", " FIELD12"]
    }
  }
}
           

搜尋字段越多，對查詢性能影響越大，是以建議采用copy_to，然後單字段查詢的方式。

1.2.4.總結

match和multi_match的差別是什麼？

• match：根據一個字段查詢
• multi_match：根據多個字段查詢，參與查詢字段越多，查詢性能越差

1.3.精準查詢

精确查詢一般是查找keyword、數值、日期、boolean等類型字段。是以不會對搜尋條件分詞。常見的有：

• term：根據詞條精确值查詢
• range：根據值的範圍查詢

1.3.1.term查詢

因為精确查詢的字段搜是不分詞的字段，是以查詢的條件也必須是不分詞的詞條。查詢時，使用者輸入的内容跟自動值完全比對時才認為符合條件。如果使用者輸入的内容過多，反而搜尋不到資料。

文法說明：

// term查詢
GET /indexName/_search
{
  "query": {
    "term": {
      "FIELD": {
        "value": "VALUE"
      }
    }
  }
}
           

示例：

當我搜尋的是精确詞條時，能正确查詢出結果：

1.3.2.range查詢

範圍查詢，一般應用在對數值類型做範圍過濾的時候。比如做價格範圍過濾。

基本文法：

// range查詢
GET /indexName/_search
{
  "query": {
    "range": {
      "FIELD": {
        "gte": 10, // 這裡的gte代表大于等于，gt則代表大于
        "lte": 20 // lte代表小于等于，lt則代表小于
      }
    }
  }
}
           

示例：

1.3.3.總結

精确查詢常見的有哪些？

• term查詢：根據詞條精确比對，一般搜尋keyword類型、數值類型、布爾類型、日期類型字段
• range查詢：根據數值範圍查詢，可以是數值、日期的範圍

1.4.地理坐标查詢

所謂的地理坐标查詢，其實就是根據經緯度查詢，官方文檔：https://www.elastic.co/guide/en/elasticsearch/reference/current/geo-queries.html

1.4.1.矩形範圍查詢

矩形範圍查詢，也就是geo_bounding_box查詢，查詢坐标落在某個矩形範圍的所有文檔

查詢時，需要指定矩形的左上、右下兩個點的坐标，然後畫出一個矩形，落在該矩形内的都是符合條件的點。

文法如下：

// geo_bounding_box查詢
GET /indexName/_search
{
  "query": {
    "geo_bounding_box": {
      "FIELD": {
        "top_left": { // 左上點
          "lat": 31.1,
          "lon": 121.5
        },
        "bottom_right": { // 右下點
          "lat": 30.9,
          "lon": 121.7
        }
      }
    }
  }
}
           

1.4.2.附近查詢

附近查詢，也叫做距離查詢（geo_distance）：查詢到指定中心點小于某個距離值的所有文檔。

換句話來說，在地圖上找一個點作為圓心，以指定距離為半徑，畫一個圓，落在圓内的坐标都算符合條件

文法說明：

// geo_distance 查詢
GET /indexName/_search
{
  "query": {
    "geo_distance": {
      "distance": "15km", // 半徑
      "FIELD": "31.21,121.5" // 圓心
    }
  }
}
           

1.5.複合查詢

複合（compound）查詢：複合查詢可以将其它簡單查詢組合起來，實作更複雜的搜尋邏輯。常見的有兩種：

• fuction score：算分函數查詢，可以控制文檔相關性算分，控制文檔排名
• bool query：布爾查詢，利用邏輯關系組合多個其它的查詢，實作複雜搜尋

1.5.1.相關性算分

當我們利用match查詢時，文檔結果會根據與搜尋詞條的關聯度打分（_score），傳回結果時按照分值降序排列。

elasticsearch會根據詞條和文檔的相關度做打分，算法由兩種：

• TF-IDF算法
• BM25算法，elasticsearch5.1版本後采用的算法

TF-IDF算法有一各缺陷，就是詞條頻率越高，文檔得分也會越高，單個詞條對文檔影響較大。而BM25則會讓單個詞條的算分有一個上限，曲線更加平滑

1.5.2.算分函數查詢

根據相關度打分是比較合理的需求，但合理的不一定是産品經理需要的。

以百度為例，你搜尋的結果中，并不是相關度越高排名越靠前，而是誰掏的錢多排名就越靠前。

要想認為控制相關性算分，就需要利用elasticsearch中的function score 查詢了。

1）文法說明

function score 查詢中包含四部分内容：

• 原始查詢條件：query部分，基于這個條件搜尋文檔，并且基于BM25算法給文檔打分，原始算分（query score)
• 過濾條件：filter部分，符合該條件的文檔才會重新算分
• 算分函數：符合filter條件的文檔要根據這個函數做運算，得到的函數算分（function score），有四種函數
  • weight：函數結果是常量
  • field_value_factor：以文檔中的某個字段值作為函數結果
  • random_score：以随機數作為函數結果
  • script_score：自定義算分函數算法
• 運算模式：算分函數的結果、原始查詢的相關性算分，兩者之間的運算方式，包括：
  • multiply：相乘
  • replace：用function score替換query score
  • 其它，例如：sum、avg、max、min

function score的運作流程如下：

• 1）根據原始條件查詢搜尋文檔，并且計算相關性算分，稱為原始算分（query score）
• 2）根據過濾條件，過濾文檔
• 3）符合過濾條件的文檔，基于算分函數運算，得到函數算分（function score）
• 4）将原始算分（query score）和函數算分（function score）基于運算模式做運算，得到最終結果，作為相關性算分。

是以，其中的關鍵點是：

• 過濾條件：決定哪些文檔的算分被修改
• 算分函數：決定函數算分的算法
• 運算模式：決定最終算分結果

2）示例

需求：給“如家”這個品牌的酒店排名靠前一些

翻譯一下這個需求，轉換為之前說的四個要點：

• 原始條件：不确定，可以任意變化
• 過濾條件：brand = “如家”
• 算分函數：可以簡單粗暴，直接給固定的算分結果，weight
• 運算模式：比如求和

是以最終的DSL語句如下：

GET /hotel/_search
{
  "query": {
    "function_score": {
      "query": {  .... }, // 原始查詢，可以是任意條件
      "functions": [ // 算分函數
        {
          "filter": { // 滿足的條件，品牌必須是如家
            "term": {
              "brand": "如家"
            }
          },
          "weight": 2 // 算分權重為2
        }
      ],
      "boost_mode": "sum" // 權重模式，求和
    }
  }
}
           

3）小結

function score query定義的三要素是什麼？

• 過濾條件：哪些文檔要加分
• 算分函數：如何計算function score
• 權重方式：function score 與 query score如何運算

1.5.3.布爾查詢

布爾查詢是一個或多個查詢子句的組合，每一個子句就是一個子查詢。子查詢的組合方式有：

• must：必須比對每個子查詢，類似“與”
• should：選擇性比對子查詢，類似“或”
• must_not：必須不比對，不參與算分，類似“非”
• filter：必須比對，不參與算分

每一個不同的字段，其查詢的條件、方式都不一樣，必須是多個不同的查詢，而要組合這些查詢，就必須用bool查詢了。

需要注意的是，搜尋時，參與打分的字段越多，查詢的性能也越差。是以這種多條件查詢時，建議這樣做：

• 搜尋框的關鍵字搜尋，是全文檢索查詢，使用must查詢，參與算分
• 其它過濾條件，采用filter查詢。不參與算分

1）文法示例：

GET /hotel/_search
{
  "query": {
    "bool": {
      "must": [
        {"term": {"city": "上海" }}
      ],
      "should": [
        {"term": {"brand": "皇冠假日" }},
        {"term": {"brand": "華美達" }}
      ],
      "must_not": [
        { "range": { "price": { "lte": 500 } }}
      ],
      "filter": [
        { "range": {"score": { "gte": 45 } }}
      ]
    }
  }
}
           

2）示例

需求：搜尋名字包含“如家”，價格不高于400，在坐标31.21,121.5周圍10km範圍内的酒店。

分析：

• 名稱搜尋，屬于全文檢索查詢，應該參與算分。放到must中
• 價格不高于400，用range查詢，屬于過濾條件，不參與算分。放到must_not中
• 周圍10km範圍内，用geo_distance查詢，屬于過濾條件，不參與算分。放到filter中

3）小結

bool查詢有幾種邏輯關系？

• must：必須比對的條件，可以了解為“與”
• should：選擇性比對的條件，可以了解為“或”
• must_not：必須不比對的條件，不參與打分
• filter：必須比對的條件，不參與打分

2.搜尋結果處理

搜尋的結果可以按照使用者指定的方式去處理或展示。

2.1.排序

elasticsearch預設是根據相關度算分（_score）來排序，但是也支援自定義方式對搜尋結果排序。可以排序字段類型有：keyword類型、數值類型、地理坐标類型、日期類型等。

2.1.1.普通字段排序

keyword、數值、日期類型排序的文法基本一緻。

文法：

GET /indexName/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "FIELD": "desc"  // 排序字段、排序方式ASC、DESC
    }
  ]
}
           

排序條件是一個數組，也就是可以寫多個排序條件。按照聲明的順序，當第一個條件相等時，再按照第二個條件排序，以此類推

2.1.2.地理坐标排序

地理坐标排序略有不同。

文法說明：

GET /indexName/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "_geo_distance" : {
          "FIELD" : "緯度，經度", // 文檔中geo_point類型的字段名、目标坐标點
          "order" : "asc", // 排序方式
          "unit" : "km" // 排序的距離機關
      }
    }
  ]
}
           

這個查詢的含義是：

• 指定一個坐标，作為目标點
• 計算每一個文檔中，指定字段（必須是geo_point類型）的坐标 到目标點的距離是多少
• 根據距離排序

2.2.分頁

elasticsearch 預設情況下隻傳回top10的資料。而如果要查詢更多資料就需要修改分頁參數了。elasticsearch中通過修改from、size參數來控制要傳回的分頁結果：

• from：從第幾個文檔開始
• size：總共查詢幾個文檔

類似于mysql中的

limit ?, ?

2.2.1.基本的分頁

分頁的基本文法如下：

GET /hotel/_search
{
  "query": {
    "match_all": {}
  },
  "from": 0, // 分頁開始的位置，預設為0
  "size": 10, // 期望擷取的文檔總數
  "sort": [
    {"price": "asc"}
  ]
}
           

2.2.2.深度分頁問題

當查詢分頁深度較大時，彙總資料過多，對記憶體和CPU會産生非常大的壓力，是以elasticsearch會禁止from+ size 超過10000的請求。

針對深度分頁，ES提供了兩種解決方案，官方文檔：

• search after：分頁時需要排序，原理是從上一次的排序值開始，查詢下一頁資料。官方推薦使用的方式。
• scroll：原理将排序後的文檔id形成快照，儲存在記憶體。官方已經不推薦使用。

2.2.3.小結

分頁查詢的常見實作方案以及優缺點：

• from + size

  ：
  • 優點：支援随機翻頁
  • 缺點：深度分頁問題，預設查詢上限（from + size）是10000
  • 場景：百度、京東、谷歌、淘寶這樣的随機翻頁搜尋

• after search

  ：
  • 優點：沒有查詢上限（單次查詢的size不超過10000）
  • 缺點：隻能向後逐頁查詢，不支援随機翻頁
  • 場景：沒有随機翻頁需求的搜尋，例如手機向下滾動翻頁

• scroll

  ：
  • 優點：沒有查詢上限（單次查詢的size不超過10000）
  • 缺點：會有額外記憶體消耗，并且搜尋結果是非實時的
  • 場景：海量資料的擷取和遷移。從ES7.1開始不推薦，建議用 after search方案。

2.3.高亮

2.3.1.高亮原理

高亮顯示的實作分為兩步：

• 1）給文檔中的所有關鍵字都添加一個标簽，例如

  <em>

  标簽
• 2）頁面給

  <em>

  标簽編寫CSS樣式

2.3.2.實作高亮

高亮的文法：

GET /hotel/_search
{
  "query": {
    "match": {
      "FIELD": "TEXT" // 查詢條件，高亮一定要使用全文檢索查詢
    }
  },
  "highlight": {
    "fields": { // 指定要高亮的字段
      "FIELD": {
        "pre_tags": "<em>",  // 用來标記高亮字段的前置标簽
        "post_tags": "</em>" // 用來标記高亮字段的後置标簽
      }
    }
  }
}
           

注意：

• 高亮是對關鍵字高亮，是以搜尋條件必須帶有關鍵字，而不能是範圍這樣的查詢。
• 預設情況下，高亮的字段，必須與搜尋指定的字段一緻，否則無法高亮
• 如果要對非搜尋字段高亮，則需要添加一個屬性：required_field_match=false

2.4.總結

查詢的DSL是一個大的JSON對象，包含下列屬性：

• query：查詢條件
• from和size：分頁條件
• sort：排序條件
• highlight：高亮條件

示例：

3.RestClient查詢文檔

文檔的查詢同樣适用昨天學習的 RestHighLevelClient對象，基本步驟包括：

• 1）準備Request對象
• 2）準備請求參數
• 3）發起請求
• 4）解析響應

3.1.快速入門

我們以match_all查詢為例

3.1.1.發起查詢請求

代碼解讀：

• 第一步，建立

  SearchRequest

  對象，指定索引庫名
• 第二步，利用

  request.source()

  建構DSL，DSL中可以包含查詢、分頁、排序、高亮等

  • query()

    ：代表查詢條件，利用

    QueryBuilders.matchAllQuery()

    建構一個match_all查詢的DSL
• 第三步，利用client.search()發送請求，得到響應

這裡關鍵的API有兩個，一個是

request.source()

，其中包含了查詢、排序、分頁、高亮等所有功能：

另一個是

QueryBuilders

，其中包含match、term、function_score、bool等各種查詢：

3.1.2.解析響應

響應結果的解析：

elasticsearch傳回的結果是一個JSON字元串，結構包含：

• hits

  ：命中的結果

  • total

    ：總條數，其中的value是具體的總條數值

  • max_score

    ：所有結果中得分最高的文檔的相關性算分

  • hits

    ：搜尋結果的文檔數組，其中的每個文檔都是一個json對象

    • _source

      ：文檔中的原始資料，也是json對象

是以，我們解析響應結果，就是逐層解析JSON字元串，流程如下：

• SearchHits

  ：通過response.getHits()擷取，就是JSON中的最外層的hits，代表命中的結果

  • SearchHits#getTotalHits().value

    ：擷取總條數資訊

  • SearchHits#getHits()

    ：擷取SearchHit數組，也就是文檔數組

    • SearchHit#getSourceAsString()

      ：擷取文檔結果中的_source，也就是原始的json文檔資料

3.1.3.完整代碼

完整代碼如下：

@Test
void testMatchAll() throws IOException {
    // 1.準備Request
    SearchRequest request = new SearchRequest("hotel");
    // 2.準備DSL
    request.source()
        .query(QueryBuilders.matchAllQuery());
    // 3.發送請求
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);

    // 4.解析響應
    handleResponse(response);
}

private void handleResponse(SearchResponse response) {
    // 4.解析響應
    SearchHits searchHits = response.getHits();
    // 4.1.擷取總條數
    long total = searchHits.getTotalHits().value;
    System.out.println("共搜尋到" + total + "條資料");
    // 4.2.文檔數組
    SearchHit[] hits = searchHits.getHits();
    // 4.3.周遊
    for (SearchHit hit : hits) {
        // 擷取文檔source
        String json = hit.getSourceAsString();
        // 反序列化
        HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
        System.out.println("hotelDoc = " + hotelDoc);
    }
}
           

3.1.4.小結

查詢的基本步驟是：

1. 建立SearchRequest對象

2. 準備Request.source()，也就是DSL。

   ① QueryBuilders來建構查詢條件

   ② 傳入Request.source() 的 query() 方法

3. 發送請求，得到結果
4. 解析結果（參考JSON結果，從外到内，逐層解析）

3.2.match查詢

全文檢索的match和multi_match查詢與match_all的API基本一緻。差别是查詢條件，也就是query的部分。

是以，Java代碼上的差異主要是request.source().query()中的參數了。同樣是利用QueryBuilders提供的方法：

而結果解析代碼則完全一緻，可以抽取并共享。

完整代碼如下：

@Test
void testMatch() throws IOException {
    // 1.準備Request
    SearchRequest request = new SearchRequest("hotel");
    // 2.準備DSL
    request.source()
        .query(QueryBuilders.matchQuery("all", "如家"));
    // 3.發送請求
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);
    // 4.解析響應
    handleResponse(response);

}
           

3.3.精确查詢

精确查詢主要是兩者：

• term：詞條精确比對
• range：範圍查詢

與之前的查詢相比，差異同樣在查詢條件，其它都一樣。

查詢條件構造的API如下：

3.4.布爾查詢

布爾查詢是用must、must_not、filter等方式組合其它查詢，代碼示例如下：

可以看到，API與其它查詢的差别同樣是在查詢條件的建構，QueryBuilders，結果解析等其他代碼完全不變。

完整代碼如下：

@Test
void testBool() throws IOException {
    // 1.準備Request
    SearchRequest request = new SearchRequest("hotel");
    // 2.準備DSL
    // 2.1.準備BooleanQuery
    BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
    // 2.2.添加term
    boolQuery.must(QueryBuilders.termQuery("city", "杭州"));
    // 2.3.添加range
    boolQuery.filter(QueryBuilders.rangeQuery("price").lte(250));

    request.source().query(boolQuery);
    // 3.發送請求
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);
    // 4.解析響應
    handleResponse(response);

}
           

3.5.排序、分頁

搜尋結果的排序和分頁是與query同級的參數，是以同樣是使用request.source()來設定。

對應的API如下：

完整代碼示例：

@Test
void testPageAndSort() throws IOException {
    // 頁碼，每頁大小
    int page = 1, size = 5;

    // 1.準備Request
    SearchRequest request = new SearchRequest("hotel");
    // 2.準備DSL
    // 2.1.query
    request.source().query(QueryBuilders.matchAllQuery());
    // 2.2.排序 sort
    request.source().sort("price", SortOrder.ASC);
    // 2.3.分頁 from、size
    request.source().from((page - 1) * size).size(5);
    // 3.發送請求
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);
    // 4.解析響應
    handleResponse(response);

}
           

3.6.高亮

高亮的代碼與之前代碼差異較大，有兩點：

• 查詢的DSL：其中除了查詢條件，還需要添加高亮條件，同樣是與query同級。
• 結果解析：結果除了要解析_source文檔資料，還要解析高亮結果

3.6.1.高亮請求建構

完整代碼如下：

@Test
void testHighlight() throws IOException {
    // 1.準備Request
    SearchRequest request = new SearchRequest("hotel");
    // 2.準備DSL
    // 2.1.query
    request.source().query(QueryBuilders.matchQuery("all", "如家"));
    // 2.2.高亮
    request.source().highlighter(new HighlightBuilder().field("name").requireFieldMatch(false));
    // 3.發送請求
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);
    // 4.解析響應
    handleResponse(response);

}
           

3.6.2.高亮結果解析

高亮的結果與查詢的文檔結果預設是分離的，并不在一起。

是以解析高亮的代碼需要額外處理：

代碼解讀：

• 第一步：從結果中擷取source。hit.getSourceAsString()，這部分是非高亮結果，json字元串。還需要反序列為HotelDoc對象
• 第二步：擷取高亮結果。hit.getHighlightFields()，傳回值是一個Map，key是高亮字段名稱，值是HighlightField對象，代表高亮值
• 第三步：從map中根據高亮字段名稱，擷取高亮字段值對象HighlightField
• 第四步：從HighlightField中擷取Fragments，并且轉為字元串。這部分就是真正的高亮字元串了
• 第五步：用高亮的結果替換HotelDoc中的非高亮結果

完整代碼如下：

private void handleResponse(SearchResponse response) {
    // 4.解析響應
    SearchHits searchHits = response.getHits();
    // 4.1.擷取總條數
    long total = searchHits.getTotalHits().value;
    System.out.println("共搜尋到" + total + "條資料");
    // 4.2.文檔數組
    SearchHit[] hits = searchHits.getHits();
    // 4.3.周遊
    for (SearchHit hit : hits) {
        // 擷取文檔source
        String json = hit.getSourceAsString();
        // 反序列化
        HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
        // 擷取高亮結果
        Map<String, HighlightField> highlightFields = hit.getHighlightFields();
        if (!CollectionUtils.isEmpty(highlightFields)) {
            // 根據字段名擷取高亮結果
            HighlightField highlightField = highlightFields.get("name");
            if (highlightField != null) {
                // 擷取高亮值
                String name = highlightField.getFragments()[0].string();
                // 覆寫非高亮結果
                hotelDoc.setName(name);
            }
        }
        System.out.println("hotelDoc = " + hotelDoc);
    }
}
           

4.黑馬旅遊案例

實作四部分功能：

• 酒店搜尋和分頁
• 酒店結果過濾
• 我周邊的酒店
• 酒店競價排名

啟動提供的hotel-demo項目，其預設端口是8089，通路http://localhost:8090，就能看到項目頁面了：

4.1.酒店搜尋和分頁

案例需求：實作黑馬旅遊的酒店搜尋功能，完成關鍵字搜尋和分頁

4.1.1.需求分析

這個請求的資訊如下：

• 請求方式：POST
• 請求路徑：/hotel/list
• 請求參數：JSON對象，包含4個字段：
  • key：搜尋關鍵字
  • page：頁碼
  • size：每頁大小
  • sortBy：排序，目前暫不實作
• 傳回值：分頁查詢，需要傳回分頁結果PageResult，包含兩個屬性：

  • total

    ：總條數

  • List<HotelDoc>

    ：目前頁的資料

是以，我們實作業務的流程如下：

• 步驟一：定義實體類，接收請求參數的JSON對象
• 步驟二：編寫controller，接收頁面的請求
• 步驟三：編寫業務實作，利用RestHighLevelClient實作搜尋、分頁

4.1.2.定義實體類

實體類有兩個，一個是前端的請求參數實體，一個是服務端應該傳回的響應結果實體。

1）請求參數

前端請求的json結構如下：

{
    "key": "搜尋關鍵字",
    "page": 1,
    "size": 3,
    "sortBy": "default"
}
           

是以，我們在

cn.itcast.hotel.pojo

包下定義一個實體類：

package cn.itcast.hotel.pojo;

import lombok.Data;

@Data
public class RequestParams {
    private String key;
    private Integer page;
    private Integer size;
    private String sortBy;
}
           

2）傳回值

分頁查詢，需要傳回分頁結果PageResult，包含兩個屬性：

• total

  ：總條數

• List<HotelDoc>

  ：目前頁的資料

是以，我們在

cn.itcast.hotel.pojo

中定義傳回結果：

package cn.itcast.hotel.pojo;

import lombok.Data;

import java.util.List;

@Data
public class PageResult {
    private Long total;
    private List<HotelDoc> hotels;

    public PageResult() {
    }

    public PageResult(Long total, List<HotelDoc> hotels) {
        this.total = total;
        this.hotels = hotels;
    }
}
           

4.1.3.定義controller

定義一個HotelController，聲明查詢接口，滿足下列要求：

• 請求方式：Post
• 請求路徑：/hotel/list
• 請求參數：對象，類型為RequestParam
• 傳回值：PageResult，包含兩個屬性

  • Long total

    ：總條數

  • List<HotelDoc> hotels

    ：酒店資料

是以，我們在

cn.itcast.hotel.web

中定義HotelController：

@RestController
@RequestMapping("/hotel")
public class HotelController {

    @Autowired
    private IHotelService hotelService;
	// 搜尋酒店資料
    @PostMapping("/list")
    public PageResult search(@RequestBody RequestParams params){
        return hotelService.search(params);
    }
}
           

4.1.4.實作搜尋業務

我們在controller調用了IHotelService，并沒有實作該方法，是以下面我們就在IHotelService中定義方法，并且去實作業務邏輯。

1）在

cn.itcast.hotel.service

中的

IHotelService

接口中定義一個方法：

/**
 * 根據關鍵字搜尋酒店資訊
 * @param params 請求參數對象，包含使用者輸入的關鍵字 
 * @return 酒店文檔清單
 */
PageResult search(RequestParams params);
           

2）實作搜尋業務，肯定離不開RestHighLevelClient，我們需要把它注冊到Spring中作為一個Bean。在

cn.itcast.hotel

中的

HotelDemoApplication

中聲明這個Bean：

@Bean
public RestHighLevelClient client(){
    return  new RestHighLevelClient(RestClient.builder(
        HttpHost.create("http://192.168.150.101:9200")
    ));
}
           

3）在

cn.itcast.hotel.service.impl

中的

HotelService

中實作search方法：

@Override
public PageResult search(RequestParams params) {
    try {
        // 1.準備Request
        SearchRequest request = new SearchRequest("hotel");
        // 2.準備DSL
        // 2.1.query
        String key = params.getKey();
        if (key == null || "".equals(key)) {
            boolQuery.must(QueryBuilders.matchAllQuery());
        } else {
            boolQuery.must(QueryBuilders.matchQuery("all", key));
        }

        // 2.2.分頁
        int page = params.getPage();
        int size = params.getSize();
        request.source().from((page - 1) * size).size(size);

        // 3.發送請求
        SearchResponse response = client.search(request, RequestOptions.DEFAULT);
        // 4.解析響應
        return handleResponse(response);
    } catch (IOException e) {
        throw new RuntimeException(e);
    }
}

// 結果解析
private PageResult handleResponse(SearchResponse response) {
    // 4.解析響應
    SearchHits searchHits = response.getHits();
    // 4.1.擷取總條數
    long total = searchHits.getTotalHits().value;
    // 4.2.文檔數組
    SearchHit[] hits = searchHits.getHits();
    // 4.3.周遊
    List<HotelDoc> hotels = new ArrayList<>();
    for (SearchHit hit : hits) {
        // 擷取文檔source
        String json = hit.getSourceAsString();
        // 反序列化
        HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
		// 放入集合
        hotels.add(hotelDoc);
    }
    // 4.4.封裝傳回
    return new PageResult(total, hotels);
}
           

4.2.酒店結果過濾

需求：添加品牌、城市、星級、價格等過濾功能

4.2.1.需求分析

包含的過濾條件有：

• brand：品牌值
• city：城市
• minPrice~maxPrice：價格範圍
• starName：星級

我們需要做兩件事情：

• 修改請求參數的對象RequestParams，接收上述參數
• 修改業務邏輯，在搜尋條件之外，添加一些過濾條件

4.2.2.修改實體類

修改在

cn.itcast.hotel.pojo

包下的實體類RequestParams：

@Data
public class RequestParams {
    private String key;
    private Integer page;
    private Integer size;
    private String sortBy;
    // 下面是新增的過濾條件參數
    private String city;
    private String brand;
    private String starName;
    private Integer minPrice;
    private Integer maxPrice;
}
           

4.2.3.修改搜尋業務

在HotelService的search方法中，隻有一個地方需要修改：requet.source().query( … )其中的查詢條件。

在之前的業務中，隻有match查詢，根據關鍵字搜尋，現在要添加條件過濾，包括：

• 品牌過濾：是keyword類型，用term查詢
• 星級過濾：是keyword類型，用term查詢
• 價格過濾：是數值類型，用range查詢
• 城市過濾：是keyword類型，用term查詢

多個查詢條件組合，肯定是boolean查詢來組合：

• 關鍵字搜尋放到must中，參與算分
• 其它過濾條件放到filter中，不參與算分

因為條件建構的邏輯比較複雜，這裡先封裝為一個函數：

buildBasicQuery的代碼如下：

private void buildBasicQuery(RequestParams params, SearchRequest request) {
    // 1.建構BooleanQuery
    BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
    // 2.關鍵字搜尋
    String key = params.getKey();
    if (key == null || "".equals(key)) {
        boolQuery.must(QueryBuilders.matchAllQuery());
    } else {
        boolQuery.must(QueryBuilders.matchQuery("all", key));
    }
    // 3.城市條件
    if (params.getCity() != null && !params.getCity().equals("")) {
        boolQuery.filter(QueryBuilders.termQuery("city", params.getCity()));
    }
    // 4.品牌條件
    if (params.getBrand() != null && !params.getBrand().equals("")) {
        boolQuery.filter(QueryBuilders.termQuery("brand", params.getBrand()));
    }
    // 5.星級條件
    if (params.getStarName() != null && !params.getStarName().equals("")) {
        boolQuery.filter(QueryBuilders.termQuery("starName", params.getStarName()));
    }
	// 6.價格
    if (params.getMinPrice() != null && params.getMaxPrice() != null) {
        boolQuery.filter(QueryBuilders
                         .rangeQuery("price")
                         .gte(params.getMinPrice())
                         .lte(params.getMaxPrice())
                        );
    }
	// 7.放入source
    request.source().query(boolQuery);
}
           

4.3.我周邊的酒店

需求：我附近的酒店

4.3.1.需求分析

在酒店清單頁的右側，有一個小地圖，點選地圖的定位按鈕，地圖會找到你所在的位置

并且，在前端會發起查詢請求，将你的坐标發送到服務端

4.3.2.修改實體類

修改在

cn.itcast.hotel.pojo

包下的實體類RequestParams：

package cn.itcast.hotel.pojo;

import lombok.Data;

@Data
public class RequestParams {
    private String key;
    private Integer page;
    private Integer size;
    private String sortBy;
    private String city;
    private String brand;
    private String starName;
    private Integer minPrice;
    private Integer maxPrice;
    // 我目前的地理坐标
    private String location;
}

           

4.3.3.距離排序API

我們以前學習過排序功能，包括兩種：

• 普通字段排序
• 地理坐标排序

我們隻講了普通字段排序對應的java寫法。地理坐标排序隻學過DSL文法，如下：

GET /indexName/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "price": "asc"  
    },
    {
      "_geo_distance" : {
          "FIELD" : "緯度，經度",
          "order" : "asc",
          "unit" : "km"
      }
    }
  ]
}
           

對應的java代碼示例：

4.3.4.添加距離排序

完整代碼：

@Override
public PageResult search(RequestParams params) {
    try {
        // 1.準備Request
        SearchRequest request = new SearchRequest("hotel");
        // 2.準備DSL
        // 2.1.query
        buildBasicQuery(params, request);

        // 2.2.分頁
        int page = params.getPage();
        int size = params.getSize();
        request.source().from((page - 1) * size).size(size);

        // 2.3.排序
        String location = params.getLocation();
        if (location != null && !location.equals("")) {
            request.source().sort(SortBuilders
                                  .geoDistanceSort("location", new GeoPoint(location))
                                  .order(SortOrder.ASC)
                                  .unit(DistanceUnit.KILOMETERS)
                                 );
        }

        // 3.發送請求
        SearchResponse response = client.search(request, RequestOptions.DEFAULT);
        // 4.解析響應
        return handleResponse(response);
    } catch (IOException e) {
        throw new RuntimeException(e);
    }
}
           

4.3.5.排序距離顯示

排序完成後，頁面還要擷取我附近每個酒店的具體距離值，這個值在響應結果中是獨立的：

是以，我們在結果解析階段，除了解析source部分以外，還要得到sort部分，也就是排序的距離，然後放到響應結果中。

我們要做兩件事：

• 修改HotelDoc，添加排序距離字段，用于頁面顯示
• 修改HotelService類中的handleResponse方法，添加對sort值的擷取

1）修改HotelDoc類，添加距離字段

package cn.itcast.hotel.pojo;

import lombok.Data;
import lombok.NoArgsConstructor;


@Data
@NoArgsConstructor
public class HotelDoc {
    private Long id;
    private String name;
    private String address;
    private Integer price;
    private Integer score;
    private String brand;
    private String city;
    private String starName;
    private String business;
    private String location;
    private String pic;
    // 排序時的 距離值
    private Object distance;

    public HotelDoc(Hotel hotel) {
        this.id = hotel.getId();
        this.name = hotel.getName();
        this.address = hotel.getAddress();
        this.price = hotel.getPrice();
        this.score = hotel.getScore();
        this.brand = hotel.getBrand();
        this.city = hotel.getCity();
        this.starName = hotel.getStarName();
        this.business = hotel.getBusiness();
        this.location = hotel.getLatitude() + ", " + hotel.getLongitude();
        this.pic = hotel.getPic();
    }
}

           

2）修改HotelService中的handleResponse方法

4.4.酒店競價排名

需求：讓指定的酒店在搜尋結果中排名置頂

4.4.1.需求分析

要讓指定酒店在搜尋結果中排名置頂

我們之前學習過的function_score查詢可以影響算分，算分高了，自然排名也就高了。而function_score包含3個要素：

• 過濾條件：哪些文檔要加分
• 算分函數：如何計算function score
• 權重方式：function score 與 query score如何運算

這裡的需求是：讓指定酒店排名靠前。是以我們需要給這些酒店添加一個标記，這樣在過濾條件中就可以根據這個标記來判斷，是否要提高算分。

比如，我們給酒店添加一個字段：isAD，Boolean類型：

• true：是廣告
• false：不是廣告

這樣function_score包含3個要素就很好确定了：

• 過濾條件：判斷isAD 是否為true
• 算分函數：我們可以用最簡單暴力的weight，固定權重值
• 權重方式：可以用預設的相乘，大大提高算分

是以，業務的實作步驟包括：

1. 給HotelDoc類添加isAD字段，Boolean類型
2. 挑選幾個你喜歡的酒店，給它的文檔資料添加isAD字段，值為true
3. 修改search方法，添加function score功能，給isAD值為true的酒店增權重重

4.4.2.修改HotelDoc實體

給

cn.itcast.hotel.pojo

包下的HotelDoc類添加isAD字段

4.4.3.添加廣告标記

接下來，我們挑幾個酒店，添加isAD字段，設定為true：

POST /hotel/_update/339952837
{
    "doc": {
        "isAD": true
    }
}
POST /hotel/_update/200215365
{
    "doc": {
        "isAD": true
    }
}
POST /hotel/_update/728604
{
    "doc": {
        "isAD": true
    }
}
POST /hotel/_update/39106
{
    "doc": {
        "isAD": true
    }
}
POST /hotel/_update/2056105938
{
  "doc": {
    "isAD": true
  }
}
           

4.4.4.添加算分函數查詢

接下來我們就要修改查詢條件了。之前是用的boolean 查詢，現在要改成function_socre查詢。

function_score查詢結構如下：

對應的JavaAPI如下：

可以将之前寫的boolean查詢作為原始查詢條件放到query中，接下來就是添加過濾條件、算分函數、權重模式了。是以原來的代碼依然可以沿用。

修改

cn.itcast.hotel.service.impl

包下的

HotelService

類中的

buildBasicQuery

方法，添加算分函數查詢：

private void buildBasicQuery(RequestParams params, SearchRequest request) {
    // 1.建構BooleanQuery
    BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
    // 關鍵字搜尋
    String key = params.getKey();
    if (key == null || "".equals(key)) {
        boolQuery.must(QueryBuilders.matchAllQuery());
    } else {
        boolQuery.must(QueryBuilders.matchQuery("all", key));
    }
    // 城市條件
    if (params.getCity() != null && !params.getCity().equals("")) {
        boolQuery.filter(QueryBuilders.termQuery("city", params.getCity()));
    }
    // 品牌條件
    if (params.getBrand() != null && !params.getBrand().equals("")) {
        boolQuery.filter(QueryBuilders.termQuery("brand", params.getBrand()));
    }
    // 星級條件
    if (params.getStarName() != null && !params.getStarName().equals("")) {
        boolQuery.filter(QueryBuilders.termQuery("starName", params.getStarName()));
    }
    // 價格
    if (params.getMinPrice() != null && params.getMaxPrice() != null) {
        boolQuery.filter(QueryBuilders
                         .rangeQuery("price")
                         .gte(params.getMinPrice())
                         .lte(params.getMaxPrice())
                        );
    }

    // 2.算分控制
    FunctionScoreQueryBuilder functionScoreQuery =
        QueryBuilders.functionScoreQuery(
        // 原始查詢，相關性算分的查詢
        boolQuery,
        // function score的數組
        new FunctionScoreQueryBuilder.FilterFunctionBuilder[]{
            // 其中的一個function score 元素
            new FunctionScoreQueryBuilder.FilterFunctionBuilder(
                // 過濾條件
                QueryBuilders.termQuery("isAD", true),
                // 算分函數
                ScoreFunctionBuilders.weightFactorFunction(10)
            )
        });
    request.source().query(functionScoreQuery);
}