elasticsearch 多字段特性及Mapping中配置自定义Analyzer

多字段特性及Mapping中配置自定义Analyzer

PUT logs/_doc/1

{“level”:“DEBUG”}

我们在创建索引的时候，可以创建多字段类型，通过多字段类型可以进行一些精确匹配，也可以使用不同的analyzer分词

GET /logs/_mapping

exact values(keyword) 精确值 full text(text) 全文检索 exact values 就是不需要进行分词

character filters 特性过滤(当分词后设置特定 的过滤方式)

tokenizer 分词器

position 位置 offset 偏移量

token filters 过滤器(设置一下停用词，大小写转换，近义词等)

可以通过_analyze对于文本的分词结果进行测试

指定tokenizer为keyword char_filter 为html_strip 则表示，按照keyword进行分词，也就是不做什么处理，将测试的值当成一个词整体 原样输出 并去除标签

POST _analyze
{
  "tokenizer": "keyword",
  "char_filter": ["html_strip"],
  "text": "<b>hello world</b>"
}
           

将词作为文件路径进行分词

POST _analyze

{

“tokenizer”:“path_hierarchy”,

“text”:"/user/raven/a/b/c/d/e"

}

也可以使用char_filter 进行一些特定的替换过滤

使用 standard进行分词 设置了特定的character filters 将- 替换为了_

POST _analyze
{
  "tokenizer" : "standard",
  "char_filter" : [
    {
      "type" : "mapping",
      "mappings" : ["- => _"]
    }
  ],
  "text": "123-456, I-test! test-990 650-555-1234"
}
           

white space and snowball 使用空格进行分词，并且将一些没有意义的词进行剔除停用 通过snowball将词还原为最初的样子

GET _analyze
{
  "tokenizer": "whitespace",
  "filter": ["stop","snowball"],
  "text": ["The gilrs in China are playing this game!"]
}

GET _analyze
{
  "tokenizer": "whitespace",
  "filter": ["stop","snowball"],
  "text": ["The rain in Spain falls mainly on the plain."]
}
           

lowercase 将词转为小写，又因为存在stop 所以the会被剔除

GET _analyze
{
  "tokenizer": "whitespace",
  "filter": ["lowercase","stop","snowball"],
  "text": ["The gilrs in China are playing this game!"]
}
           

正则表达式

GET _analyze
{
  "tokenizer": "standard",
  "char_filter": [
    {
      "type": "pattern_replace",
      "pattern": "http://(.*)",
      "replacement": "$1"
    }
  ],
  "text": "http://www.elastic.co"
}
           

创建一个自定义的分词器

创建一个自定义的分词器，通过settings进行设置，取名为my_custom_analyzer 指定他拥有一个特定的分词过滤方式，指定他有一个特点的分词器，指定他有特定的过滤器 自定义的分词器中指定他使用ik分词器，自定义的特性过滤器中取出了标签，自定义的过滤器中，过滤了英语中的无效词

PUT my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_custom_analyzer": {
          "type": "custom",
          "char_filter":"my_charfilter",
          "tokenizer": "my_tokenizer",
          "filter": [
            "lowercase",
            "my_stop"
          ]
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "ik_smart"
        }
      },
      "char_filter": {
        "my_charfilter":{
          "type": "html_strip"
        }
      },  
      "filter": {
        "my_stop": {
          "type": "stop",
          "stopwords": "_english"
        }
      }
    }
  }
}
           

测试自定义的分词器 他去除了标签和 英语中的辅助词。并且按照ik分词器的细粒度分词，进行了分词。

POST my_index/_analyze
{
  "analyzer": "my_custom_analyzer",
  "text": "我在北京天安门看<a>天空</a> is very happy ,and you？"
}