Elasticsearch系列-基本概念一、索引二、文档三、Type四、比较五、REST API六、集群七、节点八、分片（Primary Shard & Replica Shard）

Elasticsearch系列-基本概念

• 一、索引
• 二、文档
• 三、Type
• 四、比较
• 五、REST API
• 六、集群
• 七、节点
• • Master-eligible nodes和Master node
  • Data Node & Coordinating Node
  • 其他的节点类型
  • 配置节点类型
• 八、分片（Primary Shard & Replica Shard）

一、索引

索引就是相似特征结构的文档的集合，比如可以将客户端日志创建为一个索引，还可以将订单数据创建为一个索引。每个索引都必须有唯一的命名（命令规则必须全部为小写）。可以通过这个名称对索引进行索引，搜索、更新、删除等操作。索引体现了逻辑空间的概念：每个索引都有自己的Mapping定义，用于定义包含的文档的字段名和字段类型。Shard体现了物理空间的概念：索引中的数据分散在Shard上。每个索引包含两部分结构 Mapping与Setting。Mapping用来定义文档字段的类型。Setting用来定义不同的数据分布。

二、文档

• 文档是ES中搜索数据的最小单位。
• 文档会被序列化成JSON格式，保存在ES中。JSON对象由字段组成，每个字段都有对应的字段类型。如：字符串、数值、布尔、日期、二进制、范围类型。
• 每个文档都有一个unique id，id可以自己指定，也可以有ES自动生成。

• 文档的元数据：用于标注文档的相关信息。

  _index：文档所属的索引名

  _type：文档所属的类型名

  _id：文档唯一id

  _source：文档的原始JSON数据

  _all：整合所有字段内容到该字段，已被废除

  _version：文档的版本信息

  _score：相关性打分

三、Type

在7.0之前，一个Index可以设置多个Types。7.0开始，一个索引只能创建一个Type - “_doc”。

四、比较

RDBMS（关系型数据库）	ES
Table	Index（Type）
Row	Document
Column	Filed
Schema	Mapping
SQL	DSL

五、REST API

ES提供了相关REST API来查询索引以及文档相关信息。

在kibana命令行工具操作：

//查看索引相关信息
GET kibana_sample_data_logs

//查看索引的文档总数
GET kibana_sample_data_logs/_count

//查看前10条文档，了解文档样式
GET kibana_sample_data_logs/_search

......

           

更多API可以参照ES REST APIS官方文档

六、集群

集群是一个或者多个节点的集合，并能将数据整合到一起，提供整合的索引并且支持跨节点搜索能力。一个集群通过命名集群名字来保证唯一。默认集群名叫“elasticsearch”。当节点需要加入集群时，只需要通过设置链接集群的名称就可以加入。

七、节点

节点就是一个单独的服务，是集群中的一部分。可以存储数据，可以参与集群索引和搜索能力。每个节点启动后都会随机分配一个唯一id，保存在data目录下。每个节点都有自己的名称，可以通过配置文件进行配置，也可以通过启动参数配置 -E node,name=node-1 来指定。节点是一个ES的实例。本质上就是一个Java进程。

Master-eligible nodes和Master node

• 每个节点启动后，默认就是一个Master eligible节点。可以设置 node.master:false 禁止。
• Master-eligible节点可以参加选主流程，成为Master节点。
• 当第一个节点启动时候，它会将自己选举成Master节点。
• 每个节点上都保存了集群的状态，只有Master节点才能修改集群的状态信息。集群状态维护了一个集群中，必要的信息：
  • 所有的节点信息。
  • 所有的索引和其相关的Mapping与Setting信息。
  • 分片的路由信息。

Data Node & Coordinating Node

• Data Node ：可以保存数据的节点。负责保存分片数据。在数据扩展上起到了至关重要的作用。
• Coordinating Node：负责接受Client的请求，将请求分发到合适的节点，最终把结果汇集到一起。每个节点默认都起到了Coordinating Node的职责。

其他的节点类型

• Hot & Warm Node：不同硬件配置的Data Node，用来实现Hot & Warm架构，降低集群部署的成本。
• Machine Learning Node：负责跑机器学习的Job，用来异常检测。
• Tribe Node：连接到不同的ES集群，并且支持将这些集群当成一个单独的集群处理。

配置节点类型

节点类型	配置参数	默认值
master eligible	node.master	true
data	node.data	true
ingest	node.ingest	true
coordinating only	无	每个节点默认都是coordinating节点。设置其他类型全部为false。
machine learning	node.ml	true（需enable x-pack）

八、分片（Primary Shard & Replica Shard）

• 主分片：用以解决数据水平扩展的问题。通过主分片，可以将数据分布到集群内的所有节点之上。
  • 一个分片是一个运行的Lucene的实例。
  • 主分片数在索引创建时指定，后续不允许修改，除非Reindex。
• 副本：用以解决数据高可用的问题。分片是主分片的拷贝。
  • 副本分片数，可以动态的调整。
  • 增加副本数，还可以在一定程度上提高服务的可用性（读取的吞吐）。