天天看点

ElasticSearch 5.2 常用概念

有一些概念是Elasticsearch的核心。从一开始就理解这些概念将帮助简化学习过程。

近实时(Near Realtime NRT)

近实时(NRT)编辑 Elasticsearch是一个近乎实时的搜索平台。这意味着从索引文档到可搜索文档的时间有一点延迟(通常是一秒)。

集群(Cluster)

集群是一个或多个节点(服务器)的集合,它们共同保存整个数据,并提供跨所有节点的联合索引和搜索功能。集群由唯一名称标识,默认情况下为“elasticsearch”。此名称非常重要,因为只有当节点按照名称设置为加入集群时,节点才能成为集群的一部分。

确保不要在不同的环境中重用相同的集群名称,否则最终会导致节点加入错误的集群。

注意,拥有一个只包含单个节点的集群是完全正常的。

节点(Node)

节点是作为集群一部分的单个服务器,由名称标识。默认情况下,该名称是在启动时分配给节点的随机通用唯一标识符(UUID)。

可以将节点配置为按集群名称加入特定集群。默认情况下,每个节点都设置为加入一个名为 “elasticsearch“ 的集群,这意味着如果网络上启动了许多节点并且假设它们可以相互发现 - 它们将自动形成并加入一个名为 “elasticsearch” 的集群。

在单个集群中,可以拥有任意数量的节点。此外,如果网络上当前没有其他Elasticsearch节点正在运行,则默认情况下启动单个节点将形成一个名为 “elasticsearch” 的新单节点集群。

Index

索引是具有某些类似特征的文档集合。例如:客户数据的索引,产品目录索引以及订单数据索引。索引由名称标识(必须全部为小写,否则会创建失败噢!),并且此名称用于在对其中的文档执行索引、搜索、更新和删除操作时引用索引。

在单个集群中,可以根据需要定义任意数量的索引。

Type

在一个索引(Index)中,可以定义一个或多个类型。类型是索引的逻辑类别,其语义完全取决于你。例如,假设您运行一个博客平台并将所有数据存储在一个索引中。在此索引中,您可以为用户数据定义类型,为博客数据定义另一种类型,为评论数据定义另一种类型。

Document

document是基本信息单元。例如,您可以为单个客户提供document,为单个产品提供另一个document。该document以JSON(JavaScript Object Notation)表示。

请注意,尽管document实际上位于index中,但实际上必须将document分配给index中的type。

Shards & Replicas

index可能存储大量可能超过单个节点的硬件限制的数据。例如,占用1TB磁盘空间的十亿个文档的单个index可能不适合单个节点的磁盘,或者可能太慢而无法单独从单个节点提供搜索请求。

为了解决这个问题,Elasticsearch提供了将索引细分为多个称为分片(shard)的功能。创建index时,只需定义所需的分片数即可。每个分片本身都是一个功能齐全且独立的“index”,可以托管在集群中的任何节点上。

分片很重要,主要有两个原因:

  • 它允许水平分割/缩放内容量
  • 它允许跨分片(可能在多个节点上)分布和并行化操作,从而提高性能/吞吐量

分片的分布方式以及如何将文档聚合回搜索请求的机制完全由Elasticsearch管理,对用户来说是透明的。

在任何时候都可以预期出现故障的网络环境中,非常有用,强烈建议使用故障转移机制,以防分片、节点以某种方式脱机或因任何原因消失。为此,Elasticsearch允许将索引分片的一个或多个副本制作成所谓的副本分片(replica shards)。

复制很重要,主要有两个原因:

  • 它在分片、节点出现故障时提供高可用性。因此,请务必注意,replica shards永远不会在与从中复制的primary shards相同的节点上分配。
  • 它允许扩展搜索量/吞吐量,因为可以在所有副本上并行执行搜索。

每个index可以拆分为多个分片。索引也可以复制为零(表示没有副本)或更多。复制后,每个索引都将具有主分片(原始分片)和副本分片(主分片的副本)。

可以在创建索引时为每个索引定义分片和副本的数量。创建索引后,可以随时动态更改副本数,但不能在事后更改分片数。

默认情况下,Elasticsearch中的每个索引都分配了5个主分片和1个副本分片,这意味着如果集群中至少有两个节点,则索引将包含5个主分片和另外5个副本分片(1个完整副本),总计为每个索引10个分片。

每个 ElasticSearch 分片都是 Lucene 的Index,单个 Lucene index中可以包含最多 2,147,483,519 ( 即 Integer.MAX_VALUE - 128) 个文档。

继续阅读