7.Elasticsearch分布式的基本原理_Elasticsearch的基础分布式架构

1、Elasticsearch对复杂分布式机制的透明隐藏特性

Elasticsearch是一套分布式的系统，分布式是为了应对大数据量，但Elasticsearch隐藏了复杂的分布式机制

分片机制（我们之前随随便便就将一些document插入到es集群中去了，我们有没有care过数据怎么进行分片的，数据到哪个shard中去）

cluster discovery（集群发现机制，我们之前在做那个集群status从yellow转green的实验里，直接启动了第二个es进程，那个进程作为一个node自动就发现了集群，并且加入了进去，还接受了部分数据，replilca shard）

shard负载均衡（举例，假设现在有3个节点，总共有25个shard要分配到3个节点上去，es会自动进行均匀分配，以保持每个节点的均衡的读写负载请求）

shard副本，请求路由，集群扩容，shard重分配

2、Elasticsearch的垂直扩容与水平扩容

垂直扩容：采购更强大的服务器，成本非常高昂，而且会有瓶颈，假设世界上最强大的服务器容量就是10T，但是当你的总数据量达到5000T的时候，你要采购多少台最强大的服务器啊

水平扩容：业界经常采用的方案，采购越来越多的普通服务器，性能比较一般，但是很多普通服务器组织在一起，就能构成强大的计算和存储能力

普通服务器：1T，1万，100万

强大服务器：10T，50万，500万

扩容对应用程序的透明性

3、增减或减少节点时的数据rebalance

保持负载均衡，在集群中，总有某些服务器的负载会重一些，承载的数量和请求量会大一些，这个时候，如果新增或删除节点，rebalance会自动分配shard来保持服务器之间的负载均衡

4、master节点

（1）管理es集群中的元数据，比如索引的创建或删除，维护索引元数据，节点的增加或移除，维护集群的元数据

（2）默认情况下，会自动选择出一个节点作为master节点，master节点不承载所有请求，除了负责维护元数据外，和其他节点无任何区别，所以不会出现单点瓶颈

5、节点对等的分布式架构

（1）节点对等，每个节点都能接收所有的请求

（2）自动请求路由

如果请求节点没有所需数据，节点会自动路由到有数据的节点

（3）响应收集

当节点路由到有请求所需数据的节点后，会主动收集所需的数据，并返回给请求发送者

附图一张

ES的基础分布式架构