天天看点

【硬刚ClickHouse】Flink 电商实时数仓(二十七):ClickHouse基础(六)使用基础(3)副本

本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ClickHouse部分补充。

  副本的目的主要是保障数据的高可用性,即使一台 ClickHouse 节点宕机,那么也可以从其他服务器获得相同的数据。

6.1 副本写入流程

【硬刚ClickHouse】Flink 电商实时数仓(二十七):ClickHouse基础(六)使用基础(3)副本

6.2 配置步骤

➢ 启动 zookeeper 集群

➢ 在hadoop202的/etc/clickhouse-server/config.d目录下创建一个名为metrika.xml的配置文件,内容如下:

➢ 同步到 hadoop203 和 hadoop204 上

sudo /home/atguigu/bin/xsync /etc/clickhouse-server/config.d/metrika.xml

➢ 在 hadoop202 的/etc/clickhouse-server/config.xml 中增加

<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from>

【硬刚ClickHouse】Flink 电商实时数仓(二十七):ClickHouse基础(六)使用基础(3)副本

sudo /home/atguigu/bin/xsync /etc/clickhouse-server/config.xml

➢ 分别在 hadoop202 和 hadoop203 上启动 ClickHouse 服务

注意:因为修改了配置文件,如果以前启动了服务需要重启

[atguigu@hadoop202|3 ~]$ sudo systemctl start clickhouse-server

【硬刚ClickHouse】Flink 电商实时数仓(二十七):ClickHouse基础(六)使用基础(3)副本

  注意:我们演示副本操作只需要在 hadoop202 和 hadoop203 两台服务器即可,上面的操作,我们 hadoop204 可以你不用同步,我们这里为了保证集群中资源的一致性,做了

同步。

➢ 在 hadoop202 和 hadoop203 上分别建表

副本只能同步数据,不能同步表结构,所以我们需要在每台机器上自己手动建表

◼ hadoop202

◼ hadoop203

◼ 参数解释

ReplicatedMergeTree 中,

第一个参数是分片的 zk_path 一般按照: /clickhouse/table/{shard}/{table_name} 的格

式写,如果只有一个分片就写 01 即可。

第二个参数是副本名称,相同的分片副本名称不能相同。

➢ 在 hadoop202 上执行 insert 语句

【硬刚ClickHouse】Flink 电商实时数仓(二十七):ClickHouse基础(六)使用基础(3)副本

➢ 在 hadoop203 上执行 select,可以查询出结果,说明副本配置正确