kafka craft 尝鲜

1、Kafka-Kraft架构

左图为Kafka现有架构，元数据在zookeeper中，运行时动态选举controller，由controller进行Kafka集群管理。

右图为kraft模式架构（实验性），不再依赖zookeeper集群，而是用三台controller节点代替zookeeper，元数据保存在controller中，由controller直接进行Kafka集群管理。

这样做的好处有以下几个：

• Kafka不再依赖外部框架，而是能够独立运行；
• controller管理集群时，不再需要从zookeeper中先读取数据，集群性能上升；
• 由于不依赖zookeeper，集群扩展时不再受到zookeeper读写能力限制；
• controller不再动态选举，而是由配置文件规定。这样我们可以有针对性的加强controller节点的配置，而不是像以前一样对随机controller节点的高负载束手无策。

2、Kafka-Kraft集群

2.1 解压一份kafka安装包

[duo@hadoop01 software]$ tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/data/      

2.2 在hadoop01上修改config/kraft/server.properties配置文件

hadoop01：

hadoop02：

hadoop03：

2.3 分发kafka

[duo@hadoop01 data]$ xsync kafka_2.12-3.0.0/      

在hadoop02和hadoop03上需要对node.id相应改变，值需要和controller.quorum.voters对应。

• 在hadoop02和hadoop03上需要根据各自的主机名称，修改相应的advertised.Listeners地址。

2.4 初始化集群数据目录

（1）首先生成存储目录唯一ID。

[duo@hadoop01 kafka]$ bin/kafka-storage.sh random-uuid
IbY24Ky1Tjq-rUY6AMayxw      

（2）用该ID格式化kafka存储目录（三台节点）。

[duo@hadoop01 kafka]$ bin/kafka-storage.sh format -t IbY24Ky1Tjq-rUY6AMayxw -c /opt/data/kafka_2.12-3.0.0/config/kraft/server.properties

[duo@hadoop02 kafka]$ bin/kafka-storage.sh format -t IbY24Ky1Tjq-rUY6AMayxw -c /opt/data/kafka_2.12-3.0.0/config/kraft/server.properties

[duo@hadoop03 kafka]$ bin/kafka-storage.sh format -t IbY24Ky1Tjq-rUY6AMayxw -c /opt/data/kafka_2.12-3.0.0/config/kraft/server.properties      

2.5 启动kafka集群

[duo@hadoop01 kafka]$ bin/kafka-server-start.sh -daemon config/kraft/server.properties

[duo@hadoop02 kafka]$ bin/kafka-server-start.sh -daemon config/kraft/server.properties

[duo@hadoop03 kafka]$ bin/kafka-server-start.sh -daemon config/kraft/server.properties      

2.6 停止kafka集群

[duo@hadoop01 kafka]$ bin/kafka-server-stop.sh
[duo@hadoop02 kafka]$ bin/kafka-server-stop.sh
[duo@hadoop03 kafka]$ bin/kafka-server-stop.sh      

3、Kafka-Kraft集群启动停止脚本

1）在/home/duo/bin目录下创建文件kafka_craft.sh脚本文件

[duo@hadoop01 bin]$ vim kafka_craft.sh      

脚本如下：​

2）添加执行权限

[duo@hadoop01 bin]$ chmod +x kafka_craft.sh      

3）启动集群命令

[duo@hadoop01 ~]$ kafka_craft.sh start      

4）停止集群命令

[duo@hadoop01 ~]$ kafka_craft.sh stop      

4、测试kafka-craft集群

创建topic：

​

生产数据：

消费数据：