天天看点

Kafka学习之(六)搭建kafka集群

想要搭建kafka集群,必须具备zookeeper集群,关于zookeeper集群的搭建,在Kafka学习之(五)搭建kafka集群之Zookeeper集群搭建博客有说明。需要具备两台以上装有zookeeper的服务器,其次,稳定可靠的kafka版本,本篇使用kafka_2.11-0.9.0.1。

准备

192.168.244.131、192.168.244.133、192.168.244.134,kafka下载地址 https://archive.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz(wget下载)

创建目录并解压

我习惯把压缩包下载到/usr/local/src下,然后我把下载好的kafka tag包做了目录拷贝。

编辑配置文件

主要关注:server.properties 这个文件即可,我们可以发现在目录下:

有很多文件,这里可以发现有Zookeeper文件,我们可以根据Kafka内带的zk集群来启动,但是建议使用独立的zk集群。

上面的参数只是作为了解一下,实际搭建中需要根据场景来配置。

现在只需要对每台机器的配置文件做如下更改

启动服务

在启动kafka之前,确保每台机器的防火墙关闭,其次zookeeper集群也是启动中,确保以上条件成立然后执行命令启动kafka

创建Topic来验证是否创建成功

这是官方文档说明:http://kafka.apache.org/quickstart

在192.168.244.131上发布测试,分别观察另外两台机器。

Kafka学习之(六)搭建kafka集群
Kafka学习之(六)搭建kafka集群

topic其他说明

到这里kafka集群就搭建完了~

日志说明

默认kafka的日志是保存在/opt/kafka/kafka_2.10-0.9.0.0/logs目录下的,这里说几个需要注意的日志

server.log   ,kafka的运行日志

state-change.log ,因为kafka他是用zookeeper来保存状态,所以他可能会进行切换,切换的日志就保存在这里

controller.log ,kafka选择一个节点作为“controller”,当发现有节点down掉的时候它负责在游泳分区的所有节点中选择新的leader,这使得Kafka可以批量的高效的管理所有分区节点的主从关系。如果controller down掉了,活着的节点中的一个会备切换为新的controller.

查看zookeeper情况

进入zookeeper的项目目录

暂时完毕~