想要搭建kafka集群,必须具备zookeeper集群,关于zookeeper集群的搭建,在Kafka学习之(五)搭建kafka集群之Zookeeper集群搭建博客有说明。需要具备两台以上装有zookeeper的服务器,其次,稳定可靠的kafka版本,本篇使用kafka_2.11-0.9.0.1。
准备
192.168.244.131、192.168.244.133、192.168.244.134,kafka下载地址 https://archive.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz(wget下载)
创建目录并解压
我习惯把压缩包下载到/usr/local/src下,然后我把下载好的kafka tag包做了目录拷贝。
编辑配置文件
主要关注:server.properties 这个文件即可,我们可以发现在目录下:
有很多文件,这里可以发现有Zookeeper文件,我们可以根据Kafka内带的zk集群来启动,但是建议使用独立的zk集群。
上面的参数只是作为了解一下,实际搭建中需要根据场景来配置。
现在只需要对每台机器的配置文件做如下更改
启动服务
在启动kafka之前,确保每台机器的防火墙关闭,其次zookeeper集群也是启动中,确保以上条件成立然后执行命令启动kafka
创建Topic来验证是否创建成功
这是官方文档说明:http://kafka.apache.org/quickstart
在192.168.244.131上发布测试,分别观察另外两台机器。

topic其他说明
到这里kafka集群就搭建完了~
日志说明
默认kafka的日志是保存在/opt/kafka/kafka_2.10-0.9.0.0/logs目录下的,这里说几个需要注意的日志
server.log ,kafka的运行日志
state-change.log ,因为kafka他是用zookeeper来保存状态,所以他可能会进行切换,切换的日志就保存在这里
controller.log ,kafka选择一个节点作为“controller”,当发现有节点down掉的时候它负责在游泳分区的所有节点中选择新的leader,这使得Kafka可以批量的高效的管理所有分区节点的主从关系。如果controller down掉了,活着的节点中的一个会备切换为新的controller.
查看zookeeper情况
进入zookeeper的项目目录
暂时完毕~