zookeeper和kafka集群安装

1. 下载zookeeper

   官网地址：https://zookeeper.apache.org/

2. 下载kafka

   官网地址：http://kafka.apache.org/

3. 将下载好后的文件上传到服务器上，我这开了三台虚拟机，将文件上传到3台虚拟机上
4. 解压zookeeper

   # -C 后面对应自己的安装目录，可以自定
   tar -zxvf zookeeper-3.4.14.tar.gz -C /home/mw/
              

5. 修改zookeeper的配置文件

   # 进入 zookeeper的配置目录下
   cd /home/mw/zookeeper-3.4.14/conf
   # 将原有的配置文件复制一份
   cp zoo_sample.cfg zoo.cfg
   # 修改配置文件
   vim zoo.cfg
              

   zoo.cfg的配置文件

   tickTime=2000
   initLimit=10
   syncLimit=5
   # 需要修改为自己的配置地址，以后生成的zookeeper的数据文件就在这个目录下
   dataDir=/home/mw/data/zookeeper
   clientPort=2181
   
   # 我配置的是三台集群，server后面的数字(myid)不可以重复，并且ip和myid必须一对一，相匹配
   server.1=192.168.231.130:2888:3888
   server.2=192.168.231.131:2888:3888
   server.3=192.168.231.132:2888:3888
              

6. 创建数据目录，并且在数据目录下创建对应的miyd

   # 创建目录文件
   mkdir -p /home/mw/data/zookeeper
   
   # 创建myid，并将对应数字写入(另外两台服务器对应的就是2和3)
   echo 1 > /home/mw/data/zookeeper/myid
              

7. 启动zookeeper

   # 进入zookeeper的bin目录下,启动zookeeper
   ./zkServer.sh start
   
   # 将三台服务器的zookeeper都启动之后，观察对应的zookeeper属性
   ./zkServer.sh status
              

8. 解压kafka，和解压zookeeper一样
9. 修改kafka的配置文件

   # 进入kafka的配置文件目录下
   cd /home/mw/kafka_2.12-2.3.0/config
   
   # 修改配置文件
   vim server.properties
              

   server.properties需要修改的地方

   # 集群部署，需要配置唯一一个broker.id，第一台为0，后面的依次加1
   broker.id=0
   
   # 内网监听的地址
   listeners=PLAINTEXT://192.168.231.130:9092
   
   # 外网监听的地址，可以不配置，会默认使用内网的地址
   advertised.listeners=PLAINTEXT://192.168.231.130:9092
   
   # kafka的日志文件，也需要自己创建对应的目录
   log.dirs=/home/mw/data/kafka/kafka-logs
   
   # 需连接的zookeeper的地址，我这zookeeper是集群部署，中间使用,分隔
   zookeeper.connect=192.168.231.130:2181,192.168.231.131:2181,192.168.231.132:9092
              

10. 启动kafka

    # 进入到kafka目录
    cd /home/mw/kafka_2.12-2.3.0
    
    # 前台启动kafka
    bin/kafka-server-start.sh config/server.properties
    
    # 后台启动kafka
    bin/kafka-server-start.sh -daemon config/server.properties
               

11. 查看每台服务器上的进程

    ps -ef | grep zookeeper
    
    ps -ef  | grep kafka
               

    如果都有对应的进程，则zookeeper和kafka的集群安装完成。