多易教育KAFKA实战(1)-KAFKA集群安装和shell客户端

注意kafka的安装需要依赖Zookeeper集群 ,所以安装kafka之前先安装zookeeper!

zookeeper安装

• 上传安装包
• 解压

    tar -zxvf zookeeper-3.4.6.tar.gz

• 修改配置文件

  （1）进入配置文件目录

 cd /usr/apps/zookeeper-3.4.6/conf

  （2）修改配置文件名称

 mv  zoo_sample.cfg   zoo.cfg

  （3）编辑配置文件

     vi zoo.cfg

     dataDir=/usr/apps/data/zkdata

     # Set to "0" to disable auto purge feature

     #autopurge.purgeInterval=1

     server.1=linux01:2888:3888

     server.2=linux02:2888:3888

     server.3=linux03:2888:3888

• 创建数据目录

    mkdir -p /usr/apps/data/zkdata

• 分别在各个节点的数据存储目录中，生成一个myid文件，内容为它的id

     echo 1 > /usr/apps/data/zkdata/myid

     echo 2 > /usr/apps/data/zkdata/myid

     echo 3 > /usr/apps/data/zkdata/myid

• 分发安装包

    scp -r zookeeper-3.4.6 linux02:/usr/apps/  单独分发

• 配置环境变量

    vi /etc/profile

    #ZOOKEEPER_HOME

    export ZOOKEEPER_HOME=/usr/apps/zookeeper-3.4.6

    export PATH=$PATH:$ZOOKEEPER_HOME/bin

      source /etc/profile

      注意：还需要分发环境变量

• zookeeper集启停群

    bin/zkServer.sh start   zk服务启动

    bin/zkServer.sh status  zk查看服务状态

    bin/zkServer.sh stop    zk停止服务

1. 脚本启停

1. 脚本启动

#!/bin/bash

for i in 1 2 3

do

ssh linux0${i} "source /etc/profile;/usr/apps/zookeeper-3.4.6/bin/zkServer.sh $1"

done

安装kafka集群

• 上传安装包
• 解压

    tar -zxvf kafka_2.11-2.2.2.tgz

• 修改配置文件

1. 进入配置文件目录

    cd /usr/apps/kafka_2.11-2.2.2/config

1. 编辑配置文件

     vi server.properties

      #为依次增长的：0、1、2、3、4，集群中唯一 id

      broker.id=0  

       #数据存储的⽬录

       log.dirs=/usr/apps/data/kafkadata

       #指定zk集群地址

      zookeeper.connect=lx01:2181,lx02:2181,lx03:2181

• 分发安装包

for i in {2..3}; do scp -r kafka_2.11-2.2.2 linux0$i:$PWD;  done

• 配置环境变量

 vi /etc/profile

#ZOOKEEPER_HOME

export ZOOKEEPER_HOME=/usr/apps/kafka_2.11-2.2.2

export PATH=$PATH:$ZOOKEEPER_HOME/bin

source /etc/profile

注意：还需要分发环境变量

1. 分别在linux02和linux03上修改配置文件/usr/apps/kafka_2.11-2.2.2/server.properties中的broker.id=1,broker.id=2（broker.id不能重复）

• 启停集群（在各个节点上启动）

bin/kafka-server-start.sh -daemon /usr/apps/kafka_2.11-2.2.2/config/server.properties

  启动集群

bin/kafka-server-stop.sh stop

shell客户端操作

创建topic

./kafka-topics.sh --zookeeper linux01:2181,linux02:2181,linux03:2181 --create --replication-factor 3 --partitions 3 --topic test

参数解释：

--replication-factor  副本数量

--partitions 分区数量

--topic topic名称

查看当前服务器中的所有topic

 ./kafka-topics.sh --zookeeper linux01:2181,linux02:2181,linux03:2181 --list

删除topic

./kafka-topics.sh --zookeeper linux01:2181,linux02:2181,linux03:2181 --delete --topic test

查看某个topic的详情

./kafka-topics.sh --zookeper linux01:2181,linux02:2181,linux03:2181 --describe --topic test

修改分区数

/kafka-topics.sh --zookeeper xu01:2181 --alter --topic test --partitions 5

producter

./kafka-console-producer.sh --broker-list xu01:9092 --topic test

>hello word

>kafka

>nihao

Consumer

./kafka-console-consumer.sh --bootstrap-server  h1:9092  --from-beginning --topic test

# 指定要消费的分区，和要消费的起始offset

 ./kafka-console-consumer.sh --bootstrap-server h1:9092,h2:9092,h3:9092 --topic doit14 --offset 2 --partition 0