CDH叢集內建kafka

搭建要求：

1.CDH環境已經搭建成功，在CDH上搭建kafka。要求用CDH上zookeeper管理kafka而不用kafka自帶的zookeeper

2.kafka_2.11-0.8.2.1.tgz已經上傳到kafka叢集環境中

搭建步驟

1. 主機操作

改動hosts

10.10.0.11 s1-1

10.10.0.12 s1-2

10.10.0.13 s1-3

10.10.0.14 s1-4

10.10.0.15 s2-1

10.10.0.16 s2-2

10.10.0.17 s2-3

10.10.0.18 s2-4

10.10.0.19 s3-1

10.10.0.20 s3-2

10.10.0.21 s3-3

10.10.0.22 s3-4

10.10.0.23 s4-1

10.10.0.24 s4-2

2. zookeeper操作(13/17/21server)

1.cd /usr/lib/zookeeper/conf/

2.vi zoo.cfg

3.加入下面内容

#kafka server

# zookeeper cluster

server.1=s1-3:2888:3888

server.2=s2-3:2888:3888

server.3=s3-3:2888:3888

4.每台機器上生成myid:

13:

$ echo "1" >/var/lib/zookeeper/myid

17:

$ echo "2" >/var/lib/zookeeper/myid

21:

$ echo "3" >/var/lib/zookeeper/myid

3. kafka操作(12/16/20server)

1.cd /usr/lib/kafka

2.tar -zxvf kafka_2.11-0.8.2.1.tgz

3.cd kafka_2.11-0.8.2.1/config/

4.vi server.properties

broker.id=1,其它兩個為2,3

port=9092 其它兩個為9093,9094

hostname=10.10.0.12，其它兩個為10.10.0.16。10.10.0.20

zookeeper.connect=10.10.0.13:2181,10.10.0.17:2181,10.10.0.21:2181

4.cdh管理界面重新啟動zookeeper

依次關閉yarn。HBase，HDFS。zookeeper，然後反順序開啟

5啟動kafka

12/16/20

./bin/kafka-server-start.shconfig/server.properties &

6.測試

1.jps顯示有kakka

2.  建立Topic