一、前提條件和環境
1、環境:CDH5.16.x|Centos7.x|scala 2.11
2、CM和CDH環境已經搭建完成。在CDH上內建Kafka,要求用CDH上的Zookeeper管理Kafka。
二、相關軟體下載下傳
cloudera官網kafka:
https://docs.cloudera.com/documentation/kafka/latest/topics/kafka_packaging.html
簡要說明:例如kafka_2.11-2.2.1-kafka-4.1.0.jar
2.11 scala 版本
2.2.1 apache kafka版本
4.1.0 cdk版本
下載下傳下面的三個檔案(Linux版本是6系列,選擇el6,7系列選擇el7)
1、在/var/www/html/(http服務的預設目錄)建立檔案夾kafka_parcel。
mkdir kafka_parcel
2、将上面的三個檔案上傳到該目錄下,并将KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha1重命名為KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha。
三、安裝過程
1、添加Kafka服務
2、安裝Parcel
配置:下載下傳-》配置設定-》激活
Kafka parcel激活完成!
3、叢集添加kafka服務安裝:
Missing required value: Destination Broker List
Missing required value: Source Broker List
可按如下方法配置即可:
a. 填寫Source Brokers List
填寫Kafka Broker所在節點構成的清單(用逗号分隔),如下(所有節點部署了Kafka Broker):
master:9092,slave1:9092,slave2:9092
b. 填寫Destination Brokers List
若添加了Kafka MirrorMaker,則可填寫其所在節點構成的清單;若未添加Kafka MirrorMaker,可填寫任意伺服器即可,如下:
master:9092,slave1:9092,slave2:9092
或:example.com:9092
完成配置後繼續下一步,完成安裝!
4、whitelist must be specified報錯(配置了Kafka MirrorMaker角色),在配置界面搜尋whitelist添加機器:
四、測試Kafka
cd /opt/cloudera/parcels/KAFKA/bin/
./kafka-topics --create --zookeeper bigdata001:2181 --replication-factor 3 --partitions 3 --topic zyl_test
模拟生産者
./kafka-console-producer --broker-list bigdata001:9092 --topic zyl_test
模拟消費者
./kafka-console-consumer --bootstrap-server bigdata001:9092 --topic zyl_test --from-beginning