天天看點

Cloudera Manager安裝Kafka叢集

一、前提條件和環境

1、環境:CDH5.16.x|Centos7.x|scala 2.11

2、CM和CDH環境已經搭建完成。在CDH上內建Kafka,要求用CDH上的Zookeeper管理Kafka。

二、相關軟體下載下傳

cloudera官網kafka:

https://docs.cloudera.com/documentation/kafka/latest/topics/kafka_packaging.html

Cloudera Manager安裝Kafka叢集

簡要說明:例如kafka_2.11-2.2.1-kafka-4.1.0.jar

2.11 scala 版本

2.2.1 apache kafka版本

4.1.0 cdk版本

下載下傳下面的三個檔案(Linux版本是6系列,選擇el6,7系列選擇el7)

Cloudera Manager安裝Kafka叢集

1、在/var/www/html/(http服務的預設目錄)建立檔案夾kafka_parcel。

mkdir kafka_parcel

2、将上面的三個檔案上傳到該目錄下,并将KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha1重命名為KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha。

三、安裝過程

1、添加Kafka服務

Cloudera Manager安裝Kafka叢集

2、安裝Parcel

Cloudera Manager安裝Kafka叢集

配置:下載下傳-》配置設定-》激活

Cloudera Manager安裝Kafka叢集
Cloudera Manager安裝Kafka叢集

Kafka parcel激活完成!

3、叢集添加kafka服務安裝:

Cloudera Manager安裝Kafka叢集

Missing required value: Destination Broker List

Missing required value: Source Broker List

可按如下方法配置即可:

a. 填寫Source Brokers List

填寫Kafka Broker所在節點構成的清單(用逗号分隔),如下(所有節點部署了Kafka Broker):

master:9092,slave1:9092,slave2:9092

b. 填寫Destination Brokers List

若添加了Kafka MirrorMaker,則可填寫其所在節點構成的清單;若未添加Kafka MirrorMaker,可填寫任意伺服器即可,如下:

master:9092,slave1:9092,slave2:9092

或:example.com:9092

完成配置後繼續下一步,完成安裝!

4、whitelist must be specified報錯(配置了Kafka MirrorMaker角色),在配置界面搜尋whitelist添加機器:

Cloudera Manager安裝Kafka叢集

四、測試Kafka

cd /opt/cloudera/parcels/KAFKA/bin/

./kafka-topics --create --zookeeper bigdata001:2181 --replication-factor 3 --partitions 3 --topic zyl_test

模拟生産者

./kafka-console-producer --broker-list bigdata001:9092 --topic zyl_test

模拟消費者

./kafka-console-consumer --bootstrap-server bigdata001:9092 --topic zyl_test --from-beginning