基于CentOS7搭建Kafka單機環境

基于CentOS7搭建Kafka單機環境 作者：家輝，日期：2018-04-13 CSDN部落格： http://blog.csdn.net/gobitan 摘要：本文基于CentOS7搭建了Kafka單機版，并做了簡單使用測試。

安裝準備 [1] 更新CentOS 7的系統 [[email protected] ~]# yum update -y [[email protected] ~]# reboot

[2] 安裝JDK8 略 注意：需要設定JAVA_HOME和JRE_HOME

第一步：下載下傳Kafka [1] 下載下傳 [[email protected] ~]# wget http://mirror.bit.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz

[2] 解壓 [[email protected] ~]# tar zxf kafka_2.11-1.1.0.tgz

[3] 移到/opt目錄 [[email protected] ~]# mv kafka_2.11-1.1.0 /opt/

第二步：啟動Kafka [1] 進入kafka目錄 [[email protected] ~]# cd /opt/kafka_2.11-1.1.0/

[2] 啟動zookeeper [[email protected] kafka_2.11-1.1.0]# bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

[3] 檢查zookeeper端口2181是否正常監聽 [[email protected] kafka_2.11-1.1.0]# netstat -an|grep 2181 tcp6       0      0 :::2181                 :::*                    LISTEN     

[4] 檢查kafka預設的JVM參數配置是否需要修改 Kafka預設設定1G，即"-Xmx1G -Xms1G"。如果你的測試機記憶體較低，需要修改才能成功啟動。參數配置位于：bin/kafka-server-start.sh

[5] 啟動Kafka [[email protected] kafka_2.11-1.1.0]# bin/kafka-server-start.sh config/server.properties

如果一切順利，就會看到如下啟動成功的日志： [2018-04-13 10:29:16,041] INFO [KafkaServer id=0] started (kafka.server.KafkaServer)

[6] 檢查Kafka的端口9092監聽是否正常 [[email protected] ~]# netstat -an|grep 9092 tcp6       0      0 :::9092                 :::*                    LISTEN

第三步：測試Kafka [1] 建立一個測試主題 [[email protected] ~]# cd /opt/kafka_2.11-1.1.0/ [[email protected] kafka_2.11-1.1.0]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test Created topic "test".

[2] 檢視剛剛建立的test主題 [[email protected] kafka_2.11-1.1.0]# bin/kafka-topics.sh --list --zookeeper localhost:2181 test

[3] 向剛剛建立的test主題中寫入資料 [[email protected] kafka_2.11-1.1.0]# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test >Hello, Dennis! > "Hello Dennis!"為寫入的資料。

[4] 檢視剛剛寫入的資料 另外開一個ssh tab連接配接，然後執行如下指令 [[email protected] kafka_2.11-1.1.0]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper]. Hello, Dennis!

此外，還可以在上一個ssh連接配接實時寫入資料，檢視的ssh裡可以看到實時的輸出。

參考資料： [1]  https://www.vultr.com/docs/how-to-install-apache-kafka-on-centos-7