1、 前言
目前Kafka 的穩定大版本是 1.0.x,加上主流的CDH (CDH 5.13.0以上)和 HDP(hdp-3.x.x) 廠商的穩定版本也是使用 Kafka 1.0.x版本,是以,個人選擇使用 Kafka-1.0.x 版本做安裝測試。
2、環境準備
版本号 | 穩定性 | 發行日期 | 下載下傳連結 | |
Jdk | 1.8.0_171 | 穩定 | 2018-04-17 | 跳轉頁面 |
Zookeeper | 3.4.5 | 穩定 | 2012-11-18 | 跳轉頁面 |
Kafka | 1.0.1 | 穩定 | 2018-03-02 | 跳轉頁面 |
3、安裝 Zookeeper
3.1 下載下傳 zookeeper
cd /Volumes/d
sudo wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz
3.2 解壓安裝
- 解壓:sudo tar -zxvf zookeeper-3.4.5.tar.gz
- 修改 zookeeper 目錄:sudo mv zookeeper-3.4.5 zookeeper
- 建立zoo.cfg檔案:
cd /Volumes/d/zookeeper/conf
sudo touch zoo.cfg
- 在 zoo.cfg 檔案中添加以下内容
tickTime=2000
dataDir=/Volumes/d/zookeeper/data
dataLogDir=/Volumes/d/zookeeper/logs
clientPort=2181
- 添加環境變量:sudo vim /etc/profile
# zookeeper
export PATH=$PATH:/Volumes/d/zookeeper/bin
生效: source /etc/profile
- 啟動 zookeeper:sudo zkServer.sh start
- 連結zookeeper: sudo zkCli.sh -server 127.0.0.1:2181
4、安裝Kafka
- 4.1下載下傳:sudu wget https://archive.apache.org/dist/kafka/1.0.1/kafka_2.11-1.0.1.tgz
- 4.2 解壓安裝:
sudo tar -zxvf kafka_2.11-1.0.1.tgz
sudo mv kafka_2.11-1.0.1 kafka
- 添加環境變量:sudo vim /etc/profile
# kafka
export PATH=$PATH:/Volumes/d/kafka/bin
生效: source /etc/profile
- 啟動 kafka
sudo kafka-server-start.sh -daemon /Volumes/d/kafka/config/server.properties
5、測試 Kafka
- 5.1 建立 kafka topic 并檢視 topic
# 建立
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
# 檢視
kafka-topics.sh --list --zookeeper localhost:2181
- 5.2 生産消息
kafka-console-producer.sh --broker-list localhost:9092 --topic test
# 輸入以下消息并回車即可
This is a message
This is another message
- 5.3 訂閱消息
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
6、參考
6.1、Apache 軟體下載下傳
https://archive.apache.org/dist/kafka/
6.2、Apache 軟體版本查詢
https://issues.apache.org/jira/secure/BrowseProjects.jspa?selectedCategory=all&selectedProjectType=all
6.3 Apache kafka 安裝指南
https://kafka.apache.org/quickstart