天天看點

[Kafka基礎]-- 在 mac os 10.14.2上安裝 kafka-1.0.x

1、 前言

目前Kafka 的穩定大版本是 1.0.x,加上主流的CDH (CDH 5.13.0以上)和 HDP(hdp-3.x.x) 廠商的穩定版本也是使用 Kafka 1.0.x版本,是以,個人選擇使用 Kafka-1.0.x 版本做安裝測試。

2、環境準備

版本号 穩定性 發行日期 下載下傳連結
Jdk 1.8.0_171 穩定 2018-04-17 ​​跳轉頁面​​
Zookeeper 3.4.5 穩定 2012-11-18 ​​跳轉頁面​​
Kafka 1.0.1 穩定 2018-03-02 ​​跳轉頁面​​

3、安裝 Zookeeper

3.1 下載下傳 zookeeper

cd  /Volumes/d
sudo wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz      

3.2 解壓安裝

  • 解壓:sudo tar -zxvf zookeeper-3.4.5.tar.gz
  • 修改 zookeeper 目錄:sudo mv zookeeper-3.4.5 zookeeper
  • 建立zoo.cfg檔案:
cd /Volumes/d/zookeeper/conf
sudo touch   zoo.cfg      
  • 在 zoo.cfg 檔案中添加以下内容
tickTime=2000
dataDir=/Volumes/d/zookeeper/data
dataLogDir=/Volumes/d/zookeeper/logs
clientPort=2181      
  • 添加環境變量:sudo vim /etc/profile
# zookeeper
export PATH=$PATH:/Volumes/d/zookeeper/bin      

生效: source /etc/profile

  • 啟動 zookeeper:sudo ​​zkServer.sh​​ start
  • 連結zookeeper: sudo ​​zkCli.sh​​ -server 127.0.0.1:2181

4、安裝Kafka

  • 4.1下載下傳:sudu wget ​​https://archive.apache.org/dist/kafka/1.0.1/kafka_2.11-1.0.1.tgz​​
  • 4.2 解壓安裝:
sudo tar -zxvf  kafka_2.11-1.0.1.tgz
sudo mv kafka_2.11-1.0.1 kafka      
  • 添加環境變量:sudo vim /etc/profile
# kafka
export PATH=$PATH:/Volumes/d/kafka/bin      

生效: source /etc/profile

  • 啟動 kafka
sudo kafka-server-start.sh  -daemon  /Volumes/d/kafka/config/server.properties      

5、測試 Kafka

  • 5.1 建立 kafka topic 并檢視 topic
# 建立
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
# 檢視
kafka-topics.sh --list --zookeeper localhost:2181      
[Kafka基礎]-- 在 mac os 10.14.2上安裝 kafka-1.0.x
  • 5.2 生産消息
kafka-console-producer.sh --broker-list localhost:9092 --topic test
# 輸入以下消息并回車即可
This is a message
This is another message      
  • 5.3 訂閱消息
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning      
[Kafka基礎]-- 在 mac os 10.14.2上安裝 kafka-1.0.x

6、參考

6.1、Apache 軟體下載下傳

​​https://archive.apache.org/dist/kafka/​​

6.2、Apache 軟體版本查詢

​​https://issues.apache.org/jira/secure/BrowseProjects.jspa?selectedCategory=all&selectedProjectType=all​​

6.3 Apache kafka 安裝指南

​​https://kafka.apache.org/quickstart​​