本文是對《【硬剛大資料之學習路線篇】從零到大資料專家的學習指南(全面更新版)》的Kafka部分補充。
1.1 叢集規劃
1.2 jar 包下載下傳
http://kafka.apache.org/downloads.html
1）解壓安裝包
2）修改解壓後的檔案名稱
3）在/opt/module/kafka 目錄下建立 logs 檔案夾
4）修改配置檔案
輸入以下内容：
5）配置環境變量
6）分發安裝包
注意：分發之後記得配置其他機器的環境變量
7）分别在 hadoop103 和 hadoop104 上修改配置檔案/opt/module/kafka/config/server.properties
中的 broker.id=1、broker.id=2
注：broker.id 不得重複
8）啟動叢集
依次在 hadoop102、hadoop103、hadoop104 節點上啟動 kafka
9）關閉叢集
10）kafka群起腳本
1）檢視目前伺服器中的所有 topic
2）建立 topic
選項說明：
--topic 定義 topic 名
--replication-factor 定義副本數
--partitions 定義分區數
3）删除 topic
需要 server.properties 中設定 delete.topic.enable=true 否則隻是标記删除或者直接重新開機。
4）發送消息
5）消費消息
--from-beginning：會把 first 主題中以往所有的資料都讀取出來。根據業務場景選擇是否增加該配置。
6）檢視某個 Topic 的詳情
7）修改分區數
相關錯誤：
Kafka linux 采坑 | 啟動報錯： Timed out waiting for connection while in state: CONNECTING
同時注意檢查zookeeper是否正确啟動