想要搭建kafka叢集,必須具備zookeeper叢集,關于zookeeper叢集的搭建,在Kafka學習之(五)搭建kafka叢集之Zookeeper叢集搭建部落格有說明。需要具備兩台以上裝有zookeeper的伺服器,其次,穩定可靠的kafka版本,本篇使用kafka_2.11-0.9.0.1。
準備
192.168.244.131、192.168.244.133、192.168.244.134,kafka下載下傳位址 https://archive.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz(wget下載下傳)
建立目錄并解壓
我習慣把壓縮包下載下傳到/usr/local/src下,然後我把下載下傳好的kafka tag包做了目錄拷貝。
編輯配置檔案
主要關注:server.properties 這個檔案即可,我們可以發現在目錄下:
有很多檔案,這裡可以發現有Zookeeper檔案,我們可以根據Kafka内帶的zk叢集來啟動,但是建議使用獨立的zk叢集。
上面的參數隻是作為了解一下,實際搭建中需要根據場景來配置。
現在隻需要對每台機器的配置檔案做如下更改
啟動服務
在啟動kafka之前,確定每台機器的防火牆關閉,其次zookeeper叢集也是啟動中,確定以上條件成立然後執行指令啟動kafka
建立Topic來驗證是否建立成功
這是官方文檔說明:http://kafka.apache.org/quickstart
在192.168.244.131上釋出測試,分别觀察另外兩台機器。

topic其他說明
到這裡kafka叢集就搭建完了~
日志說明
預設kafka的日志是儲存在/opt/kafka/kafka_2.10-0.9.0.0/logs目錄下的,這裡說幾個需要注意的日志
server.log ,kafka的運作日志
state-change.log ,因為kafka他是用zookeeper來儲存狀态,是以他可能會進行切換,切換的日志就儲存在這裡
controller.log ,kafka選擇一個節點作為“controller”,當發現有節點down掉的時候它負責在遊泳分區的所有節點中選擇新的leader,這使得Kafka可以批量的高效的管理所有分區節點的主從關系。如果controller down掉了,活着的節點中的一個會備切換為新的controller.
檢視zookeeper情況
進入zookeeper的項目目錄
暫時完畢~