天天看點

Kafka學習之(六)搭建kafka叢集

想要搭建kafka叢集,必須具備zookeeper叢集,關于zookeeper叢集的搭建,在Kafka學習之(五)搭建kafka叢集之Zookeeper叢集搭建部落格有說明。需要具備兩台以上裝有zookeeper的伺服器,其次,穩定可靠的kafka版本,本篇使用kafka_2.11-0.9.0.1。

準備

192.168.244.131、192.168.244.133、192.168.244.134,kafka下載下傳位址 https://archive.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz(wget下載下傳)

建立目錄并解壓

我習慣把壓縮包下載下傳到/usr/local/src下,然後我把下載下傳好的kafka tag包做了目錄拷貝。

編輯配置檔案

主要關注:server.properties 這個檔案即可,我們可以發現在目錄下:

有很多檔案,這裡可以發現有Zookeeper檔案,我們可以根據Kafka内帶的zk叢集來啟動,但是建議使用獨立的zk叢集。

上面的參數隻是作為了解一下,實際搭建中需要根據場景來配置。

現在隻需要對每台機器的配置檔案做如下更改

啟動服務

在啟動kafka之前,確定每台機器的防火牆關閉,其次zookeeper叢集也是啟動中,確定以上條件成立然後執行指令啟動kafka

建立Topic來驗證是否建立成功

這是官方文檔說明:http://kafka.apache.org/quickstart

在192.168.244.131上釋出測試,分别觀察另外兩台機器。

Kafka學習之(六)搭建kafka叢集
Kafka學習之(六)搭建kafka叢集

topic其他說明

到這裡kafka叢集就搭建完了~

日志說明

預設kafka的日志是儲存在/opt/kafka/kafka_2.10-0.9.0.0/logs目錄下的,這裡說幾個需要注意的日志

server.log   ,kafka的運作日志

state-change.log ,因為kafka他是用zookeeper來儲存狀态,是以他可能會進行切換,切換的日志就儲存在這裡

controller.log ,kafka選擇一個節點作為“controller”,當發現有節點down掉的時候它負責在遊泳分區的所有節點中選擇新的leader,這使得Kafka可以批量的高效的管理所有分區節點的主從關系。如果controller down掉了,活着的節點中的一個會備切換為新的controller.

檢視zookeeper情況

進入zookeeper的項目目錄

暫時完畢~