【kafka】Kafka叢集環境搭建

目錄

前提

下載下傳安裝包并上傳解壓

node01伺服器修改kafka配置檔案

安裝包分發到其他伺服器上面去

node02與node03伺服器修改配置檔案

kafka叢集啟動與停止

• 前提

安裝jdk，安裝zookeeper并保證zk服務正常啟動

• 下載下傳安裝包并上傳解壓

上傳

cd /export/soft/
rz
           

解壓

tar -zxvf ./kafka_2.11-1.0.0.tgz -C ../servers/
           

• node01伺服器修改kafka配置檔案

node01執行以下指令建立資料檔案存放目錄

mkdir -p  /export/servers/kafka_2.11-1.0.0/logs
           

node01執行以下指令進入到kafka的配置檔案目錄，修改配置檔案

cd /export/servers/kafka_2.11-1.0.0/config
vim server.properties
           

修改配置

主要配置：

#broker的id
broker.id=0
#存放kafka日志的位置
log.dirs=/export/servers/kafka_2.11-1.0.0/logs
#連接配接zookeeper的節點ip
zookeeper.connect=node01:2181,node02:2181,node03:2181
#是否能删除topic
delete.topic.enable=true
#主機名
host.name=node01
           

全部配置：

broker.id=0
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/export/servers/kafka_2.11-1.0.0/logs
num.partitions=2
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.segment.bytes=1073741824
           

• 安裝包分發到其他伺服器上面去

cd /export/servers/
scp -r kafka_2.11-1.0.0/ node02:$PWD
scp -r kafka_2.11-1.0.0/ node03:$PWD
           

• node02與node03伺服器修改配置檔案

node02：

cd /export/servers/kafka_2.11-1.0.0/config
vim server.properties
           

配置：

#broker的id
broker.id=1
#主機名
host.name=node02
           

node03：

cd /export/servers/kafka_2.11-1.0.0/config
vim server.properties
           

配置：

#broker的id
broker.id=2
#主機名
host.name=node03
           

• kafka叢集啟動與停止

在kafka啟動前，一定要讓zookeeper啟動起來

node01，node02，node03執行以下指令将kafka程序啟動在背景

cd /export/servers/kafka_2.11-1.0.0
nohup bin/kafka-server-start.sh config/server.properties &
           

檢視是否啟動成功