kafka單機版環境搭建

前言

最近把kafak的資料導入到clickhouse，是以安裝一個單機版的kakfa感受下。

1.zookeeper安裝

要裝kafka，它依賴zookeeper，是以要先安裝zookpeer。

zookeeper 下載下傳

https://zookeeper.apache.org/releases.html

wegt https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3.tar.gz

           

在能檔案下 去執行 就下載下傳到那個檔案下

然後解壓

tar -zxf apache-zookeeper-3.6.3-bin.tar.gz
           

cd apache-zookeeper-3.6.3-bin

在這個檔案下 建立 資料存儲和 日志存儲的路徑

mkdir data

mkdir logs

然後再 cd apache-zookeeper-3.6.3-bin/conf

　cp zoo_sample.cfg zoo.cfg

　vi zoo.cfg

　

添加這個配置

dataDir=/usr/local/work/zookeeper/apache-zookeeper-3.6.3-bin/data

dataLogDir=/usr/local/work/zookeeper/apache-zookeeper-3.6.3-bin/logs

生效

source zoo.cfg

jvm 環境變量

vim /etc/profile

ZOOKEEPER_HOME=/usr/local/work/zookeeper/apache-zookeeper-3.6.3-bin
PATH=$PATH:$ZOOKEEPER_HOME/bin
export PATH ZOOKEEPER_HOME PATH

           

sourc /etc/profile

啟動zookeeper。

/usr/local/worl/zookeeper/apache-zookeeper-3.6.3-bin/bin/zkServer.sh start

           

zk啟動

1. 啟動ZK服務: bin/zkServer.sh start
2. 檢視ZK服務狀态: bin/zkServer.sh status
3. 停止ZK服務: bin/zkServer.sh stop
4. 重新開機ZK服務: bin/zkServer.sh restart
5. 連接配接伺服器: zkCli.sh -server 127.0.0.1:2181

2. 安裝kafka

kafka 下載下傳 http://kafka.apache.org/downloads

也可以這樣

wget https://archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgz
           

配置 jvm

vi /etc/profile

export KAFKA_HOME=/usr/local/work/kafka/kafka_2.11-0.10.1.1
PATH=$PATH:$HOME/bin:$KAFKA_HOME/bin

           

source /etc/profile

log.dirs=/export/server/kafka/logs

配置這個是為了生産和消費之間的通信

advertised.host.name=192.168.208.136

advertised.port=9092

# 解壓縮檔案
tar zxvf kafka_2.11-1.1.0.tgz
cd kafka_2.11-1.1.0/
# 啟動zk
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
# 檢查zk是否啟動成功
netstat -tunpl|grep 2181
tcp6       0      0 :::2181                 :::*                    LISTEN      2877/java    
# 啟動kafka
bin/kafka-server-start.sh -daemon config/server.properties 
# 檢查kafka是否啟動成功
netstat -tunpl|grep 9092
tcp6       0      0 :::9092                 :::*                    LISTEN      3164/java       
           

打開一個視窗，輸入如下的指令，啟動生産者：

1. 運作 consumer

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning