KAFKA 最新版 單機安裝、配置、部署（linux環境）

文章目錄

• ​​一、基礎軟體下載下傳​​

• ​​1. JDK​​
• ​​2. KAFKA​​
• ​​3. ZOOKEEPER​​

• ​​二、zookeeper配置啟動​​

• ​​2.1. 解壓​​
• ​​2.2. 配置環境變量​​
• ​​2.3. 重新整理環境變量​​
• ​​2.4. 配置檔案調整​​
• ​​2.4. 啟動zookeeper​​
• ​​2.5. 監控zk啟動狀态​​
• ​​2.6. 檢視日志​​

• ​​三、kafka配置啟動​​

• ​​3.1. 解壓​​
• ​​3.2. 配置環境變量​​
• ​​3.3. 重新整理環境變量​​
• ​​3.4. 驗證是否生效​​
• ​​3.5. 配置檔案​​
• ​​3.6. 資料目錄配置​​
• ​​3.7. 建立資料目錄​​
• ​​3.8. 啟動kafka​​
• ​​3.9. 登入zk驗證節點​​
• ​​3.10. kafka服務停止​​
• ​​3.11. 環境變量​​

一、基礎軟體下載下傳

1. JDK

​​Linux 安裝、解除安裝JDK​​

2. KAFKA

​​http://kafka.apache.org/downloads​​

wget      

3. ZOOKEEPER

​​https://archive.apache.org/dist/zookeeper/​​

wget      

二、zookeeper配置啟動

2.1. 解壓

cd /app
tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz
mv      

2.2. 配置環境變量

vim /etc/profile

# ZK
export ZOOKEEPER_HOME=/app/zookeeper-3.7.0
export PATH=$PATH:${ZOOKEEPER_HOME}/bin
# 修改zk儲存資料檔案的目錄
export ZK_LOG_DIR=/var/gblfy/zookeeper/log      

2.3. 重新整理環境變量

source      

2.4. 配置檔案調整

cd zookeeper-3.7.0/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg

将dataDir=/tmp/zookeeper調整為
dataDir=/var/gblfy/zookeeper/data      

2.4. 啟動zookeeper

cd      

2.5. 監控zk啟動狀态

./zkServer.sh status      

2.6. 檢視日志

cd      

三、kafka配置啟動

3.1. 解壓

tar      

3.2. 配置環境變量

vim /etc/profile

#kafaka
export KAFKA_HOME=/app/kafka_2.12-2.8.0
export PATH=$PATH:${KAFKA_HOME}/bin      

3.3. 重新整理環境變量

source      

3.4. 驗證是否生效

輸入kafka-按Tab鍵（指令補全），如果自動顯示下面這些腳本說明，配置環境變量生效      

3.5. 配置檔案

1.指定 kafka在哪存儲消息持久化的資料目錄

2.kafka連接配接zookeeper的位址以及kafka的節點

cd /app/kafka_2.12-2.8.0/config/
vim server.properties

将#zookeeper.connect=localhost:2181
修改為
zookeeper.connect=localhost:2181/mykafka
# 在zk根目錄下，會建立一個mykafka節點，這個節點的子節點，存放的是kafka的中繼資料      

3.6. 資料目錄配置

将 #log.dirs=/tmp/kafka-logs
修改為
log.dir=/var/gblfy/kafka/kafka-logs
#指定 kafka在哪存儲消息持久化的資料的目錄      

3.7. 建立資料目錄

mkdir      

3.8. 啟動kafka

# 獨占（前台）模式啟動kafka
kafka-server-start.sh ../config/server.properties 

# 背景啟動kafka      

3.9. 登入zk驗證節點

登入zk，在根目錄下面是否是否建立mykafka節點

# 登入zk
zkCli.sh 

# 檢視zk根節點
ls /

# 檢視mykafka裡面的子節點
ls      

[zk: localhost:2181(CONNECTED) 0] ls /
[mykafka, zookeeper]
[zk: localhost:2181(CONNECTED) 1] ls /mykafka
[cluster,叢集
 controller, 控制器
 controller_epoch,控制器的紀元
 brokers,kafka執行個體有哪些？
 admin, 管理者
 isr_change_notification, 同步的副本
 consumers, 消費者
 log_dir_event_notification,  log_dir的一個事件通知
 latest_producer_id_block, 最後一個生産者
 config]
[zk: localhost:2181(CONNECTED) 2]      

3.10. kafka服務停止

# 停止kafka服務      

3.11. 環境變量

export JAVA_HOME=/data/soft/jdk1.8
export ZOOKEEPER_HOME=/app/zookeeper-3.7.0
export KAFKA_HOME=/app/kafka_2.12-2.8.0
export PATH=.:$JAVA_HOME/bin:$KAFKA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH
scl enable devtoolset-9 bash

# 修改zk儲存資料檔案的目錄
export ZK_LOG_DIR=/var/gblfy/zookeeper/log