Centos7/8 zookeeper+kafka單機部署

文章目錄

• 前言
• 一、部署所需
• 二、環境配置
• 三、部署流程
• • 1.環境配置
  • 2.部署啟動zookeeper
  • 3.部署啟動kafka
• 三、基本使用
• • 1.建立topic及檢視
  • 2.以生産者身份進入
  • 3.以消費者身份進入

前言

部落客全程root使用者操作，不是root請加sudo

一、部署所需

1.java（教程）

二、環境配置

systemctl disable --now firewalld  # 防火牆關閉，如果是雲伺服器安全組記得放行

setenforce 0  # selinux關閉
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/sysconfig/selinux
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config

yum install wget tar vim net-tools curl -y    # 常用插件安裝
           

三、部署流程

1.環境配置

建立檔案存放目錄:

mkdir -p /data/kafka
           

下載下傳解壓kafka檔案壓縮包:

（如果連結過期，官網下載下傳即可）

cd /data/kafka
wget https://mirrors.bfsu.edu.cn/apache/kafka/2.6.0/kafka_2.13-2.6.0.tgz
tar -zxvf kafka_2.13-2.6.0.tgz
           

2.部署啟動zookeeper

配置檔案生成修改：

cd /data/kafka/kafka_2.13-2.6.0/config
cat zookeeper.properties | grep -v '#' >> zk.properties
vim zk.properties
dataDir=/data/zk/   #日志路徑，可随便自定義
clientPort=2181     #可自定義，如果為雲伺服器，記得端口放行
maxClientCnxns=0
admin.enableServer=false
           

啟動zookeeper：

cd ..   #傳回kafka_2.13-2.6.0
./bin/zookeeper-server-start.sh config/zk.properties  #要背景運作請加&，退出終端時使用exit
           

3.部署啟動kafka

配置檔案生成修改：

cd /data/kafka/kafka_2.13-2.6.0/config
cat server.properties | grep -v '#' >> ka.properties
mkdir /data/kafka-logs
vim ka.properties   #除了下面這兩條需要設定，其他預設
log.dirs=/data/kafka-logs  #檔案夾一定要為空，否則會無法啟動
listeners=PLAINTEXT://機器ip:9092    #這條需添加，否則後端無法通路
           

啟動zookeeper：

cd ..
./bin/kafka-server-start.sh config/ka.properties  #要背景運作請加&，退出終端時使用exit
           

三、基本使用

1.建立topic及檢視

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test  #test為topic名
./bin/kafka-topics.sh --list --zookeeper localhost:2181   #檢視已存在所有topic
           

2.以生産者身份進入

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test #連接配接後釋出消息消費者即可看見
           

3.以消費者身份進入

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test #連接配接後生産者釋出消息即可看見
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning #檢視生産者消息曆史記錄