Kafka之二：Kafka叢集的安裝

Kafka之二：Kafka叢集的安裝

文章目錄

• • 一、Kafka叢集的安裝
  • 二、Kafka指令行操作

Kafka之一：Kafka簡述

Kafka之三：Kafka叢集工作流程

Kafka之四：Kafka與Streaming內建

一、Kafka叢集的安裝

1.解壓、删除、重命名

2.在kafka檔案下建一個檔案夾logs

mkdir logs
           

3.修改配置檔案

vim server.properties
           

參數解讀：(修改***部分)
	
			***
			#broker的全局唯一編号，不能重複
			broker.id=0
			#删除topic功能使能
			delete.topic.enable=true
			***
			
			#處理網絡請求的線程數量
			num.network.threads=3
			#用來處理磁盤IO的現成數量
			num.io.threads=8
			#發送套接字的緩沖區大小
			socket.send.buffer.bytes=102400
			#接收套接字的緩沖區大小
			socket.receive.buffer.bytes=102400
			#請求套接字的緩沖區大小
			socket.request.max.bytes=104857600
			
			***
			#kafka運作日志存放的路徑
			log.dirs=/home/duck/software/kafka/logs
			***
			
			#topic在目前broker上的分區個數
			num.partitions=1
			#用來恢複和清理data下資料的線程數量
			num.recovery.threads.per.data.dir=1
			#segment檔案保留的最長時間，逾時将被删除
			log.retention.hours=168
			***
			#配置連接配接Zookeeper叢集位址
			zookeeper.connect=Cloud01:2181,Cloud02:2181,Cloud03:2181
			***
           

4.同步其他機器檔案

scp -r kafka [email protected]:~/software
scp -r kafka [email protected]:~/software
           

5.修改另外兩台機器的配置檔案

/config/server.properties中的broker.id=1、broker.id=2

注：broker.id不得重複

6.啟動叢集

啟動三台裝好Kafka叢集的機器

bin/kafka-server-start.sh config/server.properties
           

7.關閉叢集

bin/kafka-server-stop.sh stop
           

二、Kafka指令行操作

1.檢視目前伺服器的所有topic

bin/kafka-topics.sh --list --zookeeper Cloud01:2181
           

2.建立topic

bin/kafka-topics.sh --create --zookeeper Cloud01:2181 --partitions 2 --replication-factor 2 --topic first
           

檢視一下

bin/kafka-topics.sh --list --zookeeper Cloud01:2181
           

3.删除topic

bin/kafka-topics.sh --zookeeper Cloud01:2181 --delete --topic first
           

4.發送消息

bin/kafka-console-producer.sh --broker-list Cloud01:9092 -topic first
           

然後輸入需要發送的消息。

5.消費消息

bin/kafka-console-consumer.sh --zookeeper Cloud01:2181 --topic first
           

6.檢視某個topic的詳情

bin/kafka-topics .sh --zookeeper Cloud01:2181 --describe --topic first   
           

--->有問題請聯系QQ1436281495^_^