天天看點

大資料消息進行中間件之kafka win10快速部署

目錄

一、環境準備

1、安裝包下載下傳

2、配置環境變量

二、修改配置檔案

1、zookeeper.properties

2、server.properties

三、啟動服務

1、啟動zookeeper

2、啟動kafka服務

3、建立topic

4、檢視topic

5、producer發送消息

6、consumer接收消息

7、删除topic​​​​​​​

四、kafka可視化工具

1、Kafka Tools

2、Kafka Eagle

五、一鍵啟動腳本

1、win10搭建kafka環境

2、win10搭建flink環境

3、一鍵啟動腳本

kafka官網:http://kafka.apache.org/documentation/

kafka中文:https://www.orchome.com/kafka/index

jdk1.8:https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

scala12.11:https://www.scala-lang.org/download/

kafka 2.11-2.4.1:https://kafka.apachecn.org/downloads.html

1、分别配置java、scala、kafka HOME變量

大資料消息進行中間件之kafka win10快速部署
大資料消息進行中間件之kafka win10快速部署
大資料消息進行中間件之kafka win10快速部署

2、将HOME目錄對應的bin目錄添加到path環境變量

由于是windows環境下使用的是bat腳本而不是shell腳本,所有這裡配置的目錄是%KAFKA_HOME%\bin\windows

大資料消息進行中間件之kafka win10快速部署

zookeeper資料目錄:D://Hadoop//Kafka//kafka_2.11-2.4.1//zkdatadir

kafka日志目錄:D://Hadoop//Kafka//kafka_2.11-2.4.1//logs

 或者執行

也可以自己安裝zookeeper,kafka啟動和其他操作沒變

大資料消息進行中間件之kafka win10快速部署

或者執行 

大資料消息進行中間件之kafka win10快速部署

  --replication-factor 1 --partitions 1 指定分區和副本數量

大資料消息進行中間件之kafka win10快速部署
大資料消息進行中間件之kafka win10快速部署

cmd控制台亂碼可忽略

大資料消息進行中間件之kafka win10快速部署

删除topic分為兩種情況,kafka預設配置是不運作topic被真正删除

(1)server.properties 配置 delete.topic.enable=false(預設為false)

該指令删除後,再次檢視topic時此topic為隻是被加上了删除标記,并未真正删除

大資料消息進行中間件之kafka win10快速部署

此時如果需要真正删除topic需要兩個條件

删除kafka在zookeeper上注冊的topic中繼資料資訊

删除server.properties配置檔案中配置的log.dirs配置路徑下的topic對應的檔案夾

kafka自帶的zookeeper上沒有zkCli腳本,是以需要使用自帶的zk腳本連接配接到kafka的zk進行删除

大資料消息進行中間件之kafka win10快速部署

 (2)server.properties 配置 delete.topic.enable=true

kafka tools:https://www.kafkatool.com/download.html

大資料消息進行中間件之kafka win10快速部署

Kafka Eagle:http://download.kafka-eagle.org/

安裝文檔:https://docs.kafka-eagle.org/2.env-and-install

大資料消息進行中間件之kafka win10快速部署

javascript:void(0)

start-all.cmd

執行此腳本可以多視窗同時啟動 kafka flink