天天看點

第一節:Kafka簡介和基于Centos8.x進行Kafka的搭建與配置

一. Kafka簡介

 1. 簡介

 官網:http://kafka.apache.org/

2. 優點

3.常用術語

4. 與其他消息隊列比較

二. 搭建與配置

前提準備:

  作業系統:Centos8.0 (騰訊雲)

  JDK:jdk11 (rpm包)

  Zookeeper:協調器 【版本3.6.3】

  kafka:【版本2.8.0】

  kafka-manager:  叢集管理工具,最早由雅虎開源,使用者可以在Web界面執行一些簡單的叢集管理操作 【版本 1.3.3.7】

  kafkatool:可視化工具

1. 安裝jdk

(1). 去官網( https://www.oracle.com/java/technologies/javase-downloads.html) 選擇jdk11版本,這裡下載下傳rpm包,然後把該安裝包copy到ypfInstall目錄下。

第一節:Kafka簡介和基于Centos8.x進行Kafka的搭建與配置
第一節:Kafka簡介和基于Centos8.x進行Kafka的搭建與配置

(2). 運作指令【chmod +x jdk-11.0.11_linux-x64_bin.rpm】給該安裝包添加可執行權限。

(3). 運作指令 【 rpm -ivh jdk-11.0.11_linux-x64_bin.rpm 】進行jdk的安裝

第一節:Kafka簡介和基于Centos8.x進行Kafka的搭建與配置
(4). 檢視java版本【java -version】,如下圖,說明jdk安裝成功。
第一節:Kafka簡介和基于Centos8.x進行Kafka的搭建與配置

2. 安裝Zookeeper

(1). 去官網(https://zookeeper.apache.org/releases.html)下載下傳 3.6.3  [ apache-zookeeper-3.6.3-bin.tar.gz ] 穩定版本,然後copy到伺服器中ypfInstall目錄下。

第一節:Kafka簡介和基于Centos8.x進行Kafka的搭建與配置

(2). 運作指令【tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz】,進行解壓。 然後運作指令【mv apache-zookeeper-3.6.3-bin zookeeper3.6.3】重命名一下,友善後續好操作。

(3). 進入zookeeper的根目錄,然後把conf下的zoo_sample.cfg這個檔案重命名為zoo.cfg

【cd conf】

【 mv zoo_sample.cfg zoo.cfg]

第一節:Kafka簡介和基于Centos8.x進行Kafka的搭建與配置

(4). 進入zookeeper目錄下,運作指令【./bin/zkServer.sh start】進行啟動。   

【./bin/zkServer.sh stop】是關閉指令

第一節:Kafka簡介和基于Centos8.x進行Kafka的搭建與配置
(4). 運作指令【jps】,如下圖,表示啟動成功
第一節:Kafka簡介和基于Centos8.x進行Kafka的搭建與配置

3. 安裝Kafka

(1). 進入官網 (http://kafka.apache.org/downloads) 進行下載下傳,這裡下載下傳2.8.0版本(kafka_2.13-2.8.0.tgz),然後copy到伺服器中ypfInstall目錄下。(PS 不要下載下傳Source download後面的,那是純源碼,需要自己編譯)

第一節:Kafka簡介和基于Centos8.x進行Kafka的搭建與配置
第一節:Kafka簡介和基于Centos8.x進行Kafka的搭建與配置
第一節:Kafka簡介和基于Centos8.x進行Kafka的搭建與配置
(2). 運作指令【tar -zxvf kafka_2.13-2.8.0.tgz 】進行解壓,為了友善操作重命名一下 【mv kafka_2.13-2.8.0 kafka2.8.0】
第一節:Kafka簡介和基于Centos8.x進行Kafka的搭建與配置

(3). 修改kafka根目錄下 config/server.properties 配置檔案,如下

雲伺服器配置:

############################# Server Basics #############################

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0

#下面是新增的
port=9092
#内網
host.name=10.206.0.17   
#外網
advertised.host.name=119.45.174.249      
第一節:Kafka簡介和基于Centos8.x進行Kafka的搭建與配置

注意:上面的配置是雲伺服器的,需要同時配置内網和外網,如果在本地虛拟機中,隻需如下配置:

虛拟機配置:

############################# Server Basics #############################

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0

#下面是新增的
port=9092
host.name=192.168.137.201        

(4). 啟動Kafak

 在kafka的根目錄下運作指令 【./bin/kafka-server-start.sh -daemon config/server.properties】 進行啟動

PS: -daemon 表示背景啟動。

第一節:Kafka簡介和基于Centos8.x進行Kafka的搭建與配置

運作指令【jps】如下圖,表示kafka啟動成功。

第一節:Kafka簡介和基于Centos8.x進行Kafka的搭建與配置

(5). 關閉Kafak

 在kafka的根目錄下運作【./bin/kafka-server-stop.sh】

4. 安裝Kafka-manager

 (相關使用參考:https://www.cnblogs.com/frankdeng/p/9584870.html)

(1). 進入官網進行下載下傳(https://github.com/yahoo/CMAK/releases),這裡下載下傳 kafka-manager-1.3.3.7.zip 版本,并且copy到伺服器中的ypfInstall目錄下

(2). 運作下面指令,安裝解壓工具

【yum install -y unzip zip】 

第一節:Kafka簡介和基于Centos8.x進行Kafka的搭建與配置

(3). 進行解壓 【 unzip kafka-manager-1.3.3.7.zip】

第一節:Kafka簡介和基于Centos8.x進行Kafka的搭建與配置

(4). 進入kafka-manager-1.3.3.7的根目錄,運作指令【./bin/kafka-manager -daemon】進行啟動

#啟動該軟體了, 進入解壓檔案的bin目錄 可以指定端口号,但是有時候會出錯 預設是9000
./bin/kafka-manager -Dconfig.file=./config/application.conf -Dhttp.port=9000

#如果報錯直接執行下面的 端口号預設是9000
./bin/kafka-manager  
#./bin/kafka-manager -daemon      
第一節:Kafka簡介和基于Centos8.x進行Kafka的搭建與配置

!

  • 作       者 : Yaopengfei(姚鵬飛)
  • 部落格位址 : http://www.cnblogs.com/yaopengfei/
  • 聲     明1 : 如有錯誤,歡迎讨論,請勿謾罵^_^。
  • 聲     明2 : 原創部落格請在轉載時保留原文連結或在文章開頭加上本人部落格位址,否則保留追究法律責任的權利。