Kafka Eagle 2.0.6 安裝

目錄

• Kafka Eagle 2.0.6 安裝
• • 1、簡單介紹
  • 2、軟體安裝
  • • 2.1、上傳解壓移動删除
    • 2.2、修改配置檔案
    • 2.3、配置Kafka的Jmx
    • 2.4、配置環境變量
    • 2.5、啟動叢集
    • 2.6、通路
    • 2.7、關機拍照

1、簡單介紹

​ 在開發工作當中，消費 Kafka 叢集中的消息時，資料的變動是我們所關心的，當業務并不複雜的前提下，我們可以使用 Kafka 提供的指令工具，配合 Zookeeper 用戶端工具，可以很友善的完成我 們的工作。随着業務的複雜化，Group 和 Topic 的增加，此時我們使用 Kafka 提供的指令工具， 已預感到力不從心，這時候 Kafka 的監控系統此刻便尤為顯得重要，我們需要觀察消費應用的詳情。 監控系統業界有很多傑出的開源監控系統。我們在早期，有使用 KafkaMonitor 和 Kafka Manager 等，不過随着業務的快速發展，以及網際網路公司特有的一些需求，現有的開源的監控系 統在性能、擴充性、和 DEVS 的使用效率方面，已經無法滿足了。 是以，我們在過去的時間裡， 從網際網路公司的一些需求出發，從各位 DEVS 的使用經驗和回報出發，結合業界的一些開源的 Kafka 消息監控，用監控的一些思考出發，設計開發了現在 Kafka 叢集消息監控系統：Kafka Eagle。

• 官網位址
• • 源碼： https://github.com/smartloli/kafka-eagle/
  • 官網：https://www.kafka-eagle.org/
  • 下載下傳： http://download.kafka-eagle.org/
  • 安裝文檔： https://docs.kafka-eagle.org/2.env-and-install

2、軟體安裝

• 基于zookeeper叢集
• 基于kafka叢集

2.1、上傳解壓移動删除

[[email protected] ~]# tar -zxvf kafka-eagle-bin-2.0.6.tar.gz
[[email protected] ~]# cd kafka-eagle-bin-2.0.6
[[email protected] kafka-eagle-bin-2.0.6]# tar -zxvf kafka-eagle-web-2.0.6-bin.tar.gz
[[email protected] kafka-eagle-bin-2.0.6]# mv kafka-eagle-web-2.0.6 /opt/yjx/
[[email protected] kafka-eagle-bin-2.0.6]# cd
[[email protected] ~]# rm -rf ~/kafka*
[[email protected] ~]# cd /opt/yjx/kafka-eagle-web-2.0.6/
           

2.2、修改配置檔案

## 可以配置多個叢集，但是我們隻有一個是以删除cluster2
[4] kafka.eagle.zk.cluster.alias=cluster1
[5] cluster1.zk.list=node01:2181,node02:2181,node03:2181
## 配置一個不沖突的端口即可
[28] kafka.eagle.webui.port=18048
## 删除cluster2的資訊，然後将cluster1的存儲設定為kafka
[43] cluster1.kafka.eagle.offset.storage=kafka
## 将sqllite的配置全部注釋
[103] # kafka sqlite jdbc driver address
## 配置Mysql資料庫資訊
[111] # kafka mysql jdbc driver address
[113] kafka.eagle.driver=com.mysql.jdbc.Driver
[114] kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF8&zeroDateTimeBehavior=convertToNull
[115] kafka.eagle.username=root
[116] kafka.eagle.password=123456
           

2.3、配置Kafka的Jmx

• 修改Kafka啟動腳本

• • 添加JMX的端口
    [29] export JMX_PORT="19092"
               

• 拷貝到其他節點

  • [[email protected] ~]# scp /opt/yjx/kafka_2.12-0.11.0.3/bin/kafka-server-start.sh [email protected]:/opt/yjx/kafka_2.12-0.11.0.3/bin/
    [[email protected] ~]# scp /opt/yjx/kafka_2.12-0.11.0.3/bin/kafka-server-start.sh [email protected]:/opt/yjx/kafka_2.12-0.11.0.3/bin/
               

2.4、配置環境變量

export KE_HOME=/opt/yjx/kafka-eagle-web-2.0.6
export PATH=$KE_HOME/bin:$PATH
           

2.5、啟動叢集

• 首先啟動zookeeper

  zkServer.sh start

• 三個節點重新開機Kafka

  kafka-server-start.sh /opt/yjx/kafka_2.12-0.11.0.3/config/server.properties

• 然後啟動eagle

  ke.sh start

指令	說明
ke.sh start	啟動Kafka Eagle系統
ke.sh stop	停止Kafka Eagle系統
ke.sh restart	重新開機Kafka Eagle系統
ke.sh status	檢視Kafka Eagle系統運作狀态
ke.sh stats	統計Kafka Eagle系統占用Linux資源情況
ke.sh find [ClassName]	檢視Kafka Eagle系統中的類是否存在

2.6、通路

• http://192.168.88.101:18048
• 使用者名【admin】密碼【123456】

2.7、關機拍照

• 關閉kafka Eagle

  ke.sh stop

• 關閉kafka Ctrl+C
• 關閉zookeeper

  zkServer.sh stop

• 關機拍照