天天看點
傳回

Kafka Eagle 管理平台

Kafka Eagle 管理平台

Kafka-Eagle簡介

源代碼位址：https://github.com/smartloli/kafka-eagle

Kafka Eagle是什麼

Kafka Eagle是一款用于監控和管理Apache Kafka的完全開源系統，目前托管在Github，由筆者和一些開源愛好者共同維護。它提供了完善的管理頁面，很方面的去管理和可視化Kafka叢集的一些資訊，例如Broker詳情、性能名額趨勢、Topic集合、消費者資訊等。

同時，相容若幹Kafka版本，例如0.8，0.9，...，以及截止到2019-12-16最新釋出的2.4.0版本

Kafka Eagle包含哪些功能

Kafka Eagle監控管理系統，提供了一個可視化頁面，使用者可以擁有不同的角色，例如管理者、開發者、遊客等。不同的角色對應不同的使用權限。在知道了Kafka Eagle的作用之後，那麼它包含哪些功能呢？核心功能如下所示:

資料面闆

負責展示Kafka叢集的Broker數、Topic數、Consumer數、以及Topic LogSize Top10和Topic Capacity Top10資料。

主題

該子產品包含主題建立、主題管理、主題預覽、KSQL查詢主題、主題資料寫入、主題屬性配置等。

消費者組

該子產品包含監控不同消費者組中的Topic被消費的詳情，例如LogSize、Offsets、以及Lag等。同時，支援檢視Lag的曆史趨勢圖。

叢集管理

該子產品包含Kafka叢集和Zookeeper叢集的詳情展示，例如Kafka的IP和端口、版本号、啟動時間、Zookeeper的Leader和Follower。同時，還支援多Kafka叢集切換，以及Zookeeper Client資料檢視等功能。

名額監控

該子產品包含監控Kafka叢集和Zookeeper叢集的核心名額，包含Kafka的消息發送趨勢、消息大小接收與發送趨勢、Zookeeper的連接配接數趨勢等。同時，還支援檢視Broker的瞬時名額資料。

告警

該子產品包含告警叢集異常和消費者應用Lag異常。同時，支援多種IM告警方式，例如郵件、釘釘、微信、Webhook等。

系統管理

該子產品包含使用者管理，例如建立使用者、使用者授權、資源管理等

資料大屏

該子產品包含展示消費者和生産者當日及最近7天趨勢、Kafka叢集讀寫速度、Kafka叢集曆史總記錄等。

Kafka Eagle部署

Kafka Eagle安裝部署非常友善，可以從官網下載下傳最新版本進行安裝，或者從Github下載下傳最新的Release源代碼進行編譯安裝。

例如，從官網下載下傳Kafka Eagle安裝包，按如下指令操作即可

下載下傳包安裝 

# 解壓安裝包
tar xf kafka-eagle-bin-2.0.3.tar.gz -C /opt/
mv /opt/kafka-eagle-bin-2.0.3/kafka-eagle-web-2.0.3-bin.tar.gz  ./
rm -rf /opt/kafka-eagle-bin-2.0.3/
tar xf kafka-eagle-web-2.0.3-bin.tar.gz -C /opt/

然後，是配置環境變量，這裡需要注意的是，KE_HOME和JAVA_HOME均需在環境變量檔案中進行配置（建議在~/.bash_profile檔案中進行設定好，否則，可能在啟動的時候抛出環境變量找不到的錯誤），配置内容如下：
# 配置JAVA_HOME和KE_HOME：
vi ~/.bash_profile
export JAVA_HOME=/usr/local/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export KE_HOME=/opt/kafka-eagle-web-2.0.3
export PATH=$PATH:$JAVA_HOME/bin:$KE_HOME/bin

配置

接下來是配置Kafka Eagle的系統檔案，這裡需要注意一些事項，配置内容如下： 
# 設定Kafka多叢集，這裡隻需要設定Zookeeper,
# 系統會自動識别Kafka Broker
######################################
kafka.eagle.zk.cluster.alias=cluster1
# cluster1.zk.list=127.0.0.1:2181
cluster1.zk.list=zk01:2181,zk02:2181,zk03:2181
# cluster2.zk.list=127.0.0.1:2181/plain
# cluster3.zk.list=127.0.0.1:2181/scram
# cluster4.zk.list=vmn4:2181
######################################
# Zookeeper線程池最大連接配接數
######################################
kafka.zk.limit.size=25
######################################
# Kafka Eagle的頁面通路端口
######################################
kafka.eagle.webui.port=8048
######################################
# 存儲消費資訊的類型，一般在0.9版本之前，消費
# 資訊會預設存儲在Zookeeper中，是以存儲類型
# 設定zookeeper即可，如果是在0.10版本之後，
# 消費者資訊預設存儲在Kafka中，是以存儲類型
# 設定為kafka。而且，在使用消費者API時，盡量
# 用戶端Kafka API版本和Kafka服務端的版本保持
# 一緻性。
######################################
cluster1.kafka.eagle.offset.storage=kafka
cluster2.kafka.eagle.offset.storage=kafka
#cluster3.kafka.eagle.offset.storage=kafka
cluster4.kafka.eagle.offset.storage=kafka
######################################
# 開啟性能監控，資料預設保留30天
######################################
kafka.eagle.metrics.charts=true
kafka.eagle.metrics.retain=30
######################################
# KSQL查詢Topic資料預設是最新的5000條，如果
# 在使用KSQL查詢的過程中出現異常，可以将下面
# 的false屬性修改為true，Kafka Eagle會在
# 系統中自動修複錯誤。
######################################
kafka.eagle.sql.topic.records.max=5000
kafka.eagle.sql.fix.error=false
######################################
# 删除Kafka Topic時需要輸入删除密鑰，由
# 管理者執行
######################################
kafka.eagle.topic.token=keadmin
######################################
# 開啟Kafka ACL特性，例如SCRAM或者PLAIN，
# 一般生産環境會使用SCRAM來做ACL，應為SCRAM
# 可以動态建立和管理使用者。
######################################
cluster1.kafka.eagle.sasl.enable=false
cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster1.kafka.eagle.sasl.mechanism=SCRAM-SHA-256
cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="admin" password="admin-secret";
cluster1.kafka.eagle.sasl.client.id=
cluster2.kafka.eagle.sasl.enable=true
cluster2.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster2.kafka.eagle.sasl.mechanism=PLAIN
cluster2.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin-secret";
cluster2.kafka.eagle.sasl.client.id=
######################################
# 存儲Kafka Eagle中繼資料資訊的資料庫，目前支援
# MySQL和Sqlite，預設使用Sqlite進行存儲
######################################

kafka.eagle.driver=org.sqlite.JDBC
kafka.eagle.url=jdbc:sqlite:/opt/kafka-eagle-web-2.0.3/db/ke.db
kafka.eagle.username=root
kafka.eagle.password=www.kafka-eagle.org

######################################
# kafka mysql jdbc driver address
######################################
#kafka.eagle.driver=com.mysql.jdbc.Driver
#kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
#kafka.eagle.username=root
#kafka.eagle.password=123456

檢視服務狀态 

# 啟動Kafka Eagle系統，執行如下指令：
ke.sh start

# 檢視Kafka Eagle運作狀态
ke.sh status

# 停止Kafka Eagle
ke.sh stop

# 檢視Kafka Eagle GC情況
ke.sh gc

# 檢視Kafka Eagle伺服器資源占用情況，例如TCP、句柄等
ke.sh stats

# 檢視Kafka Eagle版本号
ke.sh version

# 檢視Kafka Eagle伺服器上JDK的編碼情況（如果JDK編碼不是UTF-8，可能會有異常出現，執行如下指令，根據提示來修複JDK編碼問題）
ke.sh jdk

# 檢視Kafka Eagle中是否存在某個類（如果需要精确，類名前面可以加上包名）
ke.sh find [ClassName]

總結

總的來說，Kafka Eagle提供了簡單、易用的頁面，部署友善。同時，提供非常詳細的操作手冊，根據官網提供的操作手冊來安裝Kafka Eagle，一般都可以正常使用。另外，有時候可能會在日志中發現一些連接配接逾時或是空指針異常，對于這類問題，首先需要檢測Kafka叢集的各個Broker節點JMX_PORT是否開啟（這個Kafka預設是不開啟），然後就是空指針異常問題，這類問題通常發生在Kafka叢集配置了ACL，這就需要認真檢測Kafka Eagle配置檔案中ACL資訊是否正确（比如設定的使用者名和密碼是否正确，以及使用者是否擁有通路Topic的權限等） 
vi kafka-server-start.sh
...
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-server -Xms8G -Xmx8G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
    # 開啟JMX_PORT端口，端口開啟後，Kafka Eagle系統會自動感覺擷取
    export JMX_PORT="9999"
    # 注釋腳本中預設的資訊
    # export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
kafka 管理平台
上一篇: Gitlab + Jenkins 建構,釋出一個基于Go的Gin測試項目
下一篇: Vue項目上線環境部署,項目優化政策,生成打包報告,及上線相關配置

繼續閱讀