apache kafka中國社群QQ群:162272557
概覽
最近kafka server消息服務上線了，基于jmx名額參數也寫到zabbix中了，但總覺得缺少點什麼東西，可視化可操作的界面。zabbix中資料比較分散，不能集中看整個叢集情況。或者一個cluster中broker清單，自己寫web-console比較耗時耗力，用原型工具畫了一些管理界面東西，關鍵自己也不前端方面技術，這方面比較薄弱。這不開源社群提供了kafka的web管理平台KafkaOffsetMonitor.就迅速拿過來運作。大家不要着急，馬上娓娓道來。
說明：
這個應用程式來實時監控你kafka服務的consumer以及他們在partition中的offset(偏移)。
你可以浏覽目前的消費者組，每個topic的所有partition的消費情況都可以一覽無餘。這其實是很有用得，從這裡你很快知道每個partition的message是否很快被消費(沒有阻塞)。他能指導你(kafka producer和consumer)優化代碼。
這個web管理平台保留的partition offset和consumer滞後的曆史資料，是以你可以很輕易了解這幾天consumer消費情況。
KafkaOffsetMonitor功能：
1.從标題都可以看出來，Kafka Offset Monitor，是對consumer消費情況進行監控,并能列出每個consumer offset,滞後資料。
2.消費者組清單
3.每個topic的所有parition清單(topic,pid,offset,logSize,lag,owner)
4.檢視topic的曆史消費資訊.
雖然功能覆寫面不全，但是很實用。
1.下載下傳
github官網下載下傳
KafkaOffsetMonitor： https://github.com/quantifind/KafkaOffsetMonitor
百度雲下載下傳(網速快)
百度雲KafkaOffsetMonitor下載下傳
說明:百度雲下載下傳為修改版本，因為KafkaOffsetMonitor中有些資源檔案(css,js)是通路外網的，特别是有通路google資源，大家都懂的，經常不能通路。建議下載下傳修改版
2.安裝
KafkaOffsetMonitor運作比較簡單，因為所有運作檔案，資源檔案，jar檔案都打包到KafkaOffsetMonitor-assembly-0.2.0.jar了，直接運作就可以，這種方式太棒了。既不用編譯也不用配置，呵呵，也不是絕對不配置。
a.建立一個目錄kafka-offset-console,然後把jar拷貝到該目錄下.
b.建立腳本，因為您可能不是一個kafka叢集。用腳本可以啟動多個
[email protected]: vim mobile_start_en.sh
#!/bin/bash
java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m -cp KafkaOffsetMonitor-assembly-0.2.0.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--zk 192.168.2.101:2181,192.168.2.102:2182,192.168.2.103:2181/config/mobile/xxx \
--port 8086 \
--refresh 10.seconds \
--retain 7.days 1>mobile-logs/stdout.log 2>mobile-logs/stderr.log &
注意:/config/mobile/xxx 表示zk的根目錄,需要手工建立,也可以不設定
3.運作
[email protected]: chmod +x mobile_start_en.sh
[email protected]: ./mobile_start_en.sh
serving resources from: jar:file:/opt/xxx/kafka-offset-console/KafkaOffsetMonitor-assembly-0.2.0.jar!/offsetapp
6 示範截圖：
消費者組清單
topic的所有partiton消費情況清單
以上圖中參數含義解釋如下：
topic：建立時topic名稱
partition：分區編号
offset：表示該parition已經消費了多少條message
logSize：表示該partition已經寫了多少條message
Lag：表示有多少條message沒有被消費。
Owner：表示消費者
Created：該partition建立時間
Last Seen：消費狀态重新整理最新時間。
kafka正在運作的topic
kafka叢集中topic清單
kafka叢集中broker清單
請注明轉載自:http://blog.csdn.net/lizhitao/article/details/27199863