storm消費kafka資料監控問題——KafkaOffsetMonitor

storm消費kafka的速度在ui裡面是看不到的。

是以是需要 一款kafka的監控軟體，來監控storm消費kafka的情況。

經過比較，選擇了KafkaOffsetMonitor這款工具。

這款軟體的優點是，直接是一個jar，可以直接運作，對kafka叢集沒有要影響。

但是使用中有幾個問題要注意。

1、版本問題。

現在網絡上0.2.0版本提供下載下傳較多，但是該版本不提供storm的支援。是以應該使用0.2.1以上的版本。

2、運作參數設定

KafkaOffsetMonitor對storm的支援，需要增加參數 offsetStorage 和 stormZKOffsetBase。其中stormZKOffsetBase的路徑設定，為在zk上存儲kafka節點的位置，需要與SpoutConfig裡面的zkRoot路徑一緻，才能準确監控到消費資料。

運作指令舉例：

java -cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar \  com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--offsetStorage storm  \
--stormZKOffsetBase /xxxxx   \
--zk xxx:2181 \
--port 50000 \
--refresh 10.seconds \
--retain 2.days
           

3、KafkaOffsetMonitor 0.2.1版本以上存在打開頁面不顯示内容的問題

打開頁面後一片空白，按f12可以看到加載js錯誤。

這裡需要把jar解壓縮，編輯修改offset檔案夾裡面的index.html，将三個angular位址的路徑修改，然後重新打包。

路徑修改參考：

<script src="//cdn.static.runoob.com/libs/angular.js/1.4.6/angular.min.js"></script>
<script src="//apps.bdimg.com/libs/angular-route/1.3.13/angular-route.js"></script>
<script src="./scripts/angular-resource.js"></script>
           

參考文章：

KafkaOffsetManager下載下傳位址：

https://github.com/quantifind/KafkaOffsetMonitor

KafkaOffsetMonitor-assembly-0.2.1.jar使用遇到的問題

https://blog.csdn.net/feinifi/article/details/83015492

解決KafkaOffsetMonitor頁面不展示問題

https://my.oschina.net/shyloveliyi/blog/900503

kafka監控的選型：

https://blog.csdn.net/a1010256340/article/details/80832296