簡介
Big Data Tools 插件可用于 Intellij Idea 2019.2 及以後的版本。它提供了使用 Zeppelin,AWS S3,Spark,Google Cloud Storage,Minio,Linode,數字開放空間,Microsoft Azure 和 Hadoop 分布式檔案系統(HDFS)來監視和處理資料的特定功能。
下面來看一下 Big Data Tools 的安裝和使用,主要會配置 Flink,Kafka 和 HDFS。
安裝 Big Data Tools 插件

image-20220522170703800
點選安裝完成之後,需要重新開機一下 IDEA,插件才能生效,上面我已經安裝過了。
Flink 配置(不推薦)
flink 需要下載下傳即将釋出的 IDEA 2022.2-EAP 版本才有,因為之前是不支援 flink 的。
image-20220522202515845
先點選 IDEA 右側的 Big Data Tools,然後點選加号就可以添加 Flink 元件了。
image-20220522202819718
輸入 Flink WEB UI 位址,點選 OK 就可以了。
image-20220522203842116
這樣就可以直接在 IDEA 裡面檢視 Flink Dashboard,跟在 Web UI 上的功能完全一樣,點選箭頭所指的地方可以直接跳轉到 Flink UI,雖然可以直接在 IDEA 裡面檢視 Dashboard,但是個人感覺還是在 Flink Web UI 上檢視更加友善,可能是看習慣了。不是太推薦這個功能。
Kafka 配置(推薦)
然後來看一下 kafka 的配置。
image-20220522205522598
同樣的,點選加号選擇 Kafka 然後設定一下 Kafka 叢集的 broker list ,點選 OK 就行了。
截屏2022-05-22 下午8.58.27
可以看到所有 topic 的詳細資訊,包括 partition,replicas 等,還可以檢視 Consumers 的情況,這個功能還是不錯的,雖然現在也有很多開源的 kafka 監控工具,但是配置起來還是有一點門檻,這個插件的配置幾乎是零門檻,對于簡單的檢視 kafka 的資訊還是非常不錯的。
HDFS 配置(推薦)
最後再來配置一個 HDFS。
image-20220522211549151
Authentication type 選擇 Explicit uri 然後設定一下 HDFS 服務位址就可以了。