天天看點

IDEA 中使用 Big Data Tools 連接配接大資料元件

簡介

Big Data Tools 插件可用于 Intellij Idea 2019.2 及以後的版本。它提供了使用 Zeppelin,AWS S3,Spark,Google Cloud Storage,Minio,Linode,數字開放空間,Microsoft Azure 和 Hadoop 分布式檔案系統(HDFS)來監視和處理資料的特定功能。

下面來看一下 Big Data Tools 的安裝和使用,主要會配置 Flink,Kafka 和 HDFS。

安裝 Big Data Tools 插件

IDEA 中使用 Big Data Tools 連接配接大資料元件

image-20220522170703800

點選安裝完成之後,需要重新開機一下 IDEA,插件才能生效,上面我已經安裝過了。

Flink 配置(不推薦)

flink 需要下載下傳即将釋出的 IDEA 2022.2-EAP 版本才有,因為之前是不支援 flink 的。

IDEA 中使用 Big Data Tools 連接配接大資料元件

image-20220522202515845

先點選 IDEA 右側的 Big Data Tools,然後點選加号就可以添加 Flink 元件了。

IDEA 中使用 Big Data Tools 連接配接大資料元件

image-20220522202819718

輸入 Flink WEB UI 位址,點選 OK 就可以了。

IDEA 中使用 Big Data Tools 連接配接大資料元件

image-20220522203842116

這樣就可以直接在 IDEA 裡面檢視 Flink Dashboard,跟在 Web UI 上的功能完全一樣,點選箭頭所指的地方可以直接跳轉到 Flink UI,雖然可以直接在 IDEA 裡面檢視 Dashboard,但是個人感覺還是在 Flink Web UI 上檢視更加友善,可能是看習慣了。不是太推薦這個功能。

Kafka 配置(推薦)

然後來看一下 kafka 的配置。

IDEA 中使用 Big Data Tools 連接配接大資料元件

image-20220522205522598

同樣的,點選加号選擇 Kafka 然後設定一下 Kafka 叢集的 broker list ,點選 OK 就行了。

IDEA 中使用 Big Data Tools 連接配接大資料元件

截屏2022-05-22 下午8.58.27

可以看到所有 topic 的詳細資訊,包括 partition,replicas 等,還可以檢視 Consumers 的情況,這個功能還是不錯的,雖然現在也有很多開源的 kafka 監控工具,但是配置起來還是有一點門檻,這個插件的配置幾乎是零門檻,對于簡單的檢視 kafka 的資訊還是非常不錯的。

HDFS 配置(推薦)

最後再來配置一個 HDFS。

IDEA 中使用 Big Data Tools 連接配接大資料元件

image-20220522211549151

Authentication type 選擇 Explicit uri 然後設定一下 HDFS 服務位址就可以了。

IDEA 中使用 Big Data Tools 連接配接大資料元件

總結