天天看點

Windows上搭建Kafka

Alink是基于Flink的機器學習算法平台,歡迎通路Alink的github擷取下載下傳連結及更多資訊。

alibaba/Alink​github.com

Windows上搭建Kafka

Kafka是流式計算中重要的資料源,我分享一下在本機Windows上搭建Kafka的經驗。

通路Kafka的首頁:

Apache Kafka​kafka.apache.org

進入其下載下傳頁面,截圖如下:

選擇相應的版本,這裡選擇 kafka_2.11-2.4.0.tgz,進入下面的頁面:

Windows上搭建Kafka

選擇清華的鏡像站點進行下載下傳。

下載下傳到本地後,将檔案解壓到 D:\kafka_2.11-2.4.0,該檔案夾包括了所有相關的運作檔案及配置檔案,其子檔案夾bin\windows 下放的是在Windows系統啟動zookeeper和kafka的可執行檔案,子檔案夾config下放的是zookeeper和kafka的配置檔案。

我們需要先後啟動zookeeper和kafka服務。

它們都需要進入 D:\kafka_2.11-2.4.0 目錄,然後再啟動相應的指令。

啟動zookeeper服務,運作指令:

啟動kafka服務,運作指令:

Kafka中建立一個Topic,名稱為iris

建立成功後,可以使用如下指令,顯示所有Topic的清單:

顯示結果為

然後,我們通過Alink的 Kafka SinkStreamOp可以将iris資料集寫入該Topic。這裡不詳細展開,有興趣的讀者可以參閱如下的文章。

Alink品數:Alink連接配接Kafka資料源(Python版本)​zhuanlan.zhihu.comAlink品數:Alink連接配接Kafka資料源(Java版本)​zhuanlan.zhihu.com

Windows上搭建Kafka

使用如下指令,讀取(消費)topic iris中的資料:

顯示結果如下,略去了中間的大部分資料:

Windows上搭建Kafka

<code> </code>