天天看點

Spark修煉之道(進階篇)——Spark入門到精通:第十五節 Kafka 0.8.2.1 叢集搭建

作者:周志湖

微信号:zhouzhihubeyond

本節為下一節kafka與spark streaming做鋪墊

1.kafka 叢集搭建

kafka 安裝與配置

到下面的位址下載下傳:scala 2.10 - kafka_2.10-0.8.2.1.tgz

<a href="http://kafka.apache.org/downloads.html">http://kafka.apache.org/downloads.html</a>

下載下傳完成後,使用指令

解壓,解壓後的目錄如下

Spark修煉之道(進階篇)——Spark入門到精通:第十五節 Kafka 0.8.2.1 叢集搭建

進入config目錄,将server.properties檔案内容如下:

将整個安裝檔案進行跨機器拷貝:

将sparkslave01機器上的server.properties檔案内容如下:

将sparkslave02機器上的server.properties檔案内容如下:

啟動kafka叢集

Spark修煉之道(進階篇)——Spark入門到精通:第十五節 Kafka 0.8.2.1 叢集搭建

3 建立topic

在sparkmaster機器上執行下列指令建立一個topic

4 發送消息至kafka

在sparkslave01機器上執行下列指令并向kafka發送消息

Spark修煉之道(進階篇)——Spark入門到精通:第十五節 Kafka 0.8.2.1 叢集搭建

5 接收kafka發送來的消息

在sparkslave02機器上執行下列指令并接收kafka發送消息

Spark修煉之道(進階篇)——Spark入門到精通:第十五節 Kafka 0.8.2.1 叢集搭建

至此kafka 叢集搭建與測試完畢

下一節當中,我們将示範kafka如何與spark streaimg結合起來使用

繼續閱讀