作者:周志湖
微信号:zhouzhihubeyond
本節為下一節kafka與spark streaming做鋪墊
1.kafka 叢集搭建
kafka 安裝與配置
到下面的位址下載下傳:scala 2.10 - kafka_2.10-0.8.2.1.tgz
<a href="http://kafka.apache.org/downloads.html">http://kafka.apache.org/downloads.html</a>
下載下傳完成後,使用指令
解壓,解壓後的目錄如下

進入config目錄,将server.properties檔案内容如下:
将整個安裝檔案進行跨機器拷貝:
将sparkslave01機器上的server.properties檔案内容如下:
将sparkslave02機器上的server.properties檔案内容如下:
啟動kafka叢集
3 建立topic
在sparkmaster機器上執行下列指令建立一個topic
4 發送消息至kafka
在sparkslave01機器上執行下列指令并向kafka發送消息
5 接收kafka發送來的消息
在sparkslave02機器上執行下列指令并接收kafka發送消息
至此kafka 叢集搭建與測試完畢
下一節當中,我們将示範kafka如何與spark streaimg結合起來使用