作者:周志湖
微信号:zhouzhihubeyond
本节为下一节kafka与spark streaming做铺垫
1.kafka 集群搭建
kafka 安装与配置
到下面的地址下载:scala 2.10 - kafka_2.10-0.8.2.1.tgz
<a href="http://kafka.apache.org/downloads.html">http://kafka.apache.org/downloads.html</a>
下载完成后,使用命令
解压,解压后的目录如下

进入config目录,将server.properties文件内容如下:
将整个安装文件进行跨机器拷贝:
将sparkslave01机器上的server.properties文件内容如下:
将sparkslave02机器上的server.properties文件内容如下:
启动kafka集群
3 创建topic
在sparkmaster机器上执行下列命令创建一个topic
4 发送消息至kafka
在sparkslave01机器上执行下列命令并向kafka发送消息
5 接收kafka发送来的消息
在sparkslave02机器上执行下列命令并接收kafka发送消息
至此kafka 集群搭建与测试完毕
下一节当中,我们将演示kafka如何与spark streaimg结合起来使用