天天看点

Spark修炼之道(进阶篇)——Spark入门到精通:第十五节 Kafka 0.8.2.1 集群搭建

作者:周志湖

微信号:zhouzhihubeyond

本节为下一节kafka与spark streaming做铺垫

1.kafka 集群搭建

kafka 安装与配置

到下面的地址下载:scala 2.10 - kafka_2.10-0.8.2.1.tgz

<a href="http://kafka.apache.org/downloads.html">http://kafka.apache.org/downloads.html</a>

下载完成后,使用命令

解压,解压后的目录如下

Spark修炼之道(进阶篇)——Spark入门到精通:第十五节 Kafka 0.8.2.1 集群搭建

进入config目录,将server.properties文件内容如下:

将整个安装文件进行跨机器拷贝:

将sparkslave01机器上的server.properties文件内容如下:

将sparkslave02机器上的server.properties文件内容如下:

启动kafka集群

Spark修炼之道(进阶篇)——Spark入门到精通:第十五节 Kafka 0.8.2.1 集群搭建

3 创建topic

在sparkmaster机器上执行下列命令创建一个topic

4 发送消息至kafka

在sparkslave01机器上执行下列命令并向kafka发送消息

Spark修炼之道(进阶篇)——Spark入门到精通:第十五节 Kafka 0.8.2.1 集群搭建

5 接收kafka发送来的消息

在sparkslave02机器上执行下列命令并接收kafka发送消息

Spark修炼之道(进阶篇)——Spark入门到精通:第十五节 Kafka 0.8.2.1 集群搭建

至此kafka 集群搭建与测试完毕

下一节当中,我们将演示kafka如何与spark streaimg结合起来使用

继续阅读