storm实时流式计算框架集群搭建过程

<a href="http://blog.csdn.net/comaple/article/details/7896167">http://blog.csdn.net/comaple/article/details/7896167</a>

这几天在其他同事的帮助下，调研了twitter的开源流式计算框架storm的使用，下面分享一下storm集群的安装配置过程。以作备忘之用。

我的实验机器为：195和196

首先：安装依赖包

3，  Java

4，  Python

5，  Unzip

这里只需要安装1,2就可以了。下面是遇到的一些问题：

解压：tar –xvf zeromq-2.1.7.tar.gz

Cd 到bin目录：

./autogen.sh  如果没有找到configure文件时要运行这一步。

./configure

configure: error: cannot link with -luuid, install uuid-dev. 运行时如果报这个错解决方案如下：

yum install uuid-dev 提示找不到该依赖包

yum install uuid*     直接用* ok

./configure  再次运行configure还是报错

configure: error: cannot link with -luuid, install uuid-dev.

上网搜索可能是还缺另外一个包

yum install e2fsprogs* ok

make install

b)  Cd到bin目录./autogen.sh

c)  ./configure

配置说明：10.10.249.195：nimbus   10.10.249.196： supervisor

Storm集群需要zookeeper集群的支持所以应该先安装zookeeper集群。再配置storm集群，下面是storm集群的配置：

b)        解压后修改conf/storm.yaml文件，

storm.zookeeper.servers:

    - "10.10.249.195"

    - "10.10.249.196"

c)        # nimbus.host:"nimbus" 这个不用改，nimbus负责提交任务，分配任务。相当于namenode节点。

配置好以后到bin目录下：

./storm nimbus     启动storm主节点服务

1，修改storm.yaml 文件：

    -"10.10.249.195"

    -"10.10.249.196"

nimbus.host: "10.10.249.195"

#这个是storm将要启动几个本地work，一个端口对应一个work。

2，启动supervisor

./storm supervisor

10.10.249.195上面：

./storm jar stormWork.jar SearchKeywordTopNTopology"word-count"

监控storm运行情况：