storm實時流式計算架構叢集搭建過程

<a href="http://blog.csdn.net/comaple/article/details/7896167">http://blog.csdn.net/comaple/article/details/7896167</a>

這幾天在其他同僚的幫助下，調研了twitter的開源流式計算架構storm的使用，下面分享一下storm叢集的安裝配置過程。以作備忘之用。

我的實驗機器為：195和196

首先：安裝依賴包

3，  Java

4，  Python

5，  Unzip

這裡隻需要安裝1,2就可以了。下面是遇到的一些問題：

解壓：tar –xvf zeromq-2.1.7.tar.gz

Cd 到bin目錄：

./autogen.sh  如果沒有找到configure檔案時要運作這一步。

./configure

configure: error: cannot link with -luuid, install uuid-dev. 運作時如果報這個錯解決方案如下：

yum install uuid-dev 提示找不到該依賴包

yum install uuid*     直接用* ok

./configure  再次運作configure還是報錯

configure: error: cannot link with -luuid, install uuid-dev.

上網搜尋可能是還缺另外一個包

yum install e2fsprogs* ok

make install

b)  Cd到bin目錄./autogen.sh

c)  ./configure

配置說明：10.10.249.195：nimbus   10.10.249.196： supervisor

Storm叢集需要zookeeper叢集的支援是以應該先安裝zookeeper叢集。再配置storm叢集，下面是storm叢集的配置：

b)        解壓後修改conf/storm.yaml檔案，

storm.zookeeper.servers:

    - "10.10.249.195"

    - "10.10.249.196"

c)        # nimbus.host:"nimbus" 這個不用改，nimbus負責送出任務，配置設定任務。相當于namenode節點。

配置好以後到bin目錄下：

./storm nimbus     啟動storm主節點服務

1，修改storm.yaml 檔案：

    -"10.10.249.195"

    -"10.10.249.196"

nimbus.host: "10.10.249.195"

#這個是storm将要啟動幾個本地work，一個端口對應一個work。

2，啟動supervisor

./storm supervisor

10.10.249.195上面：

./storm jar stormWork.jar SearchKeywordTopNTopology"word-count"

監控storm運作情況：