天天看點

storm實時流式計算架構叢集搭建過程

<a href="http://blog.csdn.net/comaple/article/details/7896167">http://blog.csdn.net/comaple/article/details/7896167</a>

這幾天在其他同僚的幫助下,調研了twitter的開源流式計算架構storm的使用,下面分享一下storm叢集的安裝配置過程。以作備忘之用。

我的實驗機器為:195和196

首先:安裝依賴包

3,  Java

4,  Python

5,  Unzip

這裡隻需要安裝1,2就可以了。下面是遇到的一些問題:

解壓:tar –xvf zeromq-2.1.7.tar.gz

Cd 到bin目錄:

./autogen.sh  如果沒有找到configure檔案時要運作這一步。

./configure

configure: error: cannot link with -luuid, install uuid-dev. 運作時如果報這個錯解決方案如下:

yum install uuid-dev 提示找不到該依賴包

yum install uuid*     直接用* ok

./configure  再次運作configure還是報錯

configure: error: cannot link with -luuid, install uuid-dev.

上網搜尋可能是還缺另外一個包

yum install e2fsprogs* ok

make install

b)  Cd到bin目錄./autogen.sh

c)  ./configure

配置說明:10.10.249.195:nimbus   10.10.249.196: supervisor

Storm叢集需要zookeeper叢集的支援是以應該先安裝zookeeper叢集。再配置storm叢集,下面是storm叢集的配置:

b)        解壓後修改conf/storm.yaml檔案,

storm.zookeeper.servers:

    - "10.10.249.195"

    - "10.10.249.196"

c)        # nimbus.host:"nimbus" 這個不用改,nimbus負責送出任務,配置設定任務。相當于namenode節點。

配置好以後到bin目錄下:

./storm nimbus     啟動storm主節點服務

1,修改storm.yaml 檔案:

    -"10.10.249.195"

    -"10.10.249.196"

nimbus.host: "10.10.249.195"

#這個是storm将要啟動幾個本地work,一個端口對應一個work。

2,啟動supervisor

./storm supervisor

10.10.249.195上面:

./storm jar stormWork.jar SearchKeywordTopNTopology"word-count"

監控storm運作情況: