天天看點

一臉懵逼學習Storm的搭建--(一個開源的分布式實時計算系統)

 1:安裝一個zookeeper叢集,之前已經部署過,這裡省略,貼一下步驟;

安裝配置zooekeeper叢集:         1.1:解壓             tar -zxvf zookeeper-3.4.5.tar.gz         1.2:修改配置             cd /home/hadoop/zookeeper-3.4.5/conf/             cp zoo_sample.cfg zoo.cfg             vim zoo.cfg             修改:dataDir=/home/hadoop/zookeeper-3.4.5/tmp             在最後添加:             server.1=master:2888:3888             server.2=slaver1:2888:3888             server.3=slaver2:2888:3888             儲存退出             然後建立一個tmp檔案夾             mkdir /home/hadoop/zookeeper-3.4.5/tmp             再建立一個空檔案             touch /home/hadoop/zookeeper-3.4.5/tmp/myid             最後向該檔案寫入ID             echo 1 > /home/hadoop/zookeeper-3.4.5/tmp/myid         1.3将配置好的zookeeper拷貝到其他節點:             scp -r /home/hadoop/zookeeper-3.4.5/ slaver1:/home/hadoop/             scp -r /home/hadoop/zookeeper-3.4.5/ slaver2:/home/hadoop/             注意:修改slaver1、slaver2對應/home/hadoop/zookeeper-3.4.5/tmp/myid内容             slaver1:                 echo 2 > /home/hadoop/zookeeper-3.4.5/tmp/myid             slaver2:                 echo 3 > /home/hadoop/zookeeper-3.4.5/tmp/myid

2、上傳storm的安裝包,解壓縮:

[root@master hadoop]# tar -zxvf apache-storm-0.9.2-incubating.tar.gz

一臉懵逼學習Storm的搭建--(一個開源的分布式實時計算系統)

3、修改配置檔案storm.yaml:

可以建立一個軟連接配接,友善操作storm:[root@master soft]# ln -s apache-storm-0.9.2-incubating storm

一臉懵逼學習Storm的搭建--(一個開源的分布式實時計算系統)

修改内容如下所示,下面兩個配置均可:

 此次配置使用下面的,進行叢集安裝:

一臉懵逼學習Storm的搭建--(一個開源的分布式實時計算系統)

然後将master修改好的storm發送到slaver1,slaver2:

[root@master hadoop]# scp -r apache-storm-0.9.2-incubating/ slaver1:/home/hadoop/

[root@master hadoop]# scp -r apache-storm-0.9.2-incubating/ slaver2:/home/hadoop/

一臉懵逼學習Storm的搭建--(一個開源的分布式實時計算系統)

4:啟動storm叢集,首先啟動你的Zookeeper叢集,然後再啟動你的storm叢集哈。

 啟動Zookeeper叢集:

一臉懵逼學習Storm的搭建--(一個開源的分布式實時計算系統)
一臉懵逼學習Storm的搭建--(一個開源的分布式實時計算系統)
一臉懵逼學習Storm的搭建--(一個開源的分布式實時計算系統)

然後啟動Storm叢集:

一臉懵逼學習Storm的搭建--(一個開源的分布式實時計算系統)

 注意,解釋:

  1>/dev/null:代表标準輸入到這個目錄;

  2>&1:代表标準輸出也到這個目錄下面;

  &:代表這個是背景運作;

如下啟動storm友善觀察,最後一行是卡住不動的哦:

一臉懵逼學習Storm的搭建--(一個開源的分布式實時計算系統)

檢視程序如下所示:

一臉懵逼學習Storm的搭建--(一個開源的分布式實時計算系統)

可以啟動一下storm的ui檢視:

一臉懵逼學習Storm的搭建--(一個開源的分布式實時計算系統)

檢視一下程序如:

一臉懵逼學習Storm的搭建--(一個開源的分布式實時計算系統)

啟動ui以後可以在浏覽器通路,如:

一臉懵逼學習Storm的搭建--(一個開源的分布式實時計算系統)

啟動supervisor

[root@slaver1 bin]# ./storm supervisor

一臉懵逼學習Storm的搭建--(一個開源的分布式實時計算系統)

 然後可以啟動剩下的storm:

[root@slaver2 bin]# ./storm supervisor

啟動以後可以檢視程序jps的啟動情況,然後可以去浏覽器檢視自己http://192.168.3.129:8080/index.html的頁面各個啟動情況,如supervisor等等。

一臉懵逼學習Storm的搭建--(一個開源的分布式實時計算系統)

5:Storm常用操作指令:

 注意使用storm運作jar包的時候是沒有輸入輸出路徑的,差別于hadoop離線分析:

使用storm自帶的統計的demo啟動起來以後ui如下所示:

一臉懵逼學習Storm的搭建--(一個開源的分布式實時計算系統)

然後點選wordCount以後如下所示,點選下面的按鈕是相應的操作:

一臉懵逼學習Storm的搭建--(一個開源的分布式實時計算系統)

點選上面的按鈕是相應的操作;

出現如下錯誤,這裡貼一下,出錯原因是:/storm/conf/storm.yaml的配置nimbus.host: "master"前面多了一個空格,删除空格即可:

 開始我用的apache-storm-0.9.2-incubating.tar.gz版本,使用如下官方demo,出現的問題是storm的ui的點選wordcount沒有

Spouts (All time),Bolts (All time),Topology Visualization,Topology Configuration等等這些内容;解決方法,我是換的新版本解決問題:

[root@slaver1 storm]# bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology wordcount

待續......