天天看點

Storm安裝與啟動

Storm安裝與啟動

1. 部署依賴環境

–Java 6+

–Python 2.6.6+

2. 部署zookeeper

–3.4.5+

–ZK為什麼要用3.4.5,因為它支援磁盤的快照和namenode的定期删除,避免磁盤被打滿

3. 分發storm包

–0.9.4+

4. 配置storm

–修改storm.yaml配置檔案

5- 啟動storm

具體步驟如下: 分發Storm到所有nimbus/supervisor伺服器。

Yet Another Markup Language,它有點像XML,和XML不一樣的是,XML是結構化的配置,它友善機器去解析,但是人讀起來是比較費勁的,yaml呢,就是一種比較友好的配置檔案,機器容易解析,人也友善來讀。

conf/storm.yaml

storm.zookeeper.servers:

  -"spark001"

  -"spark002"

  -"spark003"

nimbus.host: "spark001"

/zookeepertest/zookeeper-3.4.6/bin/zkServer.sh status

啟動zk

/zookeepertest/zookeeper-3.4.6/bin/zkServer.sh start

啟動niumbus

cd /usr/hadoopsoft/apache-storm-0.9.5

./bin/storm nimbus >> logs/nimbus.out 2>&1 &

tail -f logs/nimbus.log

啟動UI

./bin/storm ui>> logs/ui.out 2>&1 &

tail -f logs/ui.log

啟動supervisor ./bin/storm supervisor >> logs/supervisor.out 2>&1 &

tail -f logs/supervisor.log

啟動logviewer

./bin/storm logviewer>> logs/logviewer.out 2>&1 &

tail -f logs/logviewer.log

驗證:浏覽器打開webUI,http://spark001:8080

啟動topology

./bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.5.jar storm.starter.WordCountTopologywordcount