天天看点

大数据(Storm)-安装下载storm安装包解压安装包并配置软连接配置storm环境变量修改配置文件分发及配置启动storm集群访问Storm UI提交storm任务,验证安装成功

下载storm安装包

http://storm.apache.org/downloads.html

解压安装包并配置软连接

tar -xzvf apache-storm-.tar.gz
ln -s /home/hadoop/application/storm/apache-storm- /usr/local/storm
           

配置storm环境变量

export STORM_HOME=/usr/local/storm
export PATH=$PATH:$STORM_HOME/bin

source /etc/profile
           

修改配置文件

storm_home/conf/storm.yaml

#指定storm使用的zookeeper集群 
storm.zookeeper.servers:
     - "node01"
     - "node02"
     - "node03"

# 指定nimbus所在节点
nimbus.host: "node01"

#指定nimbus jvm的最大可用内存
nimbus.childopts: "-Xmx100m"

#指定supervisor启动JVM最大可用内存大小
supervisor.childopts: "-Xmx100m"

#指定supervisor节点上,每个worker启动JVM最大可用内存大小
worker.childopts: "-Xmx50m"

#指定ui启动JVM最大可用内存大小,ui服务一般与nimbus同在一个节点上
ui.childopts: "-Xmx100m"

#指定supervisor节点上,启动worker时对应的端口号,每个端口对应槽,每个槽位对应一个worker
supervisor.slots.ports:
    - 
    - 
    - 
    - 
           

分发及配置

scp -r storm/ hadoop@node02:~/application/storm/
scp -r storm/ hadoop@node03:~/application/storm/

配置node02及node03的软连接及环境变量,步骤如上。
           

启动storm集群

在nimbus节点启动nimbus
>nohup storm nimbus &

在nimbus节点启动ui
>nohup storm ui &

在另外两个supervisor节点启动supervisor
>nohup storm supervisor &
           

访问Storm UI

http://node01:/index.html

UI所在节点
           

提交storm任务,验证安装成功

storm jar storm-starter-topologies-.jar storm.starter.WordCountTopology wordcount
           
大数据(Storm)-安装下载storm安装包解压安装包并配置软连接配置storm环境变量修改配置文件分发及配置启动storm集群访问Storm UI提交storm任务,验证安装成功

安装成功。