Jstorm 環境搭建

有三種安裝部署方式：standalone模式、yarn模式、docker模式，其中standalone模式最簡單、輕量、穩定比較常用，整體規模不超過300台，yarn模式外部依賴較重，規模至少30台，docker比較消耗性能。

standalon模式安裝步驟

搭建外部依賴

搭建jstorm之前需要先搭建外部依賴

1. zookeeper

2. jdk 版本>=1.7

搭建Jstorm叢集

新版本2.4.0

環境： hd-23/hd-24/hd-25

使用者/密碼：jstorm/*

1. 檢查環境

- 檢查機器ip是否傳回正确的ip位址

• 檢查jdk是否安裝以及版本是否高于1.7

$ java -version
           

2. 解壓安裝包，配置JStorm_Home

unzip jstorm-..zip
# 配置環境變量
$ vi ~/.bashrc

export JSTORM_HOME=/home/jstorm/jstorm-.
export PATH=$PATH:$JSTORM_HOME/bin

# 配置後編譯檔案.bashrc
$ source ~/source ~/.bashrc

# 檢視是否編譯成功
$ echo $JSTORM_HOME
           

3. 配置 storm.yaml

配置zookeeper相關的配置項

$ cd /home/jstorm/jstorm-/conf/
$ vi storm.yaml

 storm.zookeeper.servers:
     - "hd-23"
     - "hd-24"
     - "hd-25"

 storm.zookeeper.root: "/jstorm"
 storm.local.dir: "/home/jstorm/jstorm-2.4.0/data"
 jstorm.log.dir: "/home/jstorm/jstorm-2.4.0/logs"

java.library.path: "/usr/local/lib:/opt/local/lib:/usr/lib:/usr/local/lib/jdk1.8.0_77/lib"
supervisor.slots.ports:
    - 
    - 
    - 
    - 
           

說明：supervisor中的端口不能被占用，有幾個端口就有幾個worker

==注意：

i.每一行配置開頭必須有空格，否則報錯

ii.zookeeper端口必須一緻，預設2181

iii.不能寫hostname隻能寫ip 否則報錯==

4.在24.25伺服器上重複上述操作。

==必須保證storm.local.dir: “/home/jstorm/jstorm-2.4.0/data”初次安裝時檔案夾是空的，否則會出現緩存情況，導緻supervisor的值與實際值不符==

5.安裝WEB UI

mkdir ~/.jstorm
cp -f /home/jstorm/jstorm-/conf/storm.yaml ~/.jstorm

#編輯檔案，在末尾添加一下配置，此處也可以不配置。
 ui.clusters:
     - {
     # 叢集名稱
         name: "holly-jstorm", 
         #Zk根目錄，與上文中的storm.zookeeper.root一緻即可
         zkRoot: "/jstorm",
         zkServers:
             [ "hd-23","hd-24","hd-25"],
         zkPort: ,
       }



tar -xzf apache-tomcat-.tar.gz
cd apache-tomcat-
cd webapps
cp $JSTORM_HOME/jstorm-ui-.war ./

mv ROOT ROOT.old
ln -s jstorm-ui- ROOT
../bin./startup.sh
           

6. 啟動jstorm

# 在主節點伺服器上執行以下指令
$ cd jstorm-.
$ nohup bin/jstorm nimbus &
# 檢視是否啟動成功
$ jps
 Bootstrap
 NimbusServer
 Jps
# 出現NimbusServer，說明主節點已啟動
#也可以檢視日志
$ tail -f logs/nimbus.log


# 去其他節點執行以下指令

$ cd cd jstorm-.
$ nohup bin/jstorm supervisor &
$ jps
 Supervisor
 Jps

# 出現Supervisor，說明啟動成功

#也可以檢視日志
$ tail -f logs/supervisor.log
           

7. 通路web ui 界面檢視jtorm資訊

http://hd-23:8087/

==注意：如果頁面上supervisor 的數量與實際啟動的值不符，則需要将data中的檔案清除，重新開機==

送出jar

送出jar指令

$ jstorm jar xxx.jar xxx.java params
# xxx.jar jar名稱
# xxx.java 主類入口
# params 參數（配置檔案名稱）