天天看點

如何在E-MapReduce上使用storm

目前e-mapreduce已經支援了apache社群的1.0.1版本的storm。使用者可以通過選擇e-mapreduce 最新的鏡像版本emr-2.0.0(以及後續的以上版本),通過在控制台軟體清單中勾選storm軟體進行安裝,選擇完畢後即可登入到master節點,通過指令行送出storm作業(e-mapreduce控制台頁面暫時還不支援頁面送出storm作業類型,後續根據使用者的使用情況會考慮支援)。具體建構叢集相關選項如下圖所示:

如何在E-MapReduce上使用storm

通過ssh指令,登入叢集的master節點。

登入到該節點後,即可通過指令行的方式送出作業,e-mapreduce叢集中storm的運作環境位置為:<code>/opt/apps/apache-storm-1.0.1</code> (使用者可以自行将該運作環境目錄配置到自己的環境變量中)。

送出storm作業的指令例如:<code>/opt/apps/apache-storm-1.0.1/bin/storm jar xxxx.jar com.aliyun.emr.mainclassxxx args1 args2</code>

監控ui的截圖樣例如下:

如何在E-MapReduce上使用storm

storm會在master節點啟動nimbus程序和監控ui程序,分别占用6627端口和9999端口。

storm會在core節點啟動 supervisor 占用 6700 6701 6702 6703 端口。

繼續閱讀