天天看點

Spark應用(app jar)釋出到Hadoop叢集的過程1.絕對路徑開啟叢集2.絕對路徑關閉叢集3.Spark業務(app)釋出到Hadoop YARN叢集方式4.log位址(友善檢視錯誤資訊)5.web位址檢視(可以直覺的檢視叢集執行情況)

記錄了spark,hadoop叢集的開啟,關閉,以及spark應用送出到hadoop叢集的過程,通過web端監控運作狀态。

(每次叢集重新開機,預設配置的hadoop叢集中tmp檔案被清空是以需要重新format)

我的叢集安裝位置是/opt/hadoop下,可以根據自己路徑修改。

使用jps指令檢視叢集是否全部正确開啟

Spark應用(app jar)釋出到Hadoop叢集的過程1.絕對路徑開啟叢集2.絕對路徑關閉叢集3.Spark業務(app)釋出到Hadoop YARN叢集方式4.log位址(友善檢視錯誤資訊)5.web位址檢視(可以直覺的檢視叢集執行情況)

這裡釋出一個spark本身自帶的jar發到hadoop叢集中(此時hadoop和spark都已開啟)

注意spark-examples-1.6.2-hadoop2.6.0.jar,需要根據你的版本來看自帶的版本号。

Spark應用(app jar)釋出到Hadoop叢集的過程1.絕對路徑開啟叢集2.絕對路徑關閉叢集3.Spark業務(app)釋出到Hadoop YARN叢集方式4.log位址(友善檢視錯誤資訊)5.web位址檢視(可以直覺的檢視叢集執行情況)

/opt/hadoop/logs/

/opt/spark/logs/

<a href="http://localhost:8088/cluster/apps">http://localhost:8088/cluster/apps</a>

<a href="http://localhost:8080/">http://localhost:8080/</a>

Spark應用(app jar)釋出到Hadoop叢集的過程1.絕對路徑開啟叢集2.絕對路徑關閉叢集3.Spark業務(app)釋出到Hadoop YARN叢集方式4.log位址(友善檢視錯誤資訊)5.web位址檢視(可以直覺的檢視叢集執行情況)

檢視sparkpi運作結果,結果為pi is roughly 3.140572。數值可能稍有不同。總之成功了!

Spark應用(app jar)釋出到Hadoop叢集的過程1.絕對路徑開啟叢集2.絕對路徑關閉叢集3.Spark業務(app)釋出到Hadoop YARN叢集方式4.log位址(友善檢視錯誤資訊)5.web位址檢視(可以直覺的檢視叢集執行情況)
Spark應用(app jar)釋出到Hadoop叢集的過程1.絕對路徑開啟叢集2.絕對路徑關閉叢集3.Spark業務(app)釋出到Hadoop YARN叢集方式4.log位址(友善檢視錯誤資訊)5.web位址檢視(可以直覺的檢視叢集執行情況)