天天看點

spark on yarn 安裝問題

        在安裝spark 時,spark支援三種運作模式standalone,yarn,mesos。其中spark on yarn運作模式又分為cluster模式和client模式。下面就介紹安裝spark on yarn一些配置資訊。

        1.配置yarn-site.xml

            關閉虛拟機記憶體檢查,避免虛拟機記憶體不足時,無法使用。 

spark on yarn 安裝問題

        2.配置hdfs-site.xml

            關閉hdfs權限認證問題

spark on yarn 安裝問題

3.配置spark-env.sh 需要配置hadoop的conf位址

spark on yarn 安裝問題

先啟動hadoop的hdfs和yarn,送出代碼測試,client模式

spark on yarn 安裝問題

登入yarn web界面檢視job資訊

spark on yarn 安裝問題
spark on yarn 安裝問題

繼續閱讀