在安裝spark 時,spark支援三種運作模式standalone,yarn,mesos。其中spark on yarn運作模式又分為cluster模式和client模式。下面就介紹安裝spark on yarn一些配置資訊。
1.配置yarn-site.xml
關閉虛拟機記憶體檢查,避免虛拟機記憶體不足時,無法使用。
2.配置hdfs-site.xml
關閉hdfs權限認證問題
3.配置spark-env.sh 需要配置hadoop的conf位址
先啟動hadoop的hdfs和yarn,送出代碼測試,client模式
登入yarn web界面檢視job資訊