Spark： history Server

1.Spark history Server産生背景

以standalone運作模式為例，在運作Spark Application的時候，Spark會提供一個WEBUI列出應用程式的運作時資訊；但該WEBUI随着Application的完成(成功/失敗)而關閉，也就是說，Spark Application運作完(成功/失敗)後，将無法檢視Application的曆史記錄；

Spark history Server就是為了應對這種情況而産生的，通過配置可以在Application執行的過程中記錄下了日志事件資訊，那麼在Application執行結束後，WEBUI就能重新渲染生成UI界面展現出該Application在執行過程中的運作時資訊；

Spark運作在yarn或者mesos之上，通過spark的history server仍然可以重構出一個已經完成的Application的運作時參數資訊（假如Application運作的事件日志資訊已經記錄下來）；

配置&使用Spark History Server

以預設配置的方式啟動spark history server：

cd