Spark history-server詳解

history-server的部分重要參數：

spark.history.fs.update.interval 預設值10秒

這個參數指定重新整理日志的時間，更短的時間可以更快檢測到新的任務以及任務執行情況，但過快會加重伺服器負載

spark.history.ui.maxApplication 預設值intMaxValue

這個參數指定UI上最多顯示的作業的數目

spark.history.ui.port 預設值18080

這個參數指定history-server的網頁UI端口号

spark.history.fs.cleaner.enabled 預設為false

這個參數指定history-server的日志是否定時清除，true為定時清除，false為不清除。這個值一定設定成true啊，不然日志檔案會越來越大。

spark.history.fs.cleaner.interval 預設值為1d

這個參數指定history-server的日志檢查間隔，預設每一天會檢查一下日志檔案

spark.history.fs.cleaner.maxAge 預設值為7d

這個參數指定history-server日志生命周期，當檢查到某個日志檔案的生命周期為7d時，則會删除該日志檔案

spark.eventLog.compress 預設值為false

這個參數設定history-server産生的日志檔案是否使用壓縮，true為使用，false為不使用。這個參數務可以成壓縮哦，不然日志檔案歲時間積累會過大

spark.history.retainedApplications 　預設值：50

在記憶體中儲存Application曆史記錄的個數，如果超過這個值，舊的應用程式資訊将被删除，當再次通路已被删除的應用資訊時需要重新建構頁面。