天天看點

送出spark streaming産生大量磁盤檔案

前一天送出的spark streaming測試程式,master為local[*]

第二天從cdh界面發現該主機多了100多G檔案

檢視hdfs 目錄下/user/spark/applicationHistory,發現送出的spark程式産生了大量日志檔案

hdfs dfs -du -h /user/spark/applicationHistory

送出spark streaming産生大量磁盤檔案

檢視前幾行,都是些event日志,下面是一部分截圖。

送出spark streaming産生大量磁盤檔案
送出spark streaming産生大量磁盤檔案

去cdh界面,spark搜配置,spark.eventlog.enabled

送出spark streaming産生大量磁盤檔案

預設是開啟,關閉就ok了,然後将日志檔案删除,并清空hdfs資源回收筒.

繼續閱讀