前一天送出的spark streaming測試程式,master為local[*]
第二天從cdh界面發現該主機多了100多G檔案
檢視hdfs 目錄下/user/spark/applicationHistory,發現送出的spark程式産生了大量日志檔案
hdfs dfs -du -h /user/spark/applicationHistory
檢視前幾行,都是些event日志,下面是一部分截圖。
去cdh界面,spark搜配置,spark.eventlog.enabled
預設是開啟,關閉就ok了,然後将日志檔案删除,并清空hdfs資源回收筒.