天天看點

《深入了解Spark:核心思想與源碼分析》——3.11節ContextCleaner的建立與啟動

本節書摘來自華章社群《深入了解spark:核心思想與源碼分析》一書中的第3章,第3.11節contextcleaner的建立與啟動,作者耿嘉安,更多章節内容可以通路雲栖社群“華章社群”公衆号檢視

3.11 contextcleaner的建立與啟動

contextcleaner用于清理那些超出應用範圍的rdd、shuffledependency和broadcast對象。由于配置屬性spark.cleaner.referencetracking預設是true,是以會構造并啟動contextcleaner,代碼如下。

private def keepcleaning(): unit = utils.loguncaughtexceptions {

}

繼續閱讀