本節書摘來自華章社群《深入了解spark:核心思想與源碼分析》一書中的第3章,第3.11節contextcleaner的建立與啟動,作者耿嘉安,更多章節内容可以通路雲栖社群“華章社群”公衆号檢視
3.11 contextcleaner的建立與啟動
contextcleaner用于清理那些超出應用範圍的rdd、shuffledependency和broadcast對象。由于配置屬性spark.cleaner.referencetracking預設是true,是以會構造并啟動contextcleaner,代碼如下。
private def keepcleaning(): unit = utils.loguncaughtexceptions {
}