本节书摘来自华章社区《深入理解spark:核心思想与源码分析》一书中的第3章,第3.11节contextcleaner的创建与启动,作者耿嘉安,更多章节内容可以访问云栖社区“华章社区”公众号查看
3.11 contextcleaner的创建与启动
contextcleaner用于清理那些超出应用范围的rdd、shuffledependency和broadcast对象。由于配置属性spark.cleaner.referencetracking默认是true,所以会构造并启动contextcleaner,代码如下。
private def keepcleaning(): unit = utils.loguncaughtexceptions {
}