天天看点

《深入理解Spark:核心思想与源码分析》——3.11节ContextCleaner的创建与启动

本节书摘来自华章社区《深入理解spark:核心思想与源码分析》一书中的第3章,第3.11节contextcleaner的创建与启动,作者耿嘉安,更多章节内容可以访问云栖社区“华章社区”公众号查看

3.11 contextcleaner的创建与启动

contextcleaner用于清理那些超出应用范围的rdd、shuffledependency和broadcast对象。由于配置属性spark.cleaner.referencetracking默认是true,所以会构造并启动contextcleaner,代码如下。

private def keepcleaning(): unit = utils.loguncaughtexceptions {

}

继续阅读