本节书摘来自华章社区《深入理解spark:核心思想与源码分析》一书中的第3章,第3.3节创建metadatacleaner,作者耿嘉安,更多章节内容可以访问云栖社区“华章社区”公众号查看
3.3 创建metadatacleaner
sparkcontext为了保持对所有持久化的rdd的跟踪,使用类型是timestamped-weakvaluehashmap的persistentrdds缓存。metadatacleaner的功能是清除过期的持久化rdd。创建metadatacleaner的代码如下。