《深入了解Spark:核心思想與源碼分析》——3.13節建立DAGSchedulerSource和BlockManagerSource

本節書摘來自華章社群《深入了解spark:核心思想與源碼分析》一書中的第3章，第3.13節建立dagschedulersource和blockmanagersource，作者耿嘉安，更多章節内容可以通路雲栖社群“華章社群”公衆号檢視

3.13　建立dagschedulersource和blockmanagersource

在建立dagschedulersource、blockmanagersource之前首先調用taskscheduler的post-starthook方法，其目的是為了等待backend就緒，見代碼清單3-53。poststarthook的實作見代碼清單3-54。

建立dagschedulersource和blockmanagersource的過程類似于executorsource，隻不過dagschedulersource測量的資訊是stage. failedstages、stage. runningstages、stage. waiting-stages、stage. alljobs、stage. activejobs，blockmanagersource測量的資訊是memory. maxmem_mb、memory. remainingmem_mb、memory. memused_mb、memory. diskspace-used_mb。

代碼清單3-53　建立dagschedulersource和blockmanagersource