《深入了解Spark:核心思想與源碼分析》——第3章SparkContext的初始化

本節書摘來自華章社群《深入了解spark:核心思想與源碼分析》一書中的第3章sparkcontext的初始化，作者耿嘉安，更多章節内容可以通路雲栖社群“華章社群”公衆号檢視

第3章

sparkcontext的初始化

道生一， 一生二， 二生三， 三生萬物。

—《道德經》

本章導讀

sparkcontext的初始化是driver應用程式送出執行的前提，本章内容以local模式為主，并按照代碼執行順序講解，這将有助于首次接觸spark的讀者了解源碼。讀者朋友如果能邊跟蹤代碼，邊學習本章内容，也許是快速了解sparkcontext初始化過程的便捷途徑。已經熟練使用spark的開發人員可以選擇跳過本章内容。

本章将在介紹sparkcontext初始化過程的同時，向讀者介紹各個元件的作用，為閱讀後面的章節打好基礎。spark中的元件很多，就其功能而言涉及網絡通信、分布式、消息、存儲、計算、緩存、測量、清理、檔案服務、web ui的方方面面。