《Spark大資料分析實戰》——2.4節配置Spark源碼閱讀環境

本節書摘來自華章社群《spark大資料分析實戰》一書中的第2章，第2.4節配置spark源碼閱讀環境，作者高彥傑　倪亞宇，更多章節内容可以通路雲栖社群“華章社群”公衆号檢視

2.4　配置spark源碼閱讀環境

由于spark使用sbt作為項目管理建構工具，sbt的配置檔案中配置了依賴的jar包網絡路徑，在編譯或者生成指定類型項目時需要從網絡下載下傳jar包。需要使用者預先安裝git。在linux作業系統或者windows作業系統上（使用者可以下載下傳git shell，在git shell中進行指令行操作）通過“sbt/sbt gen-idea”指令，生成intellij項目檔案，然後在intellij ide中直接通過“open project”打開項目。

克隆spark源碼：

在所需要的軟體安裝好後在spark源代碼根目錄下，輸入以下指令生成intellij項目：

這樣sbt會自動下載下傳依賴包和進行源檔案編譯以及生成intellij所需要的項目檔案。