天天看點

《Spark大資料處理:技術、應用與性能優化》——3.3 本章小結

本節書摘來自華章計算機《spark大資料處理:技術、應用與性能優化》一書中的第3章,第3.3節,作者:高彥傑 更多章節内容可以通路雲栖社群“華章計算機”公衆号檢視。

本章主要介紹了spark的計算模型,spark将應用程式整體翻譯為一個有向無環圖進行排程和執行。相比mapreduce,spark提供了更加優化和複雜的執行流。

讀者還可以深入了解spark的運作機制與spark算子,這樣能更加直覺地了解api的使用。spark提供了更加豐富的函數式算子,這樣就為spark上層元件的開發奠定了堅實的基礎。

通過閱讀本章,讀者可以對spark計算模型進行更為宏觀的把握。相信讀者還想對spark内部執行機制進行更深入的了解,下面章節就對spark的核心進行更深入的剖析。

繼續閱讀