天天看點

《Spark核心技術與進階應用》——第2章Spark部署和運作

本節書摘來自華章社群《spark核心技術與進階應用》一書中的第2章spark部署和運作,作者于俊 向海 代其鋒 馬海平,更多章節内容可以通路雲栖社群“華章社群”公衆号檢視

第2章

spark部署和運作

合抱之木,生于毫末;九層之台,起于累土;千裡之行,始于足下。

——《道德經》第六十四章

合抱的粗木,是從細如針毫時長起來的;九層的高台,是一筐土一筐土築起來的;千裡的行程,是一步又一步邁出來的。那麼,spark高手之路,是從spark部署和運作開始的,隻要堅持,就一定會有收獲!

對于大部分想學習spark的人而言,如何建構穩定的spark叢集是學習的重點之一,為了解決建構spark叢集的困難,本章内容從簡入手,循序漸進,主要包括:部署準備工作、本地模式部署、獨立模式部署、yarn模式部署,以及基于各種模式的應用程式運作。

很多優秀的內建部署工具值得推薦,如cloudera manager,但是本章重點講解手動部署,借以加深對部署的了解。部署完畢,可以直接體驗一下運作的快感,在自我陶醉的同時,細細品味過程中的細節。

繼續閱讀