天天看点

《Spark核心技术与高级应用》——第2章Spark部署和运行

本节书摘来自华章社区《spark核心技术与高级应用》一书中的第2章spark部署和运行,作者于俊 向海 代其锋 马海平,更多章节内容可以访问云栖社区“华章社区”公众号查看

第2章

spark部署和运行

合抱之木,生于毫末;九层之台,起于累土;千里之行,始于足下。

——《道德经》第六十四章

合抱的粗木,是从细如针毫时长起来的;九层的高台,是一筐土一筐土筑起来的;千里的行程,是一步又一步迈出来的。那么,spark高手之路,是从spark部署和运行开始的,只要坚持,就一定会有收获!

对于大部分想学习spark的人而言,如何构建稳定的spark集群是学习的重点之一,为了解决构建spark集群的困难,本章内容从简入手,循序渐进,主要包括:部署准备工作、本地模式部署、独立模式部署、yarn模式部署,以及基于各种模式的应用程序运行。

很多优秀的集成部署工具值得推荐,如cloudera manager,但是本章重点讲解手动部署,借以加深对部署的理解。部署完毕,可以直接体验一下运行的快感,在自我陶醉的同时,细细品味过程中的细节。

继续阅读