天天看点

《Spark核心技术与高级应用》——第3章Spark程序开发

本节书摘来自华章社区《spark核心技术与高级应用》一书中的第3章spark程序开发,作者于俊 向海 代其锋 马海平,更多章节内容可以访问云栖社区“华章社区”公众号查看

第3章

spark程序开发

致虚极,守静笃。万物并作,吾以观复。

——《道德经》第十六章

这世间,一切原本都是空虚而宁静的,万物也因而能够在其中生长。因此,要追寻万物的本质,必须恢复其最原始的虚静状态,只有致虚和守静做到极笃的境地,万物才能蓬勃生长,往复循环。

作为程序员,怎么提倡超越都不为过,但落地到具体问题,我们需要有比较实际的措施。从简单程序开始,以致虚和守静的心态,清空自己在大数据方向不劳而获的幻想,逐步成长为业内有影响力的角色。对于大部分程序员而言,本章内容略显基础,首先通过spark交互shell来介绍spark api,编写简单的spark程序,然后展示如何构建spark开发环境,以及编写简单的spark案例程序,并提交应用程序。

继续阅读