天天看点

《Storm企业级应用:实战、运维和调优》——第3章 核心概念和数据流模型

本节书摘来自华章计算机《storm企业级应用:实战、运维和调优》一书中的第3章,作者:马延辉 陈书美 雷葆华著, 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

本章从细节入手,了解storm的核心概念,包括stream、spout、bolt、tuple、task、worker、stream grouping和topology。stream是被处理的数据,spout是数据源,bolt处理数据,tuple是数据单元,task是运行spout或bolt中的线程,worker是运行这些线程的进程,stream grouping规定了bolt接收何种类型数据作为输入。topology是由stream grouping连接起来的spout和bolt节点网络。

另外,除了核心概念,本章还介绍数据流模型,从整体上介绍storm,这样从微观和宏观的角度了解storm之后,就可以更好地利用storm这个工具来开展实时处理分析的项目。

继续阅读