本节书摘来自华章计算机《storm企业级应用:实战、运维和调优》一书中的第3章,第3.11节,作者:马延辉 陈书美 雷葆华著, 更多章节内容可以访问云栖社区“华章计算机”公众号查看。
storm使用消息队列传送消息,这就消除了中间的排队过程,使得消息能够直接在任务之间流动。在消息的背后,是一种用于序列化和反序列化原语类型的自动化且高效的机制。
storm的优势是它注重容错和管理。因为storm实现了有保障的消息处理,所以每个元组都会通过该拓扑结构进行全面处理。如果发现一个元组还未处理,它会自动从spout重新发送。storm还实现了任务级的故障检测,在一个任务发生故障时,消息自动重新分配,以快速重新开始处理。storm包含比hadoop更智能的处理流程管理,其流程交由监管员来管理,以确保资源得到充分利用。