天天看點

《Storm分布式實時計算模式》——導讀

《Storm分布式實時計算模式》——導讀

前  言

目前對資訊高時效性、可操作性的需求不斷增長,這要求軟體系統在更少的時間内能處理更多的資料。随着可連接配接裝置數量不斷增加,以及在衆多行業領域廣泛應用,這種資訊需求已無處不在。傳統企業的營運系統被迫處理原先隻有網際網路企業才會遇到的大規模資料。這種重大轉變正不斷瓦解傳統架構和解決方案,傳統上會将線上事務處理和離線分析分割開來。與此同時,人們正在重新勾勒從資料中提取資訊的意義和價值。軟體架構和基礎設施也在不斷進化,以适應這種新場景。

具體地說,資料的生成可以看作一連串發生的離散事件,這些事件流會伴随着不同的資料流、操作和分析,都會由一個通用的軟體架構和基礎設施來處理。

storm正是最流行的實時流計算架構之一,它提供了可容錯分布式計算所要求的基本原語和保障機制,可以滿足大容量關鍵業務應用的需求。它不但是一套技術的整合,也是一種資料流和控制的機制。很多大公司都将storm作為大資料處理平台的核心部分。

嘗試使用本書中介紹的設計模式,你将學到開發、部署、營運資料處理的流程,它具有每天或者每小時處理上億次事務的能力。

本書介紹了多種分布式計算相關的主題,包括設計和內建的模式,還介紹了這些技術常見的适用領域和具體應用。本書通過實際示例,從最簡單的topology出發,首先向使用者介紹了storm基礎,然後通過更複雜的示例,逐漸引入storm的進階概念、更細緻的部署方案以及營運中需要關注的事項。

目  錄

前言

[第1章 分布式單詞計數

<a href="https://yq.aliyun.com/articles/118182">1.2 單詞計數topology的資料流</a>

<a href="https://yq.aliyun.com/articles/118197">1.3 實作單詞計數topology</a>

<a href="https://yq.aliyun.com/articles/118202">1.4 storm的并發機制</a>

<a href="https://yq.aliyun.com/articles/118214">1.5 了解資料流分組</a>

<a href="https://yq.aliyun.com/articles/118221">1.6 有保障機制的資料處理</a>

<a href="https://yq.aliyun.com/articles/118224">總結</a>

[第2章 配置storm叢集

<a href="https://yq.aliyun.com/articles/118237">2.2 storm技術棧簡介</a>

<a href="https://yq.aliyun.com/articles/118255">2.3 在linux上安裝storm</a>

<a href="https://yq.aliyun.com/articles/118259">2.4 把toplogy送出到叢集中</a>

<a href="https://yq.aliyun.com/articles/118262">2.5 自動化叢集配置</a>

<a href="https://yq.aliyun.com/articles/118283">2.6 puppet的快速入門</a>

<a href="https://yq.aliyun.com/articles/118284">總結</a>

[第3章 trident和傳感器資料

<a href="https://yq.aliyun.com/articles/118295">3.2 trident topology</a>

<a href="https://yq.aliyun.com/articles/118309">3.3 trident spout</a>

<a href="https://yq.aliyun.com/articles/118321">3.4 trident運算</a>

<a href="https://yq.aliyun.com/articles/118331">3.5 trident聚合器</a>

<a href="https://yq.aliyun.com/articles/118350">3.6 trident狀态</a>

<a href="https://yq.aliyun.com/articles/118354">3.7 執行topology</a>

<a href="https://yq.aliyun.com/articles/118362">總結</a>

繼續閱讀