天天看點

基于AWS的時序處理應用架構

當資料用來作為定期連續測量時,它被稱為時間序列資訊。通過AWS的獨特定位解決了基于時間序列的資訊處理帶來了規模化挑戰。

這種彈性是通過AutoScaling組進行采集處理,Amazon Elastic MapReduce定時作業的AWS資料管道,系統間資料編排的AWS資料管道,大規模資料分析的AmazonRedshift來實作的。關鍵架構要素包括用于消息緩沖的SQS,它減少了頻繁AWS資料管道排程,保持了整體解決方案的成本預測和控制。

1.  遠端裝置,如電表,移動用戶端,廣告網絡用戶端,工業儀表,衛星和環境測量工具感覺着他們周圍的世界,并通過HTTP(S)發送采樣傳感器資料作為資訊進行處理。

2.  發送到Amazon Simple QueueService 隊列的資訊通過自擴充的AmazonEC2 進一步存儲到 Amazon DynamoDB。 DynamoDB 中的表是一個基于時間且面向星期的表結構。

3.  如果存在一個一個監督控制和資料采集(SCADA)的系統,可以從Amazon DynamoDB 建立采樣資料流來分别支援另外的雲計算或其他的現有系統。

4.  通過一個定時的Amazon ElasticMapReduce作業來建立資料管道,可以同時計算密集的采樣處理并輸出采樣結果。

5.  資料管道将結果存儲到Amazon Redshift用于進一步的分析。

6.  資料管道将面向星期的曆史采樣資料表從AmazonDynamoDB 導出到Amazon Simple Storage Service (Amazon S3)。

7.  資料管道将結果導出為其他可接受的自定義格式。

8.  Amazon Redshift 作為選項來保留曆史采樣資料及計算結果。

9.  用内部或亞馬遜合作夥伴的商業智能解決方案,AmazonRedshift可以支援其他的大規模分析。