天天看點

Storm已死,Spark已涼,Flink永遠滴神!大資料起源于批處理,在批處理上,Spark有很深的積累。為了應對全球

作者:架構筆記

Storm 已死,Spark 已涼,Flink 永遠滴神!

大資料起源于批處理,在批處理上,Spark有很深的積累。為了應對全球大量業務的實時需求,Spark也推出了流計算解決方案——SparkStreaming。但Spark畢竟不是一款純流式計算引擎,是以在時效性等問題上,始終無法提供極緻的流批一體體驗。

而後起新秀 Flink 的基本資料模型則是資料流,以及事件(Event)的序列。資料流作為資料的基本模型,可以是無邊界的無限“流”,即一般意義上的流處理;也可以是有邊界的有限“流”,也就同時兼顧了批處理。

Flink 相比于 Spark 而言還有諸多明顯優勢:

* 支援高效容錯的狀态管理,保證在任何時間都能計算出正确的結果;

* 同時支援高吞吐、低延遲、高性能的分布式流式資料處理架構;

* 支援事件時間(Event Time)概念,事件即使無序到達甚至延遲到達,資料流都能夠計算出精确的結果;

* 輕量級分布式快照(Snapshot)實作的容錯,能将計算過程分布到單台并行節點上進行處理。

Storm已死,Spark已涼,Flink永遠滴神!大資料起源于批處理,在批處理上,Spark有很深的積累。為了應對全球
Storm已死,Spark已涼,Flink永遠滴神!大資料起源于批處理,在批處理上,Spark有很深的積累。為了應對全球
Storm已死,Spark已涼,Flink永遠滴神!大資料起源于批處理,在批處理上,Spark有很深的積累。為了應對全球

繼續閱讀