天天看點

Hadoop summit 2015 實時計算

有幸參加了6月9号到6月11号在聖何塞舉辦hadoop summit 2015,主要關注了實時計算相關的topic。

本次參會的主要感受是:實時處理成為各個公司的标配,olap是基本需求。

下面我主要分享如下三個議題:

實時計算架構(主要是storm,spark主題太少,涉及實時計算的基本沒有)

realtime process和 batch process的統一

realtime 處理架構以及design pattern

這次hadoop 峰會有一個storm的committer(來自yahoo)分享了storm在yahoo遇到的問題以及如何解決這些問題的方法,同時介紹了後續storm後續發展規劃

Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算

由于這次是hadoop summit 是以介紹spark很少,介紹spark streaming就沒有了

Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算
Hadoop summit 2015 實時計算

</h4>

 該文章來自于阿裡巴巴技術協會(ata)

繼續閱讀