天天看点

Hadoop summit 2015 实时计算

有幸参加了6月9号到6月11号在圣何塞举办hadoop summit 2015,主要关注了实时计算相关的topic。

本次参会的主要感受是:实时处理成为各个公司的标配,olap是基本需求。

下面我主要分享如下三个议题:

实时计算框架(主要是storm,spark主题太少,涉及实时计算的基本没有)

realtime process和 batch process的统一

realtime 处理架构以及design pattern

这次hadoop 峰会有一个storm的committer(来自yahoo)分享了storm在yahoo遇到的问题以及如何解决这些问题的方法,同时介绍了后续storm后续发展规划

Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算

由于这次是hadoop summit 所以介绍spark很少,介绍spark streaming就没有了

Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算
Hadoop summit 2015 实时计算

</h4>

 该文章来自于阿里巴巴技术协会(ata)

继续阅读