天天看点

开源大数据周刊-第16期

<a href="https://www.aliyun.com/product/emapreduce?spm=0.0.0.0.evlkl4">e-mapreduce团队</a>

1.4版本(已经发布)

作业运行失败报警

作业并行提交

添加sqoop、shell类型的作业

1.4.1版本(正在研发)

完善失败报警

完善定时任务,增加小时、分钟定时任务

1.5.0版本 (正在研发)

集群整体运行情况的仪表盘

集群状态监控报警

1.6.0版本

交互式查询(支持hive、spark)

<a href="http://www.oschina.net/news/75627/apache-spark-2-0-0">apache spark 2.0.0 发布,apis 更新</a>

该版本主要更新apis,支持sql 2003,支持r udf ,增强其性能。

<a href="http://www.iteblog.com/archives/1668">spark2.0技术预览,更易用、更快速、更智能</a>

spark2.0统一了streaming与batch的api,引入了dataset,另外就是tungsten等性能优化,让spark成为更加优秀的分布式计算引擎。

<a href="http://www.d1net.com/bigdata/news/422339.html">spark 分析与+ mongodb 提供数据库即服务</a>

mongodb的快速部署,是其大受欢迎的主要原因。在其年度会议上,这个nosql数据库背后的公司展示了一系列的改进,包括与spark分析的互联。

<a href="http://www.dataguru.cn/article-9110-1.html">飞一般的感觉!当spark遇到redis~</a>

一些内存数据结构比其他数据结构来得更高效;如果充分利用redis,spark运行起来速度更快。

<a href="http://www.open-open.com/news/view/7b9561">变不可能为可能,tachyon帮助spark变小时级任务到秒</a>

tachyon就可以帮你让这些数据长期处于内存中并且在不同应用之间共享。

<a href="http://geek.csdn.net/news/detail/76853">spark多数据源计算实践及其在growingio的实践</a>

本文主要介绍如何使用apache spark中的datasource api以实现多个数据源混合计算的实践。

<a href="https://mp.weixin.qq.com/s?__biz=mza5nzkxmzg1nw==&amp;mid=2653159536&amp;idx=1&amp;sn=b02c437b756124e1bc0601bf97c4ebbd">用spark进行大数据处理之机器学习篇</a>

讨论机器学习概念以及如何使用spark mllib来进行预测分析。

<a href="http://www.ibm.com/developerworks/cn/opensource/os-cn-spark-streaming-picture/">spark streaming图片处理案例介绍</a>

本文首先介绍了流式处理框架的设计原理、spark streaming 的工作原理,然后通过一个基于 spark streaming 编写的读取、分析、写入图片的示例帮助读者加深了解 spark streaming 的工作原理。

| 会议 | 地点 | 时间 | 费用 |

| --- | --- | --- | --- |

信息都是来自互联网,都给出了原文的链接,如果侵权,请联系我们,我们负责删除。

<a href="https://yq.aliyun.com/articles/58009">开源大数据周刊-第15期</a>

<a href="https://yq.aliyun.com/articles/57774">开源大数据周刊-第14期</a>

<a href="https://yq.aliyun.com/articles/57590">开源大数据周刊-第13期</a>

<a href="https://yq.aliyun.com/articles/57222">开源大数据周刊-第12期</a>

<a href="https://yq.aliyun.com/articles/55993">开源大数据周刊-第11期</a>

<a href="https://yq.aliyun.com/articles/55841">开源大数据周刊-第10期</a>

<a href="https://yq.aliyun.com/articles/54496">开源大数据周刊-第9期</a>

<a href="https://yq.aliyun.com/articles/54008">开源大数据周刊-第8期</a>

<a href="https://yq.aliyun.com/articles/53726">开源大数据周刊-第7期</a>

<a href="https://yq.aliyun.com/articles/50632">开源大数据周刊-第6期</a>

<a href="https://yq.aliyun.com/articles/45516">开源大数据周刊-第5期</a>

<a href="https://yq.aliyun.com/articles/39701">开源大数据周刊-第4期</a>

<a href="https://yq.aliyun.com/articles/36901">开源大数据周刊-第3期</a>

<a href="https://yq.aliyun.com/articles/33574">开源大数据周刊-第2期</a>

<a href="https://yq.aliyun.com/articles/30795">开源大数据周刊-第1期</a>

继续阅读