天天看點

開源大資料周刊-第16期

<a href="https://www.aliyun.com/product/emapreduce?spm=0.0.0.0.evlkl4">e-mapreduce團隊</a>

1.4版本(已經釋出)

作業運作失敗報警

作業并行送出

添加sqoop、shell類型的作業

1.4.1版本(正在研發)

完善失敗報警

完善定時任務,增加小時、分鐘定時任務

1.5.0版本 (正在研發)

叢集整體運作情況的儀表盤

叢集狀态監控報警

1.6.0版本

互動式查詢(支援hive、spark)

<a href="http://www.oschina.net/news/75627/apache-spark-2-0-0">apache spark 2.0.0 釋出,apis 更新</a>

該版本主要更新apis,支援sql 2003,支援r udf ,增強其性能。

<a href="http://www.iteblog.com/archives/1668">spark2.0技術預覽,更易用、更快速、更智能</a>

spark2.0統一了streaming與batch的api,引入了dataset,另外就是tungsten等性能優化,讓spark成為更加優秀的分布式計算引擎。

<a href="http://www.d1net.com/bigdata/news/422339.html">spark 分析與+ mongodb 提供資料庫即服務</a>

mongodb的快速部署,是其大受歡迎的主要原因。在其年度會議上,這個nosql資料庫背後的公司展示了一系列的改進,包括與spark分析的互聯。

<a href="http://www.dataguru.cn/article-9110-1.html">飛一般的感覺!當spark遇到redis~</a>

一些記憶體資料結構比其他資料結構來得更高效;如果充分利用redis,spark運作起來速度更快。

<a href="http://www.open-open.com/news/view/7b9561">變不可能為可能,tachyon幫助spark變小時級任務到秒</a>

tachyon就可以幫你讓這些資料長期處于記憶體中并且在不同應用之間共享。

<a href="http://geek.csdn.net/news/detail/76853">spark多資料源計算實踐及其在growingio的實踐</a>

本文主要介紹如何使用apache spark中的datasource api以實作多個資料源混合計算的實踐。

<a href="https://mp.weixin.qq.com/s?__biz=mza5nzkxmzg1nw==&amp;mid=2653159536&amp;idx=1&amp;sn=b02c437b756124e1bc0601bf97c4ebbd">用spark進行大資料處理之機器學習篇</a>

讨論機器學習概念以及如何使用spark mllib來進行預測分析。

<a href="http://www.ibm.com/developerworks/cn/opensource/os-cn-spark-streaming-picture/">spark streaming圖檔處理案例介紹</a>

本文首先介紹了流式處理架構的設計原理、spark streaming 的工作原理,然後通過一個基于 spark streaming 編寫的讀取、分析、寫入圖檔的示例幫助讀者加深了解 spark streaming 的工作原理。

| 會議 | 地點 | 時間 | 費用 |

| --- | --- | --- | --- |

資訊都是來自網際網路,都給出了原文的連結,如果侵權,請聯系我們,我們負責删除。

<a href="https://yq.aliyun.com/articles/58009">開源大資料周刊-第15期</a>

<a href="https://yq.aliyun.com/articles/57774">開源大資料周刊-第14期</a>

<a href="https://yq.aliyun.com/articles/57590">開源大資料周刊-第13期</a>

<a href="https://yq.aliyun.com/articles/57222">開源大資料周刊-第12期</a>

<a href="https://yq.aliyun.com/articles/55993">開源大資料周刊-第11期</a>

<a href="https://yq.aliyun.com/articles/55841">開源大資料周刊-第10期</a>

<a href="https://yq.aliyun.com/articles/54496">開源大資料周刊-第9期</a>

<a href="https://yq.aliyun.com/articles/54008">開源大資料周刊-第8期</a>

<a href="https://yq.aliyun.com/articles/53726">開源大資料周刊-第7期</a>

<a href="https://yq.aliyun.com/articles/50632">開源大資料周刊-第6期</a>

<a href="https://yq.aliyun.com/articles/45516">開源大資料周刊-第5期</a>

<a href="https://yq.aliyun.com/articles/39701">開源大資料周刊-第4期</a>

<a href="https://yq.aliyun.com/articles/36901">開源大資料周刊-第3期</a>

<a href="https://yq.aliyun.com/articles/33574">開源大資料周刊-第2期</a>

<a href="https://yq.aliyun.com/articles/30795">開源大資料周刊-第1期</a>

繼續閱讀