【雲栖大會】再談開源大資料

2016杭州雲栖大會在雲栖小鎮召開，本屆大會以“飛天･進化”為主題，内容規模比去年翻倍，從原本2天的議程增加至4天，從10月13日持續到16日，超過400場主題演講使開發者們對阿裡雲計算生态發展和應用趨勢、前沿技術和産品有了更深刻的了解。

阿裡在09年就開始嘗試使用hadoop技術，先後包括hadoop、spark、hbase及jtorm，這些開源技術在不同的業務線廣泛使用，推動阿裡業務的發展。本論壇第一次聚集了阿裡hadoop、spark、hbase、jtorm各領域的技術專家，講述hadoop生态的過去現在未來及阿裡在hadoop大生态領域的實踐與探索。本論壇還釋出了阿裡雲e-mapreduce互動式産品。

在2016杭州雲栖大會第四天的“開源大資料技術專場”分會場上，範文臣、intel 研發經理鄭锴、逸晗網絡科技大資料平台負責人楊智、 intel技術專家毛玮、阿裡雲技術專家木艮圍繞開源大資料技術為大家哦做了精彩的分享。

範文臣：deep dive into catalyst

本次演講範文臣從 catalyst 的基本概念開始，深入講解了 catalyst 提供了哪些主要特性來支援 spark 的 api 抽象。

鄭锴：hdfs下一步新思考：在支援了糾删碼之後

鄭锴首先回顧了最近一兩年hadoop社群對hdfs 糾删碼的支援，介紹ec對使用者的價值，适用場景和部署建議。然後重點思考了hadoop社群在hdfs上面接下來會怎麼走，介紹目前在做的幾個重要特性，探讨大資料存儲的發展趨勢，同時也希望跟使用者有效互動得到更多回報。

楊智：梨視訊基于e-mapreduce大資料推薦系統 

内容包括逸晗網絡科技的資料實時統計、資料處理平台、推薦實時回報、推薦模型&排序機器學習模型訓練和更新等。

毛玮：分布式流處理架構:功能對比及性能評估

毛玮從流處理的核心概念，到功能的完備性，全方位對比了目前比較熱門的流處理架構：spark streaming, flink，storm和gearpump。同時從吞吐量個延時兩個方面，對各個平台進行了性能評估。

木艮：hadoop存儲與計算分離實踐

為什麼需要存儲計算分離、分離後的性能怎麼樣，做了哪些優化，适應哪些場景？是木艮在本次演講中告訴我們的内容。