2018年9月19日至22日，在杭州雲栖小鎮，170餘場前沿技術、産品及行業峰會，如火如荼地進行着。這次雲栖大會的主題是“驅動數字中國”。作為阿裡巴巴經濟體新一代計算引擎的計算平台，深度參與了此次峰會。下面小編帶大家一起回顧大會的精彩内容。
新一代計算引擎-大資料智能計算引擎
9月21日下午，計算智能峰會在雲栖舉行。在此次會議上，阿裡巴巴副總裁、計算平台負責人周靖人博士及其團隊向大家展示了阿裡巴巴大資料智能計算引擎的核心技術能力。近年來，由于分布式計算力、網絡、存儲等能力的大幅提升，大規模資料采集和高效處理成為可能；随着深度學習、機器學習技術的發展，大量、全面、準确的資料成為目前幾乎所有商業或科學決策的重要必備條件。海量資料存儲、精準資料采集、豐富的資料類型、高效的機器智能算法及與之比對的超大規模計算力直接決定了技術企業的水準和前景，也影響着技術企業所賦能整個經濟體的效率和效果。作為阿裡巴巴集團新一代的計算引擎，阿裡巴巴計算平台支撐了整個阿裡經濟體90%以上的結構化/非結構化資料的存儲、交換、管控，資料規模已超EB級别。這是一套通用的、超大規模、企業級、全托管的大資料計算體系，包括核心計算引擎、機器學習引擎，內建開發環境，資料存儲和管理，以及與上層合作的解決方案，并且具備了新一代計算引擎的五大要素：
- 海量資料規模下高成本效益的離線及實時計算力；
- 實時+離線任務一體化研發能力；
- 實時+離線異構資料湖互動式查詢能力；
- 超大規模機器學習、深度學習異構計算力；
- 一站式端到端的雲上大資料智能研發平台。
上圖為阿裡巴巴副總裁、計算平台負責人周靖人博士在雲栖大會
在本次為期四天的雲栖大會上，除計算智能峰會專場外，計算平台還設有數加DataWorks、大資料計算、Flink、機器學習平台、開源大資料五場分論壇專場。
DataWorks-新一代大資料智能雲研發平台
數加DataWorks專場—“譜寫資料研發的交響曲”，作為大資料必備的一站式研發平台，吸引了大量的參會者參與。DataWorks經過9年集團發展、5年公共雲、3年專有雲的發展，服務了成千上萬的企業。本次大會上，來自阿裡巴巴集團的衆多專家對新一代大資料智能雲研發平台做了詳細的解讀，針對新一代資料平台的發展趨勢提出了4個核心能力：實時離線任務一體化開發、異構資料湖查詢、資料端到端服務、實時互動式查詢。
上圖為阿裡巴巴資深技術專家、數加DataWorks負責人徐晟在雲栖大會
MaxCompute-阿裡巴巴旗艦級大資料平台
與主論壇一同亮相的MaxCompute大資料計算專場也獲得了極大關注。作為阿裡巴巴集團旗艦級大資料平台，MaxCompute承載了阿裡集團99%的資料存儲及95%的計算能力。2017年10月，将TPC的benchmark适配到MaxCompute，進行了全球首次基于公共雲的bigbench大資料基準測試，資料規模拓展到100TB，性能達到7830QPM，成為首個突破7000分的引擎。 2018年該性能結果再次提升超過2倍，達到18176.71QPM，用實力證明了“中國計算，世界能力”。從計算力、生态化、智能化、圖關系四個次元來看，MaxCompute提供的不僅是單一的計算引擎，而是具備EB級規模的雲原生、高性能、面向企業完整的大資料服務。
上圖為阿裡巴巴研究員、通用計算平台負責人關濤在雲栖大會
Flink-阿裡巴巴在Flink上的優化與改進
此次雲栖大會計算平台也首次設立了Flink的論壇。三年前，在阿裡巴巴内部啟動Flink時，因其開源産品的特性，很難滿足阿裡大體量的特定場景需求，為了将Flink在阿裡巴巴真正運作起來，阿裡巴巴實時計算團隊做了大量的優化，并命名為Blink。Blink在疊代優化的過程中，也在不斷向社群捐贈代碼，真正做到“取之開源，用之開源”。目前，阿裡巴巴的實時業務場景，從搜尋到廣告、資料平台、安全等等。所有大的場景都是基于阿裡巴巴内部版本Blink展開，同時通過RealtimeCompute産品在阿裡提供公共雲服務。在前不久剛落幕的Flink Forward上，阿裡為Flink提出的批流融合新突破，成為了技術架構上的一個新方向，并在阿裡巴巴内部已經得到了初步的成果和驗證。
上圖為阿裡巴巴研究員、實時計算負責人蔣曉偉在雲栖大會
PAI-阿裡巴巴的算法平台
同日舉辦的還有計算平台的機器學習平台專場－“為AI的旅程加速”，吸引了大量參會者駐足。機器學習平台PAI （Platform of Artificial Intelligence）是阿裡巴巴集團的機器學習算法平台，該平台為使用者提供了一站式資料處理、算法模型訓練、離線線上預測的服務。随着計算力及資料量進一步呈爆發式增長，資料的積累使得機器學習訓練出來的模型有效性大大提高，甚至突破了人類水準，機器智能開始被廣泛應用到各行各業。機器學習平台PAI，無縫對接了強大的計算引擎及大資料研發平台。在2018年杭州雲栖大會的機器學習專場上，PAI團隊向與會者介紹了在深度學習、線上預測、流式算法、增強學習等領域的技術創新。
上圖為阿裡巴巴研究員、機器學習平台負責人林偉在雲栖大會
EMR-開源大資料專場
E-MapReduce在雲栖為大家帶來一場開源大資料的分享盛宴，從方方面面給各種需求的客戶帶來了不同的内容，給廣大的Hadoop體系使用者帶來了建構大資料平台的多個必備利器，包括對基礎計算引擎SparkSQL的極大優化，對OSS讀寫的50%以上的性能提升。對大資料運維的全面支援能力EMR apm，以及在深度學習上我們的探索EMR learning。 所有這一切不僅僅是在講台上，也都已經在我們的雲上版本中逐漸放出，服務到所有的使用者。
圖為EMR-開源大資料專場現場
阿裡巴巴大資料智能雲上程式設計大賽
由阿裡巴巴計算平台事業部和阿裡雲天池平台聯合主辦的“阿裡巴巴大資料智能雲上程式設計大賽”在此次雲栖大會期間迎來了總決賽。本次大賽經曆2個月時間，共吸引來自全球9個國家地區，超過1100名的技術Geek加入挑戰，最終來自北京郵電大學、南京理工大學、江蘇省氣象台、黑龍江郵政等高校和機關的5支參賽隊伍成功入圍決賽。在計算智能峰會上，程式設計大賽的結果正式公布。冠軍“Now coder”團隊由來自北京郵電大學的四位研究所學生組成，他們熱愛程式設計和算法，資料與應用各有所長，互相協作成功奪冠。由于混沌現象的存在，天氣預報的精度一直難以提高。本次大賽參賽選手以“集合降水預報”為課題，選取真實的杭州及周邊區域格點降水資料，借助于阿裡巴巴離線資料存儲計算平台MaxCompute和算法引擎PAI，以及一站式資料智能雲研發平台DataWorks的各方面能力，以所見即所得的體驗，順利完成了對氣象資料的分析利用和結果展現，讓算法和應用相輔相成，共同奏響了資料與應用的交響曲。
今天，阿裡巴巴計算平台已随着雲上業務的發展，将技術普惠到全球，服務于各行各業的企業使用者，我們的新一代智能計算引擎正逐漸成為當今中國技術積累最深，經受過最大業務考驗，具有真正企業級服務能力的大資料智能計算平台。