天天看點

【轉載】阿裡雲飛天大資料平台亮相

7月25日,阿裡雲飛天大資料平台亮相阿裡雲峰會上海站,擁有中國唯一自主研發的計算引擎,是全球叢集規模最大的計算平台,最大可擴充至10萬台計算叢集,支撐海量資料存儲和計算。在民生服務領域,飛天大資料平台已經“最多跑一次”、城市大腦等場景中,協助政府優化服務模式,實作更智能便捷的服務能力,保障資訊安全。

資料顯示,目前飛天大資料平台可擴充至10萬台計算叢集,叢集規模全球第一。單日資料處理量從2015年100PB、2016年180PB、2017年320PB,到2018年超過600PB,僅用三年時間提升5倍。

【轉載】阿裡雲飛天大資料平台亮相

在浙江,飛天大資料平台支撐下,“最多跑一次”打通與老百姓辦事最密切相關的100個事項70多億條資料,老百姓甚至有可能一次都不跑。在杭州,城市大腦實時指揮1300個紅綠燈路口、200多名交警,從2016年到2018年,杭州從全國最擁堵城市排行榜上下跌52名。

原來需要跑5個視窗、耗時2天才能拿到的新生兒出生證,現在隻需在手機上動動手指,填9項資訊,一個出生證就辦好了;原來看一次病排隊付幾次費,現在可以看完回家再付錢……這樣的場景正在越來越多的城市變為現實,背後有飛天大資料平台的支撐。

據了解,該平台的研發源自阿裡巴巴的自身實踐。十年前,新興網際網路業态蓬勃發展,中小企業在阿裡巴巴電商平台上爆發式增長,商家第一次具備直接觸達消費者的普惠管道,激發龐大的消費者需求,海量資料擊垮傳統IT架構。在此背景下,阿裡巴巴開始探索全新的技術來支撐爆發式增長的資料存儲和計算需求。

大部分企業的慣例是直接使用國際開源的資料計算架構Hadoop。在阿裡巴巴内部,也曾出現過激烈的争論,究竟是直接使用開源Hadoop,還是從每一行代碼寫起,自主研發一個大資料平台。

當時,電子商務蓬勃發展,人類社會從未有過如此規模的商業交易在一個網際網路平台上進行,如果用Hadoop搭建的大資料平台,必将在不久的未來再次遇到挑戰,更别提為外部企業提供服務,成為普惠的IT基礎設施。

由此,阿裡巴巴堅定投入飛天大資料平台研發,将成千上萬台伺服器組成一台超級計算機,向社會提供水電煤一樣的公共服務。早在2012年初,阿裡巴巴技術委員會主席王堅就表示,“從戰略上來說,阿裡雲想做的事情實際上可以解讀為Amazon+Google并有所超越。将單一叢集做到數千乃至更高,技術上是國家和企業競争力的标志。阿裡巴巴必須攻克這道難關。”

也正是因為這一堅持,才有了今天中國唯一自主研發的飛天大資料平台。過去十年,飛天大資料平台打破了多個記錄:2013年,突破了單叢集内5000台伺服器同時計算的局限,如今單叢集已超過1萬台的規模;2015年,打破計算界奧運會SortBenchmark的4個世界紀錄,用不到7分鐘便完成了100TB的資料排序,重新整理了ApacheSpark 23.4分鐘的紀錄。

可通過

MaxCompute

了解更多有關阿裡雲飛天大資料平台

歡迎加入“MaxCompute開發者社群2群”,點選連結申請加入或掃描二維碼

https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
【轉載】阿裡雲飛天大資料平台亮相
上一篇: 兒童

繼續閱讀