天天看點

DCA公布第七批大資料産品能力評測結果,阿裡雲MaxCompute超大規模叢集引關注

2018年11月30日,為期兩天的資料中心聯盟第七批大資料産品評測結果評審會圓滿結束。本次評審委員會由中國資訊通信研究院、清華大學、中國科學院、北京郵電大學、中移資訊、國電投、中國銀行、北京銀行,以及所有參與評測産品企業專家組成。評審環節包括産品資料稽核、測試報告稽核、質詢與答疑、集中評議。來自28家企業的46款/次産品通過了本次測試評審。

DCA大資料産品能力評測涵蓋了分布式批處理平台、分布式分析型資料庫、分布式事務資料庫、時序資料庫、使用者行為分析産品、資料挖掘工具、資料內建工具、資料管理工具,以及商務智能(BI)分析工具。

阿裡雲大資料計算服務

MaxCompute

以萬台規模成為本次DCA分布式批處理平台基礎能力和性能評測中最為吸睛的廠商和産品。

阿裡雲大資料首款參評産品

大資料計算服務

是阿裡雲參與DCA評測的首款大資料類産品。阿裡雲作為全球領先的雲廠商,擁有極為豐富的産品種類,幾乎為所有客戶的業務場景提供了豐富的産品和完善的解決方案。作為阿裡雲主力計算平台的MaxCompute,除公共雲外,還提供完整的私有化部署和混合雲解決方案,為客戶的各類場景下的大資料需求提供計算力。

DCA公布第七批大資料産品能力評測結果,阿裡雲MaxCompute超大規模叢集引關注

擁有超大規模的叢集以及存儲計算力

2010年春,大資料計算引擎MaxCompute的前身SQL Engine第一版上線,運作在當時30台機器的飛天叢集上。

2011年,阿裡雲飛天團隊開始探索支撐集團内部數倉業務,在1500台機器上并行運作雲梯2的生産作業,并取得了不輸于Hadoop的性能和穩定性成績。

2013年8月,單叢集規模突破5000台業界上限,存儲計算能力大幅提升,并實作MaxCompute跨叢集資料複制和項目遷移,支援無限擴充。

2016年2月,MaxCompute對内服務第一個萬台叢集誕生。開啟大資料的新時代。

今天,MaxCompute可以承載EB級的資料存儲能力,百PB級的單日計算能力,在公共雲上覆寫了國内外的十幾個國家和地區,專有雲上包含城市大腦在内部署超過100+套,整體已達到10萬台規模,廣泛覆寫金融、網際網路、生物醫療、能源、交通,傳媒,城市管理等行業。

最近幾年,MaxCompute跟國際上很多标準化的組織進行了很多大資料方面的benchmark測試,包括最早做sort bench,TPCH,以及100%相容TPC-DS标準測試集和去年做TPCX-Bigbench。2017年MaxCompute挑戰TPCX-Bigbench 100TB 的30個query名額,成為全球第一個測試通過的計算引擎。2018年在同樣的100TB規模上,性能名額提升了一倍。 另外在超小型10TB規模的名額上,MaxCompute與其他開源競品進行了比對分析,性能超過開源競品3倍。

具備高度的生态相容和開放性

DCA大資料産品分布式批處理平台的能力評測中,是以Hadoop平台的基礎能力測試和性能測試方法在阿裡雲飛天平台大資料計算服務MaxCompute上測試通過,不難看出MaxCompute作為自研大資料平台在生态相容性和開放性方面已具備強大的優勢。

MaxCompute與開源的融合,在協定和工具層面做的支援是在MaxCompute RestfulAPI服務之上通過SDK來實作的。MaxCompute元件也對開源進行了支援,包括SQL對于Hive做了非常多的相容。另外可通過聯合計算平台的形式将開源的系統遷移到MaxCompute平台上。目前專有雲的版本已經支援Spark等的版本,借助于聯合計算平台,Spark等可以天然地在外圍作為開源API進行支援,整個的這套資源都是架構在飛天體系之上,希望通過融合的架構提供給使用者以更加靈活的選擇。使用者可以将已有的資料和應用搬遷上來,用原來的Spark或者機器學習作業繼續在上面運作。如果遇到問題,也可以同一份資料既落到MaxCompute也可以直接對于這份資料使用PAI引擎進行計算,可以産生更大的價值。

“DCA大資料産品評測”作為國内外極具權威的評測體系,通過建立和推行共性的評估體系和标準,解決了廠商和使用者之間巨大的資訊鴻溝,保證了廠商有序競争,更友善了使用者選型。MaxCompute正在為數以萬計的的雲上客戶提供數字化轉型的解決方案和計算力。

掃碼加入“MaxCompute開發者社群”釘釘群,與更多大資料愛好者一起學習交流。

DCA公布第七批大資料産品能力評測結果,阿裡雲MaxCompute超大規模叢集引關注

繼續閱讀