天天看點

odps是什麼? 阿裡巴巴大資料計算平台MaxCompute(原名ODPS)全套攻略 https://yq.aliyun.com/articles/78108

odps(open data processing service),是阿裡巴巴通用計算平台提供的一種快速、完全托管的 gb/tb/pb 級資料倉庫解決方案,現在已更名為maxcompute,maxcompute 向使用者提供了完善的資料導入方案以及多種經典的分布式計算模型,能夠更快速的解決使用者海量資料計算問題,有效降低企業成本,并保障資料安全。

maxcompute 主要服務于批量結構化資料的存儲和計算,可以提供海量資料倉庫的解決方案以及針對大資料的分析模組化服務。随着社會資料收集手段的不斷豐富及完善,越來越多的行業資料被積累下來。資料規模已經增長到了傳統軟體行業無法承載的海量資料(百 gb、tb 乃至 pb)級别。

在分析海量資料場景下,由于單台伺服器的處理能力限制,資料分析者通常采用分布式計算模式。但分布式的計算模型對資料分析人員提出了較高的要求,且不易維護。使用分布式模型,資料分析人員不僅需要了解業務需求,同時還需要熟悉底層計算模型。maxcompute 的目的是為使用者提供一種便捷的分析處理海量資料的手段。使用者可以不必關心分布式計算細節,進而達到分析大資料的目的。

maxcompute 已經在阿裡巴巴集團内部得到大規模應用,例如:大型網際網路企業的資料倉庫和 bi 分析、網站的日志分析、電子商務網站的交易分析、使用者特征和興趣挖掘等。

從 2009 年 9 月阿裡雲成立,願景就是做運算/分享資料第一平台;2010年4月,伴随阿裡金融的貸款業務上線,odps 正式投入生産運作,2012 年建立統一資料平台,2013 年具備超大規模海量資料處理能力,2014~2015 年大資料平台開始日趨成熟,2016 maxcompute 2.0 的誕生,成立之初的願景經過一步步努力逐漸實作。

關鍵性裡程碑

2010.04 odps 正式投入生産運作。阿裡金融的貸款業務上線穩定運作。

2013.05 odps 公測。

2013.07 odps 正式提供商業化服務,單叢集規模 5k 台伺服器多級群能力。

2016.09 odps 正式更名為 maxcompute,并推出 2.0,實作高性能,新功能,富生态。

odps是什麼? 阿裡巴巴大資料計算平台MaxCompute(原名ODPS)全套攻略 https://yq.aliyun.com/articles/78108

資料通道:

計算及分析任務:

想了解更多maxcompute相關的内容,請通路雲栖社群

<a target="_blank">---阿裡大資料博文,問答,社群,實踐,有朋自遠方來,不亦說乎……</a>

odps是什麼? 阿裡巴巴大資料計算平台MaxCompute(原名ODPS)全套攻略 https://yq.aliyun.com/articles/78108