阿裡雲大資料計算服務MaxCompute使用教程

MaxCompute簡介

大資料計算服務(MaxCompute，原名ODPS)是一種快速、完全托管的TB/PB級資料倉庫解決方案。MaxCompute向使用者提供了完善的資料導入方案以及多種經典的分布式計算模型，能夠更快速的解決使用者海量資料計算問題，有效降低企業成本，并保障資料安全。MaxCompute主要服務于批量結構化資料的存儲和計算，可以提供海量資料倉庫的解決方案以及針對大資料的分析模組化服務。随着社會資料收集手段的不斷豐富及完善，越來越多的行業資料被積累下來。資料規模已經增長到了傳統軟體行業無法承載的海量資料(百GB、TB、乃至PB)級别。在分析海量資料場景下，由于單台伺服器的處理能力限制，資料分析者通常采用分布式計算模式。但分布式的計算模型對資料分析人員提出了較高的要求，且不易維護。使用分布式模型，資料分析人員不僅需要了解業務需求，同時還需要熟悉底層計算模型。MaxCompute的目的是為使用者提供一種便捷的分析處理海量資料的手段。使用者可以不必關心分布式計算細節，進而達到分析大資料的目的。MaxCompute已經在阿裡巴巴集團内部得到大規模應用，例如：大型網際網路企業的資料倉庫和BI分析、網站的日志分析、電子商務網站的交易分析、使用者特征和興趣挖掘等。

關于MaxCompute使用教程的詳細資訊：大資料計算服務MaxCompute使用教程

MaxCompute發展曆程

從2009年9月阿裡雲成立，願景就是做運算/分享資料第一平台；2010年4月，伴随阿裡金融的貸款業務上線，ODPS正式投入生産運作，2012年建立統一資料平台，2013年具備超大規模海量資料處理能力，2014~2015年大資料平台開始日趨成熟，2016 MaxCompute 2.0的誕生，成立之初的願景經過一步步努力逐漸實作。

關鍵性裡程碑

2010.04 ODPS正式投入生産運作。阿裡金融的貸款業務上線穩定運作。

2013.05 ODPS公測。

2013.07 ODPS正式提供商業化服務，單叢集規模5K台伺服器多級群能力。

2016.09 ODPS正式更名為MaxCompute，并推出2.0，實作高性能，新功能，富生态。

MaxCompute元件介紹

資料通道：

TUNNEL：提供高并發的離線資料上傳下載下傳服務。使用者可以使用Tunnel服務向MaxCompute批量上傳或下載下傳資料。MaxCompute Tunnel僅提供Java程式設計接口供使用者使用。

計算及分析任務：

SQL ：MaxCompute隻能以表的形式存儲資料，并對外提供了SQL查詢功能。使用者可以将MaxCompute作為傳統的資料庫軟體操作，但其卻能處理TB、PB級别的海量資料。需要注意的是，MaxCompute SQL不支援事務、索引及Update/Delete等操作，同時MaxCompute的SQL文法與Oracle，MySQL有一定差别，使用者無法将其他資料庫中得SQL語句無縫遷移到MaxCompute上來。此外，在使用方式上，MaxCompute SQL最快可以在分鐘，乃至秒級别完成查詢，無法在毫秒級别傳回使用者結果。MaxCompute SQL的優點是對使用者的學習成本低，使用者不需要了解複雜的分布式計算概念。具備資料庫操作經驗的使用者可以快速熟悉MaxCompute SQL的使用。

MapReduce ：MapReduce最早是由Google提出的分布式資料處理模型，随後受到了業内的廣泛關注，并被大量應用到各種商業場景中。在本文檔中，我們會對MapReduce模型做簡要介紹，以便于使用者快速熟悉、了解該模型。使用MaxCompute MapReduce的使用者需要對分布式計算概念有基本了解，并有相對應的程式設計經驗。MaxCompute MapReduce為使用者提供Java程式設計接口。

Graph：MaxCompute提供的Graph功能是一套面向疊代的圖計算處理架構。圖計算作業使用圖進行模組化，圖由點(Vertex)和邊(Edge)組成，點和邊包含權值(Value)。通過疊代對圖進行編輯、演化，最終求解出結果，典型應用：PageRank，單源最短距離算法 ，K-均值聚類算法 等等。

SDK：提供給開發者的工具包，SDK的相關介紹請參考 SDK介紹。

安全：MaxCompute提供了功能強大的安全服務，為使用者的資料安全提供保護，詳情請參考 安全參考手冊。

--------------------- 

作者：阿裡雲小百科 

來源：CSDN 

原文：

https://blog.csdn.net/weixin_40050195/article/details/85157821

版權聲明：本文為部落客原創文章，轉載請附上博文連結！