天天看點

MaxCompute-使用分享

MaxCompute(原ODPS)是一項大資料計算服務,它能提供快速、完全托管的PB級資料倉庫解決方案,使您可以經濟并高效的分析處理海量資料。歡迎加入釘釘交流群11782920。

産品優勢

1、大規模計算存儲

MaxCompute适用于100GB以上規模的存儲及計算需求,最大可達EB級别。
           

2、多種計算模型

MaxCompute支援SQL、MapReduce、UDF(Java/Python)、Graph、基于DAG的處理、互動式、記憶體計算、機器學習等計算類型及MPI疊代類算法。簡化了企業大資料平台的應用架構。
           

3、強資料安全

MaxCompute已穩定支撐阿裡全部資料倉庫業務9年以上,提供多層沙箱防護、細粒度權限管理及監控。

4、低成本

與企業自建專有雲相比,MaxCompute的計算存儲更高效,可以降低30%~50%的采購成本。

5、免運維

基于MaxCompute的Serverless無伺服器的設計思路,使用者隻需關心作業和資料,而無需關心底層分布式架構及運維。

6、極緻彈性擴充

MaxCompute提供按量付費模式下的作業級别的資源管理。使用者無需受困于資源擴充難題,系統會自動擴充計算、存儲、網絡等資源,最大程度地節省成本。

作為一名初次使用MaxCompute的使用者,我體會頗深。MaxCompute 開箱即用,擁有內建化的操作界面,你不必關心叢集搭建、配置和運維工作。僅需簡單的點選滑鼠,幾步操作,就可以在MaxCompute中上傳資料,分析資料并得到分析結果。

作為一種快速、完全托管的 TB/PB 級資料倉庫解決方案,MaxCompute不僅為我們提供了傳統的指令行操作,而且提供了豐富的web端操作界面。對于資料開發,測試,釋出,資料流,資料權限管理都非常好用,支援python,java的udf,對于複雜的邏輯查詢也支援傳統的MapReduce,同時也支援多種機器學習算法,非常好用。

MaxCompute為我們提供了統一的項目管理。實際開發中各個團隊都有自己的項目,自己管理自己的項目, 通過項目隔離,有效的防止資料和任務被其他團隊修改和删除等問題。除非是pro項目任務出錯,否則不會影響到其他業務線的任務,最大程度降低各業務間的影響。

同時,大資料開發套件和 MaxCompute關系緊密,大資料開發套件為 MaxCompute 提供了一站式的資料同步,任務開發,資料工作流開發,資料管理和資料運維等功能。

當需要處理的資料變得非常多,并且資料發展到足夠複雜的時候,這些資料往往需要用不同的模式進行處理,除此之外,當作業出現問題的時候也需要有足夠好的工具進行分析和管理。這些其實都是對于開發者而言需要面對的問題,與此同時阿裡雲為我們提供了DATA IDE環境來解決上述的問題。

在進行資料分析的過程中DATA IDE可以支援SQL的文法以及文法的高亮,同時實作代碼補全等功能。開發者即使對于SQL的文法并不熟悉,但是根據DATA IDE給出的關鍵詞提示也可以輕松的進行操作。另外在DATA IDE中可以內建中繼資料,進而在開發人員進行SQL語句編寫時,給予表格、字段以及函數的提示。

在任務執行過程中,我們通過IDE可以看到作業的執行狀态以及詳細資訊,即便是作業出現問題IDE也可以很友善地對于問題進行定位,幫助開發者發現作業中哪一個是瓶頸。

Max Compute還為我們提供了一個基于雲計算的靈活的輕量級的自助 BI 工具服務平台-----Quick BI。

Quick BI可以支援多種資料源的添加,以便于我們對不同的資料源進行實時線上分析。

Quick BI為我們提供了豐富的可視化圖表,根據行業的不同需求我們可以随意選取,以便于給決策曾提供更清晰準确的報表。而其基于 WEB 頁面的工作環境,拖拽式、類似于 EXCEL 的操作方式,一鍵導入、實時分析,可以靈活切換資料分析的視角,更是錦上添花。

對于完成後的報表圖表,可以以接口方式将制作的報表嵌入到第三方軟體,進而友善自己的分析查詢。

總之,無論是用來學習,還是用來工作MaxCompute都是一個不錯的選擇。時代在進步,科技在發展,大資料的腳步已經離我們越來越近,更多是知識需要我們去學習,去實踐,趕快行動起來加入其中吧。