天天看點

阿裡雲大資料實驗室:MaxCompute使用體驗

阿裡雲大資料實驗室時阿裡雲開發的一站式大資料教學實踐和科研創新平台,提供創業創新大賽平台,為各行業使用者提供簡單易用的大資料真實環境,讓資料價值觸手可及。在阿裡雲大資料實驗室中內建了maxcompute。

阿裡雲大資料實驗室:MaxCompute使用體驗

       作為一名初次使用maxcompute的使用者,我體會頗深。maxcompute 開箱即用,擁有內建化的操作界面,你不必關心叢集搭建、配置和運維工作。僅需簡單的點選滑鼠,幾步操作,就可以在maxcompute中上傳資料,分析資料并得到分析結果。

作為一種快速、完全托管的 tb/pb 級資料倉庫解決方案,maxcompute不僅為我們提供了傳統的指令行操作,而且提供了豐富的web端操作界面。對于資料開發,測試,釋出,資料流,資料權限管理都非常好用,支援python,java的udf,對于複雜的邏輯查詢也支援傳統的mapreduce,同時也支援多種機器學習算法,非常好用。

maxcompute為我們提供了統一的項目管理。實際開發中各個團隊都有自己的項目,自己管理自己的項目, 通過項目隔離,有效的防止資料和任務被其他團隊修改和删除等問題。除非是pro項目任務出錯,否則不會影響到其他業務線的任務,最大程度降低各業務間的影響。

同時,大資料開發套件和 maxcompute關系緊密,大資料開發套件為 maxcompute 提供了一站式的資料同步,任務開發,資料工作流開發,資料管理和資料運維等功能。

阿裡雲大資料實驗室:MaxCompute使用體驗

當需要處理的資料變得非常多,并且資料發展到足夠複雜的時候,這些資料往往需要用不同的模式進行處理,除此之外,當作業出現問題的時候也需要有足夠好的工具進行分析和管理。這些其實都是對于開發者而言需要面對的問題,與此同時阿裡雲為我們提供了data ide環境來解決上述的問題。

在進行資料分析的過程中data ide可以支援sql的文法以及文法的高亮,同時實作代碼補全等功能。開發者即使對于sql的文法并不熟悉,但是根據data ide給出的關鍵詞提示也可以輕松的進行操作。另外在data ide中可以內建中繼資料,進而在開發人員進行sql語句編寫時,給予表格、字段以及函數的提示。

阿裡雲大資料實驗室:MaxCompute使用體驗

在任務執行過程中,我們通過ide可以看到作業的執行狀态以及詳細資訊,即便是作業出現問題ide也可以很友善地對于問題進行定位,幫助開發者發現作業中哪一個是瓶頸。

maxcompute還為我們提供了一個基于雲計算的靈活的輕量級的自助 bi 工具服務平台-----quick bi。

阿裡雲大資料實驗室:MaxCompute使用體驗

quick bi可以支援多種資料源的添加,以便于我們對不同的資料源進行實時線上分析。

quick bi為我們提供了豐富的可視化圖表,根據行業的不同需求我們可以随意選取,以便于給決策曾提供更清晰準确的報表。而其基于 web 頁面的工作環境,拖拽式、類似于 excel 的操作方式,一鍵導入、實時分析,可以靈活切換資料分析的視角,更是錦上添花。

對于完成後的報表圖表,可以以接口方式将制作的報表嵌入到第三方軟體,進而友善自己的分析查詢。

阿裡雲大資料實驗室:MaxCompute使用體驗

總之,無論是用來學習,還是用來工作maxcompute都是一個不錯的選擇。時代在進步,科技在發展,大資料的腳步已經離我們越來越近,更多是知識需要我們去學習,去實踐,趕快行動起來加入其中吧。

文章來源-北京青苔資料

<a target="_blank">---阿裡大資料博文,問答,社群,實踐,有朋自遠方來,不亦說乎……</a>

阿裡雲大資料實驗室:MaxCompute使用體驗