天天看點

三分鐘教你學會分析MaxCompute消費明細

很多使用者經常被MaxCompute收費所困擾,比如執行了一條 select xxx from yyy 然後扣費1元 ,使用了機器學習後扣了1分錢,不知道如何查詢到明細,也無法做優化。

接下來,我來教大家學習如何通過控制台消費功能檢視你在MaxCompute(DataWorks/Studio)中每一條SQL/MR計算、存儲、下載下傳的消費明細。

概要:

場景1,檢視昨天的收費情況

場景2,分析某一天計算收費“貴“原因

場景3,分析存儲收取1分錢的原因

場景4,分析資料上傳和下載下傳是否産生了費用

場景5,分析“不足一天”的資料存儲費用

場景6,分析"消費貴"的MR計算費用<b></b>

<b></b>

三分鐘教你學會分析MaxCompute消費明細

<b>場景1,檢視昨天的收費情況</b>

出賬後,通過控制台消費明細來檢視。

出賬時間:

預付費出賬單時間次日12點

後付費出賬單時間是次日9點

step2 打開消費總覽,看到當月賬單。

三分鐘教你學會分析MaxCompute消費明細
三分鐘教你學會分析MaxCompute消費明細

step4 點選詳情,展開每個項目的消費情況,檢視有無“貴”收費

三分鐘教你學會分析MaxCompute消費明細

如發現“貴“的項目,可根據存儲、計算、下載下傳幾個場景對應到下面的解決方法。

<b>場景2,分析某一天計算收費“貴“原因</b>

通過導出使用記錄,分析消費多的作業instance具體情況。

三分鐘教你學會分析MaxCompute消費明細

step1 打開消費明細後,看到賬單異常後,請到左側消費記錄下載下傳導出使用記錄。

三分鐘教你學會分析MaxCompute消費明細

step2下載下傳記錄後,打開excel表,<b>資料分類</b><b>ComputationSql代表SQL計算項</b>,定位異常資料的instanceid。

三分鐘教你學會分析MaxCompute消費明細

step3 檢視這個“貴”instanceID 的logview

【擷取logview資訊】wait

20171106100629865g4iplf9  或者 【快速檢視SQL語句】desc instance 20171106100629865g4iplf9

三分鐘教你學會分析MaxCompute消費明細

step4 通過Logview我們發現産生了全表掃描、長尾計算等問題,及時優化我們的SQL/MR作業。

三分鐘教你學會分析MaxCompute消費明細

長尾優化參考:

<a href="https://yq.aliyun.com/articles/67086?spm=5176.100239.blogcont78108.350.xOKsQZ" target="_blank">MaxCompute計算長尾問題</a>

<a href="https://yq.aliyun.com/articles/72888?spm=5176.100239.blogcont78108.295.xOKsQZ" target="_blank">MaxCompute(原ODPS) JOB 長尾問題調優</a>

<b>場景3,分析存儲收取1分錢的原因</b>

通過導出使用記錄,分析消費多的存儲Storage明細。<b></b>

step1 下載下傳記錄後,打開excel表。

三分鐘教你學會分析MaxCompute消費明細

step2 檢視<b>資料分類中的Storage存儲計費項</b>,會發現在yinlin_test_huabei2_io Project下存儲了384位元組資料。

三分鐘教你學會分析MaxCompute消費明細

step3 如果這份資料是用來測試的,你可以通過IDE删除Project下的表資料。

<b>場景4,分析資料上傳和下載下傳是否産生了費用</b>

部分使用者總擔心資料同步會産生費用,我們可以通過分析賬單來解決。

step1 點選消費明細詳情,檢視上行、下載下傳有無收費。

我們可以看到收費明細裡面并沒有上行(UploadIn,UploadEx)計費項,是以使用者不必擔心資料上傳産生了費用。

同時,我們看到了下載下傳産生了0.028元。

三分鐘教你學會分析MaxCompute消費明細

step2 通過導出使用記錄,分析消費多的下載下傳消耗明細,<b>資料分類</b><b>DownloadEx代表公網下載下傳計費項</b>。<b></b>

三分鐘教你學會分析MaxCompute消費明細

step4 下行優化

a 檢視你的tunnel設定的service,是否設定成了公共網絡。參考:https://help.aliyun.com/document_detail/34951.html

b 如果你本地在蘇州,Region在華東2上海,那麼你可以先通過華東2的ECS把資料下載下傳到虛機,然後利用ECS包月下載下傳資源。

<b>場景5,分析“不足一天”的資料存儲費用</b>

通過導出使用記錄,分析存儲Storage明細。<b></b>

三分鐘教你學會分析MaxCompute消費明細

step2 檢視<b>資料分類中的Storage存儲計費項</b>,會發現在alian Project下存儲了<b>333507833900</b>位元組資料,由于是8點上傳的資料,是以從9:07點開始計量存儲費用,一共計量15小時,注意:天計量範圍以結束時間為準,是以最後一條資料不包括在4月4号賬單中。

按照官網存儲定價規則,

先計算24小時存儲價格,

100GB*0.0192 元/GB/天

+(<b>333507833900 </b><b>Byte</b><b>/1024/1024/1024</b>-100)GB*0.0096 元/GB/天

=1.92+2.02=3.94元/天

再根據實際存儲15小時計算,3.94*15/24=2.46元/天

<b>場景6,分析"消費貴"的MR計算費用</b><b></b>

通過導出使用記錄,分析消費貴的MR計算作業。<b></b>

三分鐘教你學會分析MaxCompute消費明細

step2 <b>資料分類</b><b>MapReduce代表MR計算項</b>,定位異常資料的instanceid,對應到計量資訊編号。

總結:通過上述幾個場景,帶大家學習MaxCompute賬單的分析方法,希望能夠幫到更多的使用者。

<a target="_blank">---阿裡大資料博文,問答,社群,實踐,有朋自遠方來,不亦說乎……</a>

三分鐘教你學會分析MaxCompute消費明細