MaxCompute 消費預警與控制 | 學習筆記

開發者學堂課程【SaaS  模式雲資料倉庫系列課程 —— 2021數倉必修課：MaxCompute 消費預警與控制】學習筆記，與課程緊密聯系，讓使用者快速學習知識。

課程位址：

https://developer.aliyun.com/learning/course/55/detail/1053

MaxCompute 消費預警與控制

内容簡介：

一、MaxCompute 計費模式

二、消費控制（SQL按量，日累計）

包年包月，按量付費，包年包月＋按量計費

為什麼要消費預警與控制

包年包月

資源使用過滿

資源被個别任務占滿

某日送出作業量突增

按量付費

全表掃描

輸入表資料量突增

某日送出按量作業數量突增

消費分析與自定義告警

如何分析詳單資料？

如找到 topN 消費使用者？

如何找到 topN 耗時任務？

如何定時推送分析報告？

如何統計個人賬号資源使用情況？

文檔連結：

詳單分析

利用 information  schema 統計 topN 與發送定時報告

統計個人賬号資源使用情況

二、消費控制（SQL按量，單SQL）

⒈環境準備

odps 用戶端（連結）

project owner/super admin的ak

⒉單條 SQL 消費限制

門檻值機關： SQL 讀取量

（GB）×SQL 複雜度

日／月累計限制

單 sql，session 級，普通使用者權限

odps@habai_test2>setodps.sql.metering.value.max=0.001;

odse habai _test2>select*from customer where c_ city like'%MROCCO%'limit 18;

ID= 2020122714251183gbiqjv21

Log view:

http://legview.edups.aliyun.com/logview/?be=http://service.aspx.aspx/apijg=has/beat&air

2:19121<C--- ciLC3SZXNvdXJjZSI6WyJhY3M6b2Rwczeq0nByb2plY3RzL2hYmfpX3R1c3QyL3u  Job Queueing.

FAILED:Metering data exceed max value. Innut:0. 12837988,  Complexity :1.0, Max Vale:9. 001

單 sql，項目級，project　owner／super　admin 權限

odps@habai_test2>unsetodps.sql.metering.value.max; OK

odps@habai_test2> setproject _dps.sql.metering.value.max=0.0001; OK

odse habai _test2> selectfrom  customer where c_ city like‘4MOROCCOK'limit 10;

ID= 20201227142708135ggr68rsa

http://logview.oops.aliyun.com/Iogview/?behttp://service.edus.aliyun.com/apidp=baby&test&air=aUZzZDd6T3kxCV

c4TVAPSxPRE9TX99CTgoxHTMwNTgADMxAzgMTBLDE2NE2WEQw[3 ℃／25℃／32℃州晴夏31℃／31℃／

30℃／28℃／29℃／2p＞2p1℃／ 3RzL2hYmFk3 和9／23℃／21℃／8

FAILED:Metering data exceed max value. Imput:9. 1237968,  Complexity :1.0, Max Value:8. 083

消費控制（SQL按量，日累計）

環境準備

odps 用戶端（連結）

project owner/super admin 的 ak

單條 SQL 消費限制

延遲約5～10秒

目前累計＋預估下一條

門檻值機關：掃描資料量（GB）×複雜度×0.3

不要使用 limit 控制費用

很多情況 limit 都不能控制費用

select＊from　table＿x　where分區字段＝＂常量／能推出的常量＂limitxxx；//會産生計量

select＊from（a　sub　query）a　limit　xxx；／／SQL計量是按照讀入資料量，而不是輸出資料量