阿裡雲大資料計算服務MaxCompute通過靈活性、簡單性和創新為您企業的業務環境帶來了變革，但是您企業是否通過其實作了原本預期的節省成本的目标呢?本文中，我們将為廣大讀者諸君介紹優化您企業MaxCompute開銷的一些關鍵性的政策。
自從MaxCompute于2010年進入市場以來，計算服務MaxCompute就已然永遠地改變了整個IT世界了。盡管其價格優勢已經領先業界了，但仍然有許多企業客戶了解到，遷移到公共雲服務并不總是能夠幫助他們實作預期的成本節約的目标。
這并不意味着遷移到公共雲服務是一個錯誤。公共雲服務在靈活性、響應性、簡化操作和提高創新方面提供了巨大的優勢。這方面的錯誤在于：假設在不實施管理和自動化的情況下遷移到公共雲服務，也能帶來成本的節約。為了應對不斷上漲的雲基礎設施成本，我們建議您企業組織不妨參考和借鑒本文中所介紹的這些最佳實踐方案，以減低和優化成本，并實作您企業環境的價值最大化。
接下來，我們主要從計算、存儲、資料同步、日常賬單分析幾個點來展開優化實踐，幫助企業做到節省預算。
step1 通過DataWorks進入 Project工作區。
step2 進入資料開發。
step3 建立腳本檔案。
step4 輸入SQL後，點選“成本估計“按鈕。
step2 輸入cost +sql語句計費估算代碼：
step3 根據傳回的輸入資料量*複雜度*0.3元/GB/複雜度估算價格。
Input:44066219424 (Bytes)/1024/1024/1024 x Complexity:1.0 x 0.3(元/GB/複雜度) =12.31元
step2 輸入cost +sql語句計費估算代碼擷取估算量：
step3根據傳回的輸入資料量*複雜度*0.3元/GB/複雜度估算價格。Input:919168 (Bytes)/1024/1024/1024 x Complexity:1.0 x 0.3(元/GB/複雜度) =2.57元
目前價格電腦支援預付費估算，
step2 輸入所需要的存儲數量量（GB、TB或PB）。
step3 輸入查詢所需要的計算資源CU（最低10CU），輸入資料下載下傳量（GB、TB或PB），系統可以為您自動估算費用。
工程示例：
估算界面：
使用阿裡雲賬單中心配置高額預警，當天産品後付費消費大于提醒閥值時，每天早上9點左右短信提醒一次。
第二步，選擇MaxCompute産品（目前僅支援後付費）；
第三步，填寫預警閥值，輸入按“天”消費上限；
做優化前，大家先來了解一下MaxCompute SQL的技術原理，對後續的優化工作會更加容易了解。
<a href="https://help.aliyun.com/document_detail/27989.html?spm=5176.doc27875.6.559.boeeF5#h2-u6309u91CFu540Eu4ED8u8D39" target="_blank">https://help.aliyun.com/document_detail/27989.html</a>
在讀資料的時候，隻讀取查詢中需要用到的列，而忽略其他列，避免使用select * 全表掃描引起的錯誤及資源浪費。例如，對于查詢：
其中，T 包含 5 個列 (a,b,c,d,e)，列 c，d 将會被忽略，隻會讀取a, b, e 列
分區剪裁是指對分區列指定過濾條件，使得隻讀取表的部分分區資料，避免全表掃描引起的錯誤及資源浪費。例如，對于下列查詢：
partitiondate =“2017-10-01”隻掃描2017年10月1日的分區
分區裁剪注意事情：
使用者經常覺得已經對分區列做了限制了，但實際還是産生了大量費用。我們看一下如何做好分區裁剪，
有一些優化方式官網上已經寫出來了，比如避免使用select *，讀取分區表時一定要對分區進行過濾。其他的優化方式就需要我們自己去摸索了。
計費的SQL關鍵字包括：Join / Group By / Order By / Distinct /視窗函數/ Insert into
減少full outer join的使用，改為union all；
在union all内部盡可能不使用group by，改為在外層統一group by；
臨時導出的資料如果需要排序，盡量在導出後使用excel等工具進行排序，避免使用order by；
根據優化原則，盡量避免使用distinct關鍵字，改為多套一層group by；
盡量避免使用Insert into方式寫入資料，可以考慮增加一個分區字段；
作用：通過降低SQL複雜度，來節省SQL的費用。
您可以通過設定參數來關閉全表掃描功能，這樣也可以避免過度資源浪費。
例如，
session級别控制
說明：限制掃描全表。預設情況下true，允許掃描全表；否則為false，如果掃描全表，則抛異常。
Project級别控制
3.5 不要運作查詢來探索或預覽表資料
如果您想預覽表資料，可以使用表預覽選項檢視資料，而不會産生費用。
MaxCompute支援下列資料預覽選項：
在DataWorks使用者界面中，在資料開發-表查詢資訊頁上，單擊表進行資料預覽。
在CLT使用read指令并指定預覽的行數。
在MaxCompute Studio輕按兩下表進行表資料預覽。
由于MaxCompute的查詢響應是分鐘級，不适合直接用于前端查詢。是以計算出的結果資料都會被儲存到外部存儲中，而對于大部分人來說，關系型資料庫是最優先的選擇。
是以這裡就會涉及到一個“度”的問題。要把資料計算到什麼程度，才會存放到MYSQL中？
（比如現在的使用者登陸日志表、使用者次元表）
從上邊一行的原始表，算出下邊一行的幾個結果表。
（比如近一周各省份、地市登陸人數、近一周每天登陸人數、近一周每種注冊管道的登陸人數）
完全計算
直接出最終結果。前端展示時，不做任何判斷、聚合、關聯字典表、甚至不帶where條件。
（結果表1：省份ID、省份名稱、地市ID、地市名稱、登陸人數）
（結果表2：日期、登陸人數）
（結果表3：注冊管道ID、注冊管道描述、登陸人數）
了解難度：1⭐
溝通難度：1⭐
MaxCompute費用：4⭐
下行流量：2⭐
離線資料維護成本：2⭐
适度計算
後續關聯字段表等簡單步驟直接在關系型資料庫中計算
（結果表1：省份ID、地市ID、登陸人數）
（結果表3：注冊管道ID、登陸人數）
了解難度：2⭐
溝通難度：2⭐
MaxCompute費用：3⭐
下行流量：1⭐
離線資料維護成本：1⭐
輕度計算
後續大量計算任務直接在關系型資料庫中計算
（結果表：使用者ID、登陸日期、省份ID、地市ID、注冊管道ID）
了解難度：5⭐
溝通難度：5⭐
MaxCompute費用：2⭐
下行流量：5⭐
split size
map預設的split size是256MB，split size的大小決定了map的個數多少，如果使用者的代碼邏輯比較耗時，map需要較長時間結束，可以通過JobConf#setSplitSize方法适當調小split size的大小。然而split size也不宜設定太小，否則會占用過多的計算資源。
MapReduce reduce instance
單個 job 預設 reduce instance 個數為 map instance 個數的1/4，使用者設定作為最終的 reduce instance 個數，範圍 [0, 2000]，數量越多，計算時消耗越多，成本越高，應合理設定。
對于列數特别多的輸入表，Map階段處理隻需要其中的某幾列，可以通過在添加輸入表時明确指定輸入的列，減少輸入量；
例如隻需要c1,c2倆列，可以這樣設定：
設定之後，你在map裡的讀取到的Record也就隻有c1,c2倆列，如果之前是使用列名擷取Record資料的，不會有影響，而用下标擷取的需要注意這個變化。
對于Map/Reduce階段每次都會用到的一些java對象，避免在map/reduce函數裡構造，可以放到setup階段，避免多次構造産生的開銷；
合理選擇partition columns，可以使用JobConf#setPartitionColumns這個方法進行設定（預設是key schema定義的column），設定後資料将按照指定的列計算hash值分發到reduce中去, 避免資料傾斜導緻作業長尾現象，如有必要也可以選擇自定義partitioner，自定義partitioner的使用方法如下：
在jobconf裡進行設定：
另外需要在jobconf裡明确指定reducer的個數：
如果map的輸出結果中有很多重複的key，可以合并後輸出，combine後可以減少網絡帶寬傳輸和一定shuffle的開銷，如果map輸出本來就沒有多少重複的，就不要用combiner，用了反而可能會有一些額外的開銷。combiner實作的是和reducer相同的接口，例如一個WordCount程式的combiner可以定義如下：
3.8 合理使用JVM記憶體參數
部分客戶過于追求調優，把MR任務記憶體設定過大，标準配置是1 Core 4G ，odps.stage.reducer.jvm.mem=4006，當CPU與記憶體比超過1:4時，對應的費用也會大幅升高。
<b></b>
當後付費産生的賬單超出您的企業預算時，您可以轉換為預付費，将CU計算資源包月。
注意事項：請合理評估計算作業性能與時間關系，很多企業轉為預付費後，由于購買的CU數量少，作業計算周期長，達不到預期，又轉回後付費。
合理預估預付費CU資源方法參照（僅供參考）：
SQL估算資源建議：show p後，通過logview檢視曆史作業平均消耗的worker數量，一個worker 近似1CU；
MR估算資源建議：show p後，通過logview檢視曆史作業平均消耗的cost * min計算時，cost數量近似CU。
指令行如下：
混合模式一，預付費做生産業務（小時級ETL）+後付費非周期任務或即席查詢Adhoc。将非周期性的大規模資料處理作業放到後付費模式上。将周期性高密度計算作業放到預付費模式。資料可以存儲在預付費模式下，後付費模式不用存儲資料，通過跨表計算省去一份存儲成本。注意：不同賬号下跨表計算需要通過Grant授權來實作，參考：
<a href="https://help.aliyun.com/document_detail/27927.html" target="_blank">https://help.aliyun.com/document_detail/27927.html</a>
案例分析：這個案例是後付費月賬單1萬元的3個月計算消耗明細，Max最大200CU，平時用到30CU；
此方案的結構可以優化為：
最經濟型：月4500元（30CU，不預留水位）+1800 元(1000GB*1.5複雜度*0.3（元/GB/複雜度）*4次)，節省：3700元/月，雖然節省較多，但資料業務的增長會遇到水位線瓶頸，需要定期擴充CU。
次經濟性：月7500元（50CU，預留30%水位）+1800 元(1000GB*1.5複雜度*0.3（元/GB/複雜度）*4次)，節省：節省800元/月，雖然節省少，但資源還比原來更充裕了。
混合模式二，預付費做非周期任務或即席查詢Adhoc+後付費生産業務（天級ETL）。企業為了控制日常資料探索帶來的SQL健康度下降及費用不可控，可以把資料探索和非周期任務放在固定資源組，通過CU管家為開發組和BI組配置不同的二級資源，生産作業如果隻是每天處理一次，可以通過彈性的方式跑在後付費資源組。
MaxCompute中存儲資源是非常寶貴的。可以根據資料本身的使用情況，對表設定生命周期，MaxCompute會及時删除超過生命周期的資料，達到節省存儲空間的目的。比如：
建立一張生命周期為100的表。如果這張表或者分區的最後修改時間超過了100天将會被删掉。需要注意的是生命周期是以分區為最小機關的，是以一個分區表，如果部分分區達到了生命周期的閥值，那麼這些分區會被直接删掉，未達到生命周期閥值的分區不受影響。
另外可以通過指令
修改已經建立好的表的生命周期。
MaxCompute将分區列的每個值作為一個分區(目錄)。使用者可以指定多級分區，即将表的多個字段作為表的分區，分區之間正如多級目錄的關系。在使用資料時如果指定了需要通路的分區名稱，則隻會讀取相應的分區，避免全表掃描，提高處理效率，降低費用。
假如最小統計周期為天，宜采用日期作為分區字段。每天将資料覆寫遷移到指定分區，再讀取指定分區的資料進行下遊統計。
假如最小統計周期為小時，宜采用日期+小時作為分區字段。每小時将資料覆寫遷移到指定分區，再讀取指定分區的資料進行下遊統計。若小時排程的統計任務也按天分區，資料每小時追加，則每小時将多讀取大量的無用資料，增加的流入資料量，增加了不必要的費用。
分區字段不一定非得是時間，根據實際需要，也可以使用其他的枚舉值個數相對固定的字段，比如管道、比如國家省份地市。或者使用時間和其他字段共同作為分區字段。
通過使用内部網絡（經典網絡、VPC）實作零成本資料導入、導出。
很多企業客戶ECS帶寬是包月的，可以使用Tunnel等資料同步工具，将MaxCompute資料同步到ECS上，然後下載下傳到本地。下載下傳方法參考：
<a href="https://help.aliyun.com/document_detail/53093.html" target="_blank">https://help.aliyun.com/document_detail/53093.html</a>
當檔案量小的時候，會消耗更多計算資源參與計算，建議檔案量積累較大時一次性上傳，比如，使用者在調用tunnel sdk時當buffer達到64M時送出一次。
當資料在IDC機房，需要通過專線同步到MaxCompute的時候，我們需要做好帶寬預估，平衡資料同步與帶寬之間的成本。
舉個例子，企業有50T資料上雲，如果我們需要1天同步完成，我們需要多少帶寬， 50T*1024（GB）* 8（小b）*/24小時*3600秒=4.7Gb/s，大約需要5G帶寬；
養成定期檢視賬單的好習慣，及時優化使用成本。通過阿裡雲控制台-消費-消費記錄-消費明細，檢視MaxCompute/odps每日計費清單及賬單（計算、存儲、下載下傳）明細。
場景1，檢視昨天的收費情況
出賬後，通過控制台消費明細來檢視。
出賬時間：
預付費出賬單時間次日12點
後付費出賬單時間是次日9點
step2 打開消費總覽，看到當月賬單。
step4 點選詳情，展開每個項目的消費情況，檢視有無“貴”收費
如發現“貴“的項目，可根據存儲、計算、下載下傳幾個場景對應到下面的解決方法。
場景2，分析某一天計算收費“貴“原因
通過導出使用記錄，分析消費多的作業instance具體情況。
step1 打開消費明細後，看到賬單異常後，請到左側消費記錄下載下傳導出使用記錄。
step2下載下傳記錄後，打開excel表，定位異常資料的instanceid。
step3 檢視這個“貴”instanceID 的logview
wait 20171106100629865g4iplf9
step4 通過Logview我們發現産生了全表掃描、長尾計算等問題，及時優化我們的SQL/MR作業。
長尾優化參考：
<a href="https://yq.aliyun.com/articles/67086?spm=5176.100239.blogcont78108.350.xOKsQZ" target="_blank">MaxCompute計算長尾問題</a>
<a href="https://yq.aliyun.com/articles/72888?spm=5176.100239.blogcont78108.295.xOKsQZ" target="_blank">MaxCompute（原ODPS） JOB 長尾問題調優</a>
場景3，分析存儲收取1分錢的原因
通過導出使用記錄，分析消費多的存儲Storeage明細。
step1 下載下傳記錄後，打開excel表。
step2 檢視資料分類中的Storage，會發現在yinlin_test_huabei2_io Project下存儲了384位元組資料。
step3 如果這份資料是用來測試的，你可以通過IDE删除Project下的表資料。
場景4，分析資料上傳和下載下傳是否産生了費用
部分使用者總擔心資料同步會産生費用，我們可以通過分析賬單來解決。
step1 點選消費明細詳情，檢視上行、下載下傳有無收費。
我們可以看到收費明細裡面并沒有上行計費項，是以使用者不必擔心資料上傳産生了費用。
同時，我們看到了下載下傳産生了0.12元。
step2 通過導出使用記錄，分析消費多的下載下傳消耗明細。
step4 下行優化
b 如果你本地在蘇州，Region在華東2上海，那麼你可以先通過華東2的ECS把資料下載下傳到虛機，然後利用ECS包月下載下傳資源。
客戶非常關心收費細節，經常會問哪些指令是收費的。比如删除指令收不收費，更新資料收不收費。整理了一個表格，友善大家查閱MaxCompute 計算收費的指令；
文法表達式
用途
是否收費
樣例
Tunnel Download
下載下傳資料（經典網絡）
否
tunnel download Table_name e:/Table_name.txt;配置經典網絡endpoint：http://dt.cn-shanghai.maxcompute.aliyun-inc.com
下載下傳資料（公網）
收費
tunnel download Table_name e:/Table_name.txt;配置外網網絡endpoint：http://dt.cn-shanghai.maxcompute.aliyun.com
Tunnel Upload
上傳資料
Tunnel upload e:/Table_name.txt Table_name;
Cost SQL
費用預估
Cost SQL SELECT * from Table_name;
Read Table
資料預覽
read Table_name 10;
Insert Overwrite …Select
資料更新
insert overwrite table Table_name partition
(sale_date='20180122') select shop_name, customer_id, total_price from
sale_detail;
Desc Table
檢視表資訊
desc Table_name;
Drop Table
删除非分區表及資料
drop table if exists Table_name;
Create Table
建立分區表
create table if not exists Table_name (key string ,value
bigint) partitioned by (p string);
Create Table …Select
create table if not exists Table_name as select * from A_Tab;
Insert Into Table
指定列插入資料
insert into table Table_name partition (p)(key,p) values
('d','20170101'),('e','20170101'),('f','20170101');
Insert Into Table...Select
插入資料
insert into table Table_name select shop_name, customer_id,
total_price from sale_detail;
Select UDF [not Count or All] from Table
查詢表資料
Select sum(a) from Table_name;
Set Flag
會話設定
set odps.sql.allow.fullscan=true;
Jar MR
運作MapReduce作業
jar -l com.aliyun.odps.mapred.example.WordCount wc_in wc_out
Add Jar/file/archive/table
注冊資源
add jar data\resources\mapreduce-examples.jar -f;
Drop Jar/file/archive/table
删除資源
DROP RESOURCE sale.res
List Resources
檢視資源清單
list resources;
Get Resources
下載下傳資源
get resource odps-udf-examples.jar d:\;
Create Functions
注冊函數
CREATE FUNCTION test_lower
Drop Functions
删除函數
DROP FUNCTION test_lower;
List Functions
檢視函數清單
list
functions;
Alter Table
删除分區表
Alter table user drop if exists
partition(region='hangzhou',dt='20150923');
TRUNCATE TABLE
删除非分區表
TRUNCATE TABLE table_name;
CREATE EXTERNAL TABLE
建立外表
否（公測）
CREATE EXTERNAL TABLE IF NOT EXISTS
ambulance_data_csv_external…LOCATION
'oss://oss-cn-shanghai-internal.aliyuncs.com/oss-odps-test/Demo/'
Select [EXTERNAL] TABLE
讀取外表
select recordId, patientId, direction from
ambulance_data_csv_external where patientId > 25;
Show Tables
列出目前項目空間下所有的表
SHOW TABLES；
Show Partitions Tables
列出一張表中的所有分區
SHOW PARTITIONS <table_name>
Show Instances/Show P
傳回由目前使用者建立的執行個體資訊
Wait Instance
傳回指定執行個體Logview
Wait 20131225123302267gk3u6k4y2
Status Instance
傳回指定執行個體的狀态
Status 20131225123302267gk3u6k4y2
Kill Instance
停止您指定的執行個體
Kill 20131225123302267gk3u6k4y2
<b>結論 </b>
重要的是要記住，這些最佳實踐方法并不意味着是一次性的活動，而是持續性的過程。由于大資料的動态性和不斷變化的性質，企業使用者成本優化的活動應該持續不斷的進行。
現在的企業資料資産繁雜衆多，成本也會相應的提升，特别是建設大資料平台的企業，資料的類型、分布、實作技術、所屬部門等都很繁雜，通過資料資産治理降低企業資料使用的成本，提高以資料指導管理決策的效率，已然成為大資料時代中企業競争力的重要來源。
新的一年開始了，歡迎您加入MaxCompute開發者社群，在新征程裡與更多大資料開發者一起學習交流大資料技術。
搜尋釘釘群号：11782920，或掃碼加入
<a target="_blank">---阿裡大資料博文，問答，社群，實踐，有朋自遠方來，不亦說乎……</a>