精彩視訊回顧請點選： MaxCompute管家詳解
以下是直播内容精華整理，主要包括以下四個方面：
1.背景速覽；
2.功能介紹；
3.案例講解；
4.新功能預告。
一、背景速覽
MaxCompute（原ODPS）是一項大資料計算服務，它能提供快速、完全托管的PB級資料倉庫解決方案，使使用者可以經濟并高效的分析處理海量資料。在購買了MaxCompute之後會有相當多而繁瑣的管理和維護工作，比如如何對項目進行更精細化的管理、如何将項目與配額進行關聯等等，而MaxCompute管家可以幫助使用者更好地完成這些工作，它是一個為使用者提供作業資訊檢視、資源消耗檢視（涵蓋CU資源和存儲資源）、項目檢視及調整、配額組增删改查等涉及日常MaxCompute運維能力的管理平台。
目前，全球包括美國、英國、德國、印度、日本、新加坡在内的18個國家或地區（詳情見官網）購買了數加并購買MaxCompute”包年包月“的使用者（後期也會支援購買MaxCompute“按量付費“的使用者）可以使用MaxCompute管家功能，且已經支援英文界面。MaxCompute管家的入口有兩個：（1）管理控制台（圖1）和（2）數加控制台（圖2）。需要注意的是從管理控制台和數加控制台進入MaxCompute管家頁面時候需要先選擇正确的MaxCompute對應區域。
圖 1 MaxCompute管家入口1：管理控制台
圖 2 MaxCompute管家入口1：管理控制台
二、功能介紹
目前，管家主要針對MaxCompute中項目、配額以及作業三個核心子產品來提供相應的支援。
（一）項目
在項目清單頁面可檢視目前使用者具備的預付費project的所有相關資訊，包括項目名稱、所屬dataworks工作空間、賬号、配額組、已用存儲、project預設預付費quota組調整，如圖3所示。這裡需要注意項目名稱和所屬dataworks工作空間是兩個概念，不要混淆了。在項目清單頁面點選項目名稱會跳轉到存儲使用趨勢的頁面來檢視項目存儲使用的相關情況，并且支援按時段搜尋，在存儲水位曲線中還可以檢視具體到某一個時段的詳情（最近1小時、最近6小時、最近12小時、最近1天、最近1周，存儲量每1個小時采集一次）；賬号是指項目所屬的一個通路身份；點選配額組可以檢視相應的配額使用情況，在後面會重點進行介紹。除了以上操作之外，管家還提供了一個對項目配額組進行修改的操作，使用者可以對項目所屬的配額組進行修改，更加友善管理。在将項目遷移到新的配額組之後，如果原來的配額組沒有被删除，那麼項目會沿用原來的配額組進行作業，如果已經被删除，就會使用新的配額組進行作業，以此來達到資源的最大化利用。
圖 3 項目清單頁面
（二）配額
配額管理是MaxCompute的資源管理中的重點也是難點，面對不同的業務需求，使用者也有不同的配額管理方式。配額組有4個比較重要的配置參數，具體如下：
（1）預留CU最小配額：單個quota組配置設定資源的下限。
（2）預留CU最大配額：單個quota組配置設定資源的上限。
（3）非預留CU最大配額：單個quota組可使用彈性資源的上限。
（4）配額組标簽：标簽主要是用于指定作業的配額組，如果您的包年包月資源組設定多個二級Quota組，可以在送出作業的時候，指定作業運作的Quota組，可以與project所屬Quota組不同。這樣設定，能夠更加靈活的設定和使用您的計算資源。大家也可以根據具體情況靈活設定标簽。
在配額清單頁面，可檢視目前使用者具備的預付費project的相關資訊，包括配額組、CU最小配額、CU最大配額、彈性CU最大配額、配額組标簽、涵蓋項目個數、最近一次配額組操作狀态等，如圖4所示。
圖 4 配額清單頁面
點選配額組中的某一配額組名稱，會跳轉到相應的頁面，裡面可以檢視對應的資源使用情況，比如預留CU資源使用趨勢和非預留CU資源使用趨勢，如圖5所示，我們也可以檢視不同時段的資源使用情況。除此之外，還可以檢視該配額組所包含的項目清單，該處項目清單的詳情如上文中圖3所示的一樣，也可以進行相應的操作。
圖 5 配額組詳情
對配額組的操作主要有建立配額組、修改配額組和删除配額組。
（1）建立配額組
在建立配額組的是時候修改預留CU最小配額、預留CU最大配額、非預留CU最大配額以及标簽，單擊執行，完成修改即可。這裡我們可以根據自己業務的需求來給配額組設定相應的名稱。
（2）修改配額組
修改配額組的時候可以修改預留CU最小配額、預留CU最大配額、非預留CU最大配額以及标簽，然後單擊執行，即可完成修改。需要注意的是非預留CU最大配額即為包年包月裡的非預留計算資源，此功能僅中國站使用者可以使用。另外，這裡需要需要注意的時候，配額組的名稱一旦建立就不能修改。
（3）删除配額組
删除功能相對比較簡單，就是在配額組不需要的時候删除相應的配額組即可。但是需要注意，處于安全考慮，沒有涵蓋項目的配額組可删除，删除後的配額會歸還至預設配額組，而如果配額組的涵蓋項目數不為0，那麼是無法删除的。
（三）作業
在作業子產品中，我們支援目前的作業快照，是以在預設狀态下，進入作業快照清單的時候，展示的是目前的狀态。在作業清單頁面，可以檢視目前使用者指定配額組下所有作業情況，包括InstanceID、賬号、項目名稱、cpu使用占比(%)、記憶體使用占比(%)、送出時間、等待時長、運作時長、運作狀态，作業快照每2分鐘采集1次。如果需要了解更多的關于作業的運作情況，可以點選InstanceID檢視對應的LogView，它與作業是一對一的關系，具體的可以檢視官網關于LogView的說明。一般在需要對資源使用進行詳細了解以優化資源配置的時候，我們可以檢視某一個作業的資源使用情況，做到心中有數，也友善對資源配置進行優化。
圖 6 作業清單頁面
三、案例講解
在上文的基礎上，下面通過案例來進行具體分析如何更好的使用現有的功能來配置設定和管理資源，讓資源得到更有效的利用。首先，我們需要了解幾個關于配額的規則：
（1）預留CU最大配額配置規則：單個子組的最大CU要小于等于預設資源組的最大CU；
（2）預留CU最小配額配置規則：所有子組的最小CU之和要小于等于預設資源組的最小CU；
（3）非預留CU最大配額配置規則：所有子組的彈性最大CU之和要小于等于預設資源組的彈性最大CU；
（4）配額組标簽命名規則：配額組标簽隻允許使用字母、數字、下劃線，不同配額組對應标簽不要重名，否則作業指定此重名标簽，将會随機排程到其中一個配額組；配額組标簽排程規則：如果送出作業時設定的Quota Tag和某個配額組屬性中的标簽相等，這個作業就會被優先排程到這個配額組中，否則會被排程到所屬Project指定的配額組中，詳細資訊請參見官網Quota Tag描述。
在了解清楚了以上幾個規則以後，如果進行資源的配置設定呢？我們以兩個具體的問題來了解一下。
（一）拿到資源如何配置?
首先我們要明白，配置政策跟業務是密不可分的，脫離了業務談配置是不切實際的。一般來說，在實際配置中我們有資源獨享和資源共享兩種資源配置政策。資源獨享更偏向于重點確定的業務，就是說那些一定要完成的和一定要保障到的業務，而資源共享就沒有那麼苛刻的要求了，大部分情況下我們都可以采用資源共享的形式來進行配置，這樣子就可以避免前置資源的浪費。
假設我們共有預留計算資源60CU，非預留計算資源30CU，由兩個部門使用，可以按照如下方式配置設定：
（1）資源獨享方式
這麼劃分意味着當A組哪怕沒有資源使用時，B組資源最多也隻能用到20（由最大CU限制）+10（由彈性最大CU限制）的資源；反之亦然，當B組沒有資源使用的時候，A組最多也隻能使用30+10CU的資源。這裡需要注意，預設的預付費Quota組預留最小CU和非預留最大CU最少也需要有1CU，也就是說預設的預付費Quota組是一個天然的共享型的資源池。是以在業務上隻需要資源獨享配額時候，就不要把項目遷移到預設的預付費Quota組，而要去做自定義的資源獨享組。
（2）資源共享方式
這麼劃分意味着當A組和B組資源均緊張時，A組可以用到20+10的資源，B組可以用到30+10的資源。當A組沒有作業時，B組最多可以用到60+10的資源；反之當B組沒有資源時，A組可以用到60+10的資源。我們需要注意的是，當采用資源共享方式，如果B組沒有作業，A組配置設定了60（預留最大CU）+10（非預留最大CU）的資源時，之後B組突然有大量作業需要申請資源，這時候需要排程器通知A組釋放相應資源之後B組才能開始配置設定資源進行作業。
（二）作業慢或者資源不足怎麼辦?
在實際業務中，可能随着業務量的增加、作業的複雜度增大，我們可能會遇到作業慢或者資源不足的情況。這裡我們給出了三個解決方案：
（1）優化作業代碼
我們可通過快照作業的資源使用情況得到top消耗的作業，并嘗試進行優化，可參考官網最佳實踐來做相應調整。
（2）更換排程政策
若單個配額組資源不足，但其他配額組有足夠空閑資源時，建議使用quota tag，可排程到閑置配額組内進行資源周轉，或者調整内部配額組之間的資源上下限，增加資源使用的靈活性，或者通過切換project對應的quota組的方式進行重組式管理，前提是取決于業務情況。
（3）擴容
若整體資源不足，且其他待跑任務無重保訴求，建議走非預留擴容；若整體資源不足，且有重保任務持續新增時，建議走預留型擴容并已獨享型模式配置或後付費采買。
四、新功能預告
本文所提到的功能隻是MaxCompute管家所提供的功能中的一部分，主要是面向初級使用者，後續将會有更多的功能對外開放，也會分享更多的進階版、進階版的功能，來解決大家工作中的痛點。未來一段時間，MaxCompute管家會有一些新功能與大家見面，比如以下：
（1）資源概覽頁
資源概覽頁用來展示使用者對應的”包年包月“付費模式下的整體CU使用量、CU資源使用趨勢、存儲資源使用趨勢，友善使用者更快速、更便捷的了解目前的資源使用情況。
（2）曆史作業快照
曆史作業快照支援按時間搜尋曆史作業快照，便于使用者對曆史作業的資源使用情況的追述。
（3）終止作業
支援作業owner小批量終止作業，同時支援終止作業曆史追述。
（4）分時配額
針對于部分使用者作業有時段性的要求，增加了分時配額，支援使用者對不同配額組進行分時段的動态配額調整，便于使用者對周期性任務排程的有效管理。
如果大家需要了解更多的關于MaxCompute管家的細節，可以通過官網 -> 大資料計算服務 · MaxCompute -> 文檔&SDK -> MaxCompute管家來檢視相應的說明文檔，官方也會持續的進行疊代更新。