美團住宿資料治理團隊從事資料治理工作多年，從最初的被動、單點治理，發展到後來的主動、專項治理，再發展到現在的體系化、自動化治理。一路走來，他們不斷進行積累和沉澱，也在持續思考與實踐。目前該團隊取得了一些階段性的成果，并得到美團多個業務線的認可和肯定。過程的經驗與教訓，希望能和大家分享，也希望能給從事資料治理工作的同學帶來一些新思路。
- 一、序言
- 二、背景介紹
- 三、治理體系化思考
- 3.1 什麼是資料治理體系化？
- 3.2 資料治理體系化如何解決目前治理存在的問題？
- 3.3 業務資料管治體系架構如何建設？
- 3.4 體系架構如何落地實施？
- 四、治理體系化實踐
- 4.1 标準化
- 4.2 數字化
- 4.3 系統化
- 五、業務資料治理實施流程
- 六、總結與展望
一、序言
美團住宿資料治理團隊通過多年數倉建設及資料治理的經驗沉澱，并結合業務發展階段對于資料治理的訴求，将治理的思路逐漸從專項、表象、問題驅動的治理，轉變為自動化、體系化的治理，并從标準化、數字化、系統化三個方向進行了落地與實踐。
二、背景介紹
美團住宿業務從2014年上線之後發展多年，曆經探索期、進攻期，發展期，并逐漸由發展期向變革期過渡。業務從之前的快速擴張階段進入相對穩定的發展階段，營運手段轉變為精細化營運，同時對資料的成本、效率、安全、價值等方向的要求也越來越高，這些都對資料治理提出了新的要求。
圖1 住宿業務發展階段
另一方面，住宿資料組所屬的資料中心内部有住宿、門票度假等多條業務線，各業務線業務模式不同，所處業務生命周期階段不同，在資料治理上的認知及經驗積累也不同。如何能将資料治理經驗及能力高效複用，使資料中心各業務線在資料治理的效率和效果上都能穩步提升，避免踩坑，這就需要資料治理更加标準化、體系化、自動化。
此前，我們在資料治理上已經有了一些積累和沉澱，前一階段主要從單點、被動的治理轉變為主動、專項的治理，治理動作有意識、有規劃，也有一定的針對性，且取得了一定的成果（前一階段的治理經驗可參考《美團酒旅資料治理實踐》一文），但總的來說仍以問題驅動治理、憑經驗治理為主。面對新的資料治理責任及要求，過往的方式存在着一些問題，主要包括以下幾個方面。
治理認知差異大
- 認知不一緻，思路不統一：治理缺乏通用的體系指引，不同的治理人對于資料治理的認知深度、問題拆解的方式、治理的思路步驟、采取的方法及其效果追蹤等方面，都存在較大的差異。
- 重複治理、資訊不通：治理不徹底、治理經驗缺乏沉澱，同樣的治理，不同的人反複實行。
- 範圍交叉、邊界不清、效果難評估：不同的人針對不同的問題成立不同的專項進行治理，問題的底層邏輯有交叉。有的治理沒做什麼動作，反而收到了較好的結果，有的治理對于結果說不清。
治理方法不标準
- 流程規範缺失：對于每個方向、每類問題的治理缺少理論指導，治理的方法、動作、流程、步驟依賴治理人的經驗和判斷。
- 問題難度量追蹤：治理的問題缺少衡量标準，更多靠人為來進行判斷，治理效果缺少評估體系。
- 解決方案難落地：解決方案存在于文檔中，需要治理人查找了解，缺少工具支撐，成本較高。
治理效率低、效果差
- 治理線上化程度低：治理依賴的資産資訊、治理動作都分散于多個系統中，資訊碎片化，執行效率低。
- 過程無法标準化，結果無保障：治理過程需要治理人來“人為保障”，存在了解偏差和執行偏差。
資料管治缺乏體系化
- 缺乏整體頂層治理方案設計：業務及資料中心對于資料治理的要求，需要治理更全面、更精細、更有效，需要治理的體系化，需要從宏觀角度進行思考，層層拆解，需要從整體、從頂層來做方案設計。
- 問題越來越複雜，單點難解決：過往更多的是從表象去解決問題，從表面來看衡量名額有改善，實際是“頭痛醫頭、腳痛醫腳”，并沒有從根本上解決問題。或者多個問題具有共性，根本問題是一緻的。比如查詢資源緊張的根本，可能是分析主題模型建設不足或營運不夠。
- 不同問題的優先級無法确定：不同問題的優先級缺乏衡量标準和方法，主要靠人為判斷。
- 治理不符合MECE原則：每個治理方向由哪些問題組成，哪些最重要，哪些的ROI最高，哪些問題和治理動作可以合并，同一問題在數倉不同主題、不同分層的衡量标準和治理方法應該有哪些差異，都需要在體系化治理中進行考慮。
三、治理體系化思考
從上述背景中不難看出，我們面臨着不同業務生命周期階段對資料建設和治理不同的要求及挑戰，同時過往更多的以被動治理、問題驅動的專項治理方式方法也比較落後，這直接導緻技術團隊很難滿足業務方對于财務、業務支援等方面的要求。
通過不斷的汲取教訓和總結經驗，我們開始意識到資料管治是一個非常複雜的綜合性問題，隻有建構出一套标準的業務資料管治體系，才能確定資料治理在現狀評估、目标制定、流程規範建設、治理監控管理、能力建設、執行效率、效果評價等各環節有效落地。下面介紹一下我們在治理體系化層面的了解和思考。
3.1 什麼是資料治理體系化？
針對資料管理和治理，我們期望搭建一套集管理體系、方法體系、評價體系、标準體系、工具體系等核心能力的組合，持續服務于資料管治實施。可以類比一般的電商公司，如果需要運轉并服務好顧客，它首先必須搭建起來一套銷售體系、産品體系、供給體系、物流體系、人力體系等等，隻有這樣才可以互相配合，實作服務好使用者這一大目标。
圖2 資料治理體系思考
3.2 資料治理體系化如何解決目前治理存在的問題？
- 方式方法上：先做頂層治理架構設計，從團隊整體視角定義和規劃好治理的範圍、人員、職責、目标、方法、工具等必須部分，再進行落地。更關注整體政策的普适性及有效性，而非深陷某個具體問題解決方案開始治理。
- 技術手段上：以完善的技術研發規範為基礎，以中繼資料及名額體系為核心，對業務數倉和資料應用進行全面評價和監控，同時配套治理系統工具，幫助治理同學落地治理政策和解決資料開發同學治理效率低問題。
- 營運政策上：通過對待治理問題進行影響範圍、收益情況進行評估，确定待治理問題的重要度，從管理者視角以及問題責任人視角2個途徑推動不同重要程度的治理問題解決。
3.3 業務資料管治體系架構如何建設？
我們的建設思路是：以團隊資料治理目标為核心導向，設計實作目标需要的相關能力組合，并根據組織要求，實施過程的問題回報，持續不斷地疊代完善，最終實作資料治理的願景。
體系架構主要包含以下内容：
- 管理層：立法，制定相關的組織保障流程規範、職責設計、獎懲措施，指導和保障資料治理順利進行，這是資料治理能夠成功啟動運轉的關鍵因素。
- 标準層：設标準，制定各類研發标準規範、解決方案标準SOP等資料治理過程中需要的各類技術規範和解決方案，這是所有技術問題正确與否的重要依據，也是治理中事前解決方案必不可少的一部分。完善的标準規範和良好的落地效果，可很好地降低資料故障問題的發生量。
- 能力層：完善能力，主要是基于中繼資料的問題度量的數字化能力，以及問題工具化檢測和解決的系統化能力。數字化和系統化能力是資料治理實施的科學性、實施的品質及效率的重要保障。
- 執行層：設定動作，結合要達成的具體目标，對各治理域問題，按照事前限制、事中監控、事後治理的思路進行解決。目标的達成，需要拆分到7大治理域相關的具體問題中去落地。是以，一個治理目标的達成，很依賴治理域對問題描述的全面性及深度。
- 評價層：給出評價，基于名額的問題監控，健康度評價體系，專項評估報告，評價治理收益及效果，這是實施治理推進過程監控，結果檢驗的重要抓手。
- 願景：長期治理目标，指導資料管治有方向地不斷朝着最終目标前進。
圖3 資料治理體系概覽
體系架構建設成果：業務資料治理體系架構是針對資料治理工作整體做的頂層方案設計，架構定義好了業務線資料治理是什麼、怎麼做、做什麼、用什麼工具以及達成什麼目标。拉齊各方對業務資料治理的認知，标準化治理路徑方法群組成部分，指導資料治理有序、有效地進行。
圖4 資料治理體系架構
3.4 體系架構如何落地實施？
參照業務線資料标準化管治體系架構各組成部分特點，我們具體通過标準化、資料化、系統化3大部分能力建設及營運，來實作資料管治體系架構的落地，并應用在資料治理問題的解決中，最終拿到可量化的結果。
圖5 資料治理體系化落地思路
四、治理體系化實踐
4.1 标準化
資料治理标準化是企業進行資料資産管理的關鍵突破口和重要手段，一系列政策、法規、規劃需要轉化為标準和制度才能有效落地。資料治理标準化既有利于建立健全各種資料管理工作機制、完善業務流程，又有利于提升資料品質，保障資料安全合規使用，釋放資料價值。但在資料治理标準化建設過程中，我們經常會面臨以下三個問題：
- 流程規範缺失：各個環節缺少标準和限制來指導規範化操作，無法有效杜絕問題的發生、解決。
- 落地條件差：規範标準、SOP等不具備落地條件，靠主觀意願，無法有效落地，效果差。
- 建設方法不合理：規範建設Case by Case，缺少體系化建設思路導緻“一直建、一直缺”。
針對上述三個問題，我們從解決問題的視角出發，劃分資料開發流程，通過事前限制、事中監控、事後分析評估的思路，整理補齊缺失的流程規範，進而實作标準流程規範在資料管治各環節全覆寫，并建設系統化工具來保障标準規範的落地實施。下文将分别從規範建設及工具保障兩方面來介紹我們在資料治理标準化過程中是如何解決上述問題的。
圖6 資料治理标準化思路
4.1.1 規範建設
規範是資料治理建章立制的基礎，針對标準規範建設不合理及流程規範缺失的問題，我們用體系化的建設思路從整體架構上對資料開發流程及資料治理流程進行劃分，并針對全流程資料管治各個環節建設相應規範：
- 資料治理管理規範：明确資料治理組織職責以及人員構成，确定資料治理實施流程及治理問題運維流程，以保障資料治理過程順利進行。
- 資料研發規範：明确資料開發各個環節需要遵守的規範要求，從問題産生的源頭，通過建設完善的研發規範，指導研發工作按标準進行，一定程度上可減少問題發生。
- 資料标準化治理SOP：明确各個治理問題治理動作，確定治理動作是标準且可實施。
- 資料健康度評估規範：明确治理效果的評價标準，對資料體系做到長期，穩定及名額化的衡量。
圖7 資料治理規範化建設成果
4.1.2 工具保障
标準規範可視化-知識中心
在标準規範的共享方面，以往技術團隊在實際規範落地過程中可能存在以下問題：
- 規範找不着：重要規範文檔散落在各個Wiki空間，導緻使用時無法快速查找，效率低下。
- 規範品質差：文檔沒有統一進行維護，無法持續進行疊代和完善，不能随着業務及技術的發展更新。
- 規範沒權限：文檔散落在各個成員的私人空間内部，未對所有人開通權限，優質内容無法及時共享。
針對上述問題，我們重新收集整理已有規範文檔并進行分類，補充缺失文檔，優化文檔内容，并新增知識中心子產品，将知識體系架構産品化，在産品層面維護統一的入口及權限管理，同時嚴格控制釋出流程，解決了标準規範在實際落地時“找不着”、“品質差”、“沒權限”等問題。
圖8 知識中心及文檔釋出流程
測試規範工具化-八卦爐
在資料測試規範落地方面，以往資料測試規範都是通過Wiki維護，無法限制大家實際執行過程，導緻資料品質較差，容易出現資料故障。為減少資料開發過程中由于測試不規範而導緻資料故障的情況，提升資料品質及業務滿意度，我們利用資料中心與資料平台工具組合作共建的ETL測試工具（美團内部工具-八卦爐）來保障測試規範SOP落地執行，要求大家在不影響測試驗數效率情況下充分測試，實作資料治理問題在事前限制，減少事後問題量，保障資料品質，工具建設如下圖所示：
圖9 測試規範工具化-美團八卦爐架構圖
治理提效保質工具-SOP自動化工具
在日常資料開發工作中，資料工程師會承擔一部分資料治理工作，以往都是通過執行資料治理SOP中每個步驟對問題進行治理，但經常會面臨以下幾個問題：
- 治理效率低：需要根據SOP中治理經驗，去各個平台分别執行相應治理動作，對于一些步驟較為複雜的SOP，需要跳轉多個平台操作，治理效率較低。
- 治理過程無法限制：治理經驗浮于文字，無法限制資料工程師的執行動作，導緻部分問題治理不徹底。
基于上述問題，我們開發了治理提效工具-SOP自動化工具，彙總多個平台治理工具，将資料治理标準化SOP的各個執行步驟通過工具落地，實作在一個工具内一站式治理能力，限制工程師的治理動作，確定整個治理過程是标準的，效果是可監控的，進而提升了治理效率及治理品質。
比如無效任務的治理，首先需要調研問題治理經驗并沉澱至SOP文檔，然後将SOP文檔中各個執行步驟依次通過自動化的工具進行配置。資料工程師在治理時隻需要在一個界面内即可實作全部的治理動作，下圖是無效任務治理SOP及美團的自動化工具：
圖10 無效任務治理SOP及美團的自動化工具
4.1.3 标準化收益及建設經驗
通過資料治理标準化建設，我們解決了團隊在資料治理規範方面若幹問題，取得了明顯效果：
- 實作了資料開發、資料治理的标準化，解決了團隊内各小組之間在開發、管理、運維方面流程方法标準不一緻的問題。
- 通過測試工具對标準化測試規範進行落地，在事前阻塞問題發生，提升資料品質，減少故障發生。
- 通過SOP自動化工具，有效保障治理過程的标準化，解決了治理效果差的問題。
同時，我們在實際建設的過程中，也總結了一些标準化的建設經驗：
- 标準規範如何落地，需成為标準流程規範建設的一部分，最好有傳遞物。
- 标準規範的制定，除正常内容外，需要綜合考慮組織目标、組織特點、已有工具、曆史情況、使用者回報等因素，否則會給人“不接地氣”的感覺。
- 标準規範的制定要優先考慮利用和适配已有工具能力，借助工具落地，而非讓工具适配流程規範。
4.2 數字化
以往大家在開展資料治理工作時主要依賴經驗判斷，缺乏科學可量化的抓手，對治理問題的嚴重程度無法準确感覺，同時對治理收益的回收也不能準确評估。是以我們開展了數字化的工作，将大家資料開發工作用資料描述，建構整個資料開發工作的準确視圖。
4.2.1 數字化架構設計方案
建設思路：通過對資料生命周期各環節進行類比業務數倉建設中抽象和描述業務對象方式，進行中繼資料對象的抽象和描述，并建設成中繼資料數倉和治理名額體系，應用在資料管治場景。
架構主要包含中繼資料倉庫、名額體系、資料資産等級以及基于元數倉基礎上建立的各個資料應用，利用中繼資料驅動資料治理及日常團隊管理，避免過多依賴經驗解決問題，更好地服務業務。下邊幾個章節将分别介紹數字化架構最核心的資料内容：中繼資料倉庫、名額體系、資料資産等級。
圖11 數字化架構
4.2.2 中繼資料倉庫建設
中繼資料是描述資料的資料，包含資料資産種類、資料存儲大小、資料流血緣關系、資料生産過程等資訊，存在資訊種類多，分布零散，資訊不完整的特點。豐富的中繼資料有助于我們快速了解團隊資料資産，讓資料資産更加精準，透明。為資料使用和價值釋放提供支撐。
我們的建設思路，采取資料業務化、業務數字化、數字應用化的思路來搭建中繼資料倉庫。
- 資料業務化：即将資料工程師日常資料開發工作業務化描述，抽象多個業務過程，如需求提出、任務開發、資料表産出、資料應用、需求傳遞。
- 業務數字化：用建設業務數倉的思路和方法，對資料業務化之後的各個業務過程及主題，搭建中繼資料數倉及名額衡量體系，并通過中繼資料場景化應用提升易用性及豐富度。
- 數字應用化：在中繼資料倉庫基礎上開發資料産品，驅動資料管治實施。
圖12 資料業務化思路
通過資料業務化思路，我們抽象業務域、管理域、技術域等3大主題域來描述元數倉對象，并對每個主題域進行細分，劃分多個主題：
- 業務中繼資料：基于具體業務邏輯中繼資料，常見業務中繼資料包括業務定義、業務術語、業務規則、業務名額等。
- 技術中繼資料：描述了與資料倉庫開發、管理和維護相關資料，包括資料源資訊、資料倉庫模型、資料清洗與更新規則、資料映射和通路權限等，主要為開發和管理資料倉庫的工程師使用。
- 管理中繼資料：描述管理領域相關概念、關系和規則的資料，主要包括管理流程、人員組織、角色職責等資訊。
圖13 中繼資料倉庫主題資訊建設
在元數倉分層上，我們采用最常見的四層架構分層方式，分别是貼源層、明細層、彙總層、應用層和次元資訊。差別于業務數倉分層設計方式，從明細層就按次元模組化思路組織資料，避免過度設計，隻需要做好主題劃分和解耦。在彙總層從分析習慣出發耦合資料，提升易用性。應用層按需建立所需接口支撐應用。
圖14 中繼資料倉庫分層
目前，我們已完成中繼資料倉庫技術域、管理域、業務域部分内容的建設，并已支撐名額體系及上層多個資料應用，未來仍将根據大家在實際工作中核心關注的内容對元數倉進一步補充和完善。
圖15 中繼資料倉庫建設成果
4.2.2 名額體系建設
一個問題的衡量需要從多方面進行考慮，隻用一個名額無法充分說明問題，這就需要一組有邏輯且互相關聯的資料名額來描述問題。在資料開發過程中，需要制定多個名額來監控衡量資料開發團隊在品質、安全、效率、成本等方面存在的問題。
此前，住宿資料團隊沒有一套成熟穩定的名額體系，無法長期準确衡量團隊的業務支援能力、技術能力。2020年，我們在中繼資料倉庫基礎上搭建了資料治理名額體系，全面衡量了業務數倉建設過程中各類問題，通過名額體系監測工作中的優點與不足，提升了團隊的工作能力，進而提高了對業務的支援能力。
建設方案
名額體系的建設目标是監控團隊工作狀态和變化趨勢，需要能夠覆寫到工作中的各個方面。是以，在名額體系的建設上，我們通過不同視角對名額體系進行分類，做到不重不漏全覆寫，讓名額适用于不同使用場景：
- 生命周期視角：從資料本身出發，衡量資料從生産到銷毀的各個過程，包括定義、接入、處理、存儲、使用、銷毀等等。
- 團隊管理目标視角：根據團隊管理核心要達成的目标分類，包括品質、效率、成本、安全、易用性、價值等等。
- 問題對象視角：根據治理問題核心關注的對象分類，包括安全、資源、服務、架構、效率、價值、品質等等。
圖16 名額體系多視角建設思路
建設成果
目前我們已建設技術、需求及故障三大類名額共計112個，全面覆寫資料開發中的各個環節：
- 技術類名額：覆寫成本、品質、安全、價值及易用性5個方面共57個名額。
- 需求類名額：覆寫新增、響應、開發、上線及驗收等7個方面共36個名額。
- 故障類名額：覆寫故障發現、原因定位及處理環節共19個名額。
圖17 名額體系建設成果
中繼資料及名額體系應用：
- 團隊管理：幫助團隊管理者快速了解團隊情況，提升管理效率。
- 資料治理：利用中繼資料及名額體系驅動資料治理，為資料治理提供可量化的抓手。
- 項目評估：幫助項目成員準确評估項目的問題、進展及收益。
建設思考
在名額建設過程中，我們沉澱了以下幾點經驗：
- 名額體系既要解決管理者對日常工作無抓手的問題，也要成為具體問題處理人員的治理抓手，兼顧管理者和開發者。
- 名額體系是展示偏整體層面的内容，還需通過名額解決實際問題，形成名額體系和資料治理工具閉環，實作發現問題、治理問題、衡量結果持續循環。
- 優先确定團隊總體發展目标，從目标拆分設定名額，名額盡量覆寫不同業務線不同發展階段。
- 業務需要明确自己所處階段，針對不同階段，制定考核目标，衡量閥值，既統一了衡量标準，又中和了大家考核标準。
- 名額需注意分層建設，避免“胡子眉毛一把抓”，便于适配目前的組織結構，也便于劃分責任與定位。
- 基礎名額體系建設完成後，可作為平時管理和工作的抓手，作為項目發起的依據，作為項目結果評估的手段。
4.2.3 資産等級建設
随着業務快速發展，團隊負責的資料資産規模也日益擴大。截止目前，團隊共負責離線Hive表3000+，ETL生産任務2000+，人均負責ETL生産任務100+。在面對規模日益擴大的資料資産，團隊管理者及資料工程師通常會遇到以下問題：
- 隻能評經驗判斷哪些是核心資産，遇到問題無法評估解決的優先級。
- 核心鍊路的保障，比如SLA及DQC的配置範圍缺少科學的評估手段。
- 管理者對團隊核心資産缺乏準确的判斷，無法準确有效的做出管理動作。
為豐富中繼資料之間的關系和内容，挖掘識别更有價值的資料資訊，以中繼資料能力驅動資料研發及運維日常工作，在中繼資料倉庫的基礎上我們做了衍生能力即資産等級的建設。資産等級可以對資料的重要性進行科學有效地評估，也可幫助完善資料品質分級監控方案，進而實作對重點任務的重點保障。
下圖是資料資産等級通用計算流程，我們首先根據資産類型确認各個影響因子及影響權重值，劃分影響因子重要性等級，其次根據各個影響因子數值範圍劃分得分區間，最後彙總計算得到最終資産等級得分及資産等級結果，并抽樣驗證結果的準确性。
圖18 資産等級計算流程
資産等級建設（資料表）
下圖是針對資料表資産等級建設的方法和流程圖：
圖19 資料表資産等級劃分
1）确定影響因子及權重評估
影響因子的确定是資産等級計算中最為關鍵一環，合理評估影響因子對最終資産等級結果的準确性至關重要。根據實際資料開發中經驗可知，影響資料表重要程度主要有以下幾個關鍵因素：
- 下遊類型：決定下遊資産重要程度，下遊資産類型一般有ETL任務和資料産品兩類，ETL任務及資料産品又根據重要度分為普通型及VIP型。
- 下遊數量：決定是否是關鍵節點，對下遊生産的影響範圍，下遊數量越多表明影響範圍越大。
- 使用熱度：決定是否有用，影響查詢使用者的範圍，熱度越高表明影響的使用者範圍越廣。
- 鍊路深度及分層：決定問題的修複時間，鍊路越深，問題修複的時間可能就越長。
确定好影響因子之後，我們需要判斷每個影響因子所占的權重值。我們采用層次分析法來計算權重值（層次分析法主要應用在不确定情況下及具有多數個評估準則的決策問題上，具體計算步驟，大家可查閱相關的資料），其優點是把研究對象作為一個系統，按照分解、比較判斷、綜合的思維方式進行決策，而且計算過程簡潔實用。
2）計算資産等級得分
根據實際情況對每個影響因子劃分得分區間，并結合每個影響因子權重值，可以計算得到資産等級最終得分。總得分為各影響因子得分與對應權重乘積加和。
3）資産等級映射
我們将資産等級最終得分劃分區間至L1 ~ L5，L5為最高資産等級，L1為最低資産等級。
圖20 資産等級劃分
資産等級應用場景（資料表）
目前，資産等級已運用到日常管治實施，為資料分級管治提供了有力的抓手：
圖21 資産等級應用場景
4.3 系統化
4.3.1 資料百品-管治中心
除了标準化和數字化之外，我們資料治理體系落地仍面臨諸多問題：
- 資料資産無法統計和描述，管理者及資料工程師不知道有什麼，缺乏資産的可視化。
- 管理者缺少抓手發現團隊的問題，且問題難以追蹤。
- 治理線上化程度低，需要跳轉多個工具，治理效率低，治理過程無法标準化，導緻結果無法保障。
針對上述問題，我們搭建了資料百品-管治中心治理平台（美團内部産品），實作了集資産管理、問題分析監控、自動化治理、過程追蹤、結果評價的一站式、全覆寫資料治理平台，能有效提升治理品質和效率，為資料品質提升做好強有力的支撐。通過“管+治”相結合的理念，分别從管理者及研發人員的視角對資料、人效等問題實作全面監控，并實作了資産全景、管理中心、治理中心三大子產品：
圖22 管治中心建設思路
資産全景
資産全景從管理者+資料RD視角出發，介紹了目前資料現狀即有什麼的問題，幫助業務線管理者及資料RD實作資料資産可視化，為管理者提供技術管理的抓手，為資料RD提升資料探查和資料使用效率。包含資産大盤、資産目錄、個人資産三個子子產品：
- 資産大盤：從業務線管理者視角出發，展示了業務線内各類資産概覽，幫助管理者一站式快速了解組内資料資産，無需跳轉多個平台。
- 資産目錄：展示團隊資料各資産類型及明細，為資料RD資料使用提供資訊支撐，提升RD資料探查效率。
- 個人資産：從歸屬人視角，展示資料RD個人及小組名下資料資産數量和資産類型及資料明細，較長的描述個人資産資訊。
圖23 資産全景建設思路
管理中心
資料團隊管理者在日常團隊管理中時經常會面臨兩個問題：
- 管理手段多依賴經驗判斷，當團隊需求承接增加、團隊人數增加時會帶來管理難度的提升，管理者缺少抓手快速看到團隊的整體情況。
- 管理動作天級别。管理者發現團隊某核心名額異常（例如：故障數），需要找對應的責任人詢問，無法從系統上快速進行異常追蹤，原因擷取。
管理中心主要從管理者視角出發，解決了怎麼管的問題，通過管理者關注的核心名額，為管理者提供監測團隊狀态、判斷團隊問題、輔助管理決策的能力，讓管理者從“依賴經驗管理”轉變為“資料驅動管理”。包含管理者大盤、運維管理、需求管理、團隊管理四大子產品：
- 管理者大盤：向管理者提供團隊核心名額總覽、問題趨勢分析、異常明細追蹤、異常原因标記等功能，友善管理者快速了解團隊情況，及時做出管理動作。
- 需求管理：提供詳細的人效分析大盤以及需求管理功能，服務于人效管理及提效。
- 故障管理：提供詳細的故障分析大盤以及故障複盤管理能力，提升故障管理效率。
- 團隊營運：團隊周月報，值班，滿意度問卷等團隊營運需要的能力，提升營運效率。
圖24 管理中心建設思路
治理中心
日常資料治理過程中，問題責任人解決問題主要有以下痛點：
- 不了解配置設定給自己的待治理問題背景、目标和重要程度。治理工作成為盲目去完成配置設定的任務，即使完成了治理動作，可能依然無法保證是否真正達到治理目标，尤其是面對同時需要處理多類治理問題時，效果差。
- 資料治了解決問題時通常要使用各類工具互相輔助才能解決，問題多了之後，治理問題變成了重複使用不同的工具，嚴重影響治理效率和效果。
治理中心從問題責任人視角出發，解決了怎麼治的問題，為一線治理工程師提供從問題評估分析，到治理，到進度監控的一站式治理能力。将治理工作精細化、常态化營運，提升了數倉治理品質和效率。包含治理概覽、分析評估、問題治理、進度監控四大子產品。
- 治理概覽：治理中心首頁，介紹了團隊資料治理體系架構及标準化治理成果，讓使用者在認知上與治理中心的治理理念一緻，并提供資料治理優秀解決方案。
- 分析評估：對七大類治理問題進行量化評估，提供治理優先級及問題排名，讓使用者了解應該先做什麼。
- 問題治理：提供豐富治理名額，全面衡量治理問題，問題配置設定及時通知，并利用SOP自動化工具，實作對解決問題過程的标準化，保障治理效果，提高治理效率。
- 進度監控：提供問題治理進度看闆及問題配置設定進度監控，便于管理者宏觀把控問題治理進度，合理規劃配置設定節奏。
圖25 治理中心建設思路
4.3.2 SOP自動化工具
在日常資料治理過程中，每個團隊都會沉澱若幹SOP規範文檔來指導大家進行問題治理，減少問題發生。但是在SOP的落地上，依然存在很多問題：
- SOP一般以Wiki形式存在，實際執行過程無法跟蹤限制。
- SOP動作的執行需要跳轉多個平台系統，執行效率低下。
建設方案
基于上述問題，我們開發了SOP自動化配置工具。SOP自動化工具是一款SOP配置工具，适用于問題治理類SOP，将治理動作通過工具進行配置以提高治理效率，進而保證過程品質和結果品質。目标是解決SOP規範文檔在落地過程中遇到的執行效率低、過程無法跟蹤監控的問題，實作一站式解決問題的能力。
SOP自動化工具主要包含基礎組建層、配置層及應用層，以下是産品架構圖及産品界面：
- 基礎組建層：SOP最小粒度子產品，包括展示類元件（富文本、表格、IFrame），邏輯控制類元件（單選、多選），使用者可根據SOP内容選擇多個基礎元件組合。
- 配置層：配置SOP中使用參數資訊及執行步驟。
- 應用層：SOP最終效果展示，通過URL接口對外提供服務，比如治理中心可調用SOP工具接口實作一站式治理能力。
圖26 SOP自動化工具架構
圖27 SOP自動化工具産品
SOP實際操作步驟如下：
使用者在建立SOP後可選擇性配置需要展示的資料資訊，然後按照SOP執行步驟依次拖動各個基礎元件，并填寫執行操作完成SOP的配置工作，在效果預覽完成後即可釋出上線并生成外嵌URL。自動化工具主要通過外嵌的形式對外提供服務。
圖28 SOP工具化操作步驟
應用場景
通過SOP自動化工具，資料治理已實作了問題解決過程線上化、步驟标準化，很好地保障了治理效果，提升了治理效率。下圖是無效存儲名額在使用SOP自動化工具前後的流程對比，通過對比，我們可以看到之前工程師需要人工确認若幹資訊，并跳轉多個平台操作，現在隻需要在一個界面完成所有動作，極大地減輕了研發人員的工作量。
圖29 無效存儲流程優化對比
目前，我們團隊已完成7大治理域内30多個名額的治理SOP建設，并均已認證自動化工具落地。後續，我們仍将探索其他專項治理内容，并利用SOP自動化工具輔助開展資料治理的工作。
4.3.3 經驗總結
通過資料治理系統化的建設，我們總結了以下幾點：
- 系統化是将解決問題的方法從線下到線上，從散點動作到連貫動作的一種有效解決方案。
- 沒有完美的系統，也不必追求完美，考慮投入産出比，快速解決主要沖突，應用到具體問題解決中。
- 産品定位設計，産品長遠規劃的能力設計尤為重要，否則容易出現“做着做着不知道做什麼，不知道往什麼方向發展”的情況。
五、業務資料治理實施流程
資料治理實施流程，是我們依據業務資料治理标準化架構在實施解決具體資料問題時，總結抽象出來的一套适用于大多數治理場景解決問題的通用标準流程。标準流程的好處在于更加規範化資料治理工程師的操作流程，來保證明施的品質。流程一共包含5個步驟：
- STEP 1：發現問題和制定目标，發現問題要從業務資料開發團隊的視角出發，圍繞服務好業務、遵守資料研發規範、收集好使用者回報，盡可能全地發現和收集相關需要解決的問題。同時，制定的目标要具備可實作性。
- STEP 2：針對問題進行拆解，設計可衡量的名額，并通過中繼資料的采集建設進行實作，用做對目标的進一步量化，并作為實施過程監控及治理抓手。
- STEP 3：對衡量出來的具體問題，制定相關的解決SOP，并且檢查相應的研發标準規範是否完善，通過問題發生的事前、事中、事後幾個階段，建設或完善相應的工具化解決問題的能力。
- STEP 4：推廣營運，以拿結果為核心目标，針對不同角色運用不同政策，重點關注問題解決過程是否會與使用者利益發生沖突，控制好節奏，根據問題的重要程度有規劃地進行解決。
- STEP 5：總結沉澱方法論，疊代認知，持續探索問題的最優解，優化治理方案和能力。
圖30 業務資料治理實施流程
六、總結與展望
經過在資料治理體系化建設上的持續思考與實踐，我們的體系化架構基本建立，在資料治理的标準化、數字化和系統化三個方向上取得了較大的進展，并且在業務應用上取得了一定的成績。更重要的是，我們在資料成本、安全、效率等多個領域都幫助業務解決了實際的問題，尤其是在成本方面，預計每年可以幫助業務可節省數百萬的成本，獲得了業務方的肯定。
但對比“理想終态”，我們的工作仍任重道遠。資料治理體系化架構這個龐大“身軀”中的各個血脈、骨骼、髒腑還需要持續充盈，在流程規範、中繼資料數倉、名額體系、資産分級等的建設過程中，還有很多需要靠專家經驗、人為判斷、人工操作串聯的場景存在。下一步，我們将在智能化（如智能化中繼資料服務、智能化資料标準建設等）、自動化（基于治理架構的治理應用場景的線上化建設等）等方面發力。
七、作者簡介
王磊、有為、尉斌等，均來自美團資料科學與平台部。
---------- END ----------