什麼是資料治理？怎麼做資料治理？作者結合業界先進經驗及個人實踐經曆，進行了介紹分析。
随着企業資料爆炸式增長，企業在用數時，會存在資料孤島問題、資料建設不規範、名額口徑不統一、資料查詢計算不穩定、資料安全等問題。因而各個公司也開始了資料治理，推動資料規範建設及使用。
接下來草帽小子将開啟資料治理的系列篇，結合借鑒業界先進的資料治理經驗及個人工作實踐經曆，幫助大家系統化地了解資料治理。
一、資料治理是幹什麼的
按照國際資料管理協會（DAMA）的定義，資料治理是對資料資産的管理活動形式權利和控制的活動集合（規劃、監控和執行）。
按IBM的定義，資料治理是企業通過不同的政策和标準，提高組織資料的可用性、品質和安全性的一整套制度與管理活動，資料治理的目标是維護安全且易于通路的高品質資料，以擷取更深入的業務洞察。
名詞解釋：
- 中繼資料：描述資料的資料，例如記錄資料的存儲位置、模型定義、血緣關系等資訊，類似畫像
- 主資料：描述企業核心業務實體的資料，例如客戶、産品、賬戶等，主資料具有較高的業務價值，可在企業内跨各個業務部門被重複使用
資料治理要點是資料穩定、規範、安全，就像蓋樓盤一樣，需要設計好樓盤架構，打好地基，制定建設規範，并推動各團隊人員進行搭建。
二、為什麼要做資料治理
1. 從發展階段，看資料治理的發展原因
①第一階段：2005-2009年
2005年左右，早期的資料倉庫在中國興起，一開始主要由商業銀行、通信營運商主導，随後能源等行業企業加入。商業銀行通過與埃森哲、IBM等國外IT咨詢公司合作，最早将資料治理的概念在中國予以實踐。
資料倉庫建設涉及從不同來源的平台中抽取資料并進行整合，在這一過程中，需要確定資料品質，包括資料口徑、資料标準和資料模型統一等。通過資料治理，建立起資料标準、資料模型等管理體系，能夠提升資料品質，確定資料倉庫建設順利推進，進而能夠更好地支撐起BI等資料分析型應用。
草帽小子：資料治理的發展階段與大資料的發展息息相關，隻要涉及大資料建設，就勢必有資料規範、資料品質、資料安全等問題。
②第二階段：2010-2014年
這一階段的資料治理需求主要集中于銀行業，主要由監管政策驅動。為了推動中國銀行參加到國際清算體系中，2011年中國推出《銀行監管統計資料品質管理良好标準》，該标準從組織機構及人員、制度建設、系統保障和資料标準、資料品質的監控、檢查與評價、應用和存儲等方面對銀行資料治理提出要求。
草帽小子：銀行等金融機構，對底層資料品質的要求更高，并面臨着一定的監管壓力，勢必需要資料治理
③第三階段：2015-2018年
2015年左右，企業興起了大資料平台的建設，并且到2018年，資料中台概念流行，資料中台中包含統一資産管理、統一資料元管理等與資料治理相關的内容。在這個階段，越來越多的企業開始搭建資料治理的專職團隊。
2018年，中國銀保監會釋出《銀行業金融機構資料治理指引》，包含資料治理架構、資料管理、資料品質管控、資料價值實作。
④第四階段：2019年-至今
2019年以來，企業數字化轉型進入快車道，在這一階段，資料治理已内化成為企業機制建設的一部分。
如2020年9月，國資委釋出的《關于加快推進國有企業數字化轉型工作的通知》，針對央企數字化轉型工作，明确提出建構資料治理體系的要求。包含明确資料治理歸口管理部門，加強資料标準化、中繼資料和主資料管理工作，定期評估資料治理能力成熟度。加強生産現場、服務過程等動态資料采集，建立覆寫全業務鍊條的資料采集、傳輸和彙聚體系。
草帽小子：國家層面推動國有企業資料化，國有企業會逐漸建設資料平台并進行資料治理，企業對資料人才的需求仍會不斷增多。
在包括金融、通信、能源、制造等資料治理開展相對成熟的行業，較多企業都已設定資料治理的專職部門和崗位，而且越是資料治理成熟的企業，專職部門越是靠近業務側，且專職部門級别越高。
2021年工信部釋出的《“十四五”大資料産業發展規劃》，以釋放資料要素價值為導向，加強資料高品質治理。
2. 從現狀問題看資料治理對企業的價值
我們來看阿裡雲dataworks團隊，在資料建設推進與應用中遇到的階段性問題。
①起步階段：資料量與穩定性的沖突
随着資料量的增長，資料穩定性不足，任務排程随着規模增大經常挂掉，叢集計算資源不足，問題處理時間長。
②應用階段：資料普惠與使用效率的沖突
在資料應用時，使用資料的人增多，數倉人員疲于取數，資料團隊壓力增大，數倉建設會逐漸變得混亂，反而會阻礙後續使用資料效率。
③規模階段：靈活便捷與風險管控
資料出口多，人為洩露行為管控難，安全保障有待提高，各類資料安全的管理動作，往往會與效率背道而馳，資料分類分級難度高。
④成熟階段：業務變化與成本治理的沖突
資料成本壓力大，不知道資料成本在哪，資料不敢删、任務不敢下。
草帽小子：國有企業在政策的指引下，逐漸推動數字化轉型、資料治理；私營企業在業務資料不斷增長的驅動下，逐漸推動資料治理。
3. 不同類型企業如何做資料治理
傳統企業的資料治理跟數字化轉型息息相關，資料治理動作往往融入了資料化建設的每個環節中。
（1）網際網路
以阿裡為例，阿裡建設社dataworks大資料開發治理平台，建設的能力包括名額數倉規範設計、資料分析、中繼資料管理、資料安全管理等能力。
（2）能源
包含煤炭、電力、光伏、電站等，如國家電網、中石化等。
能源行業如電力的資料治理，不能單純以資料品質、血緣分析、中繼資料管理等傳統IT技術為主，需要在資料治理中緊密結合業務，與各個業務環節緊密配合。
例如：裝置檢修：電網公司通過對裝置運作的海量資料挖掘，開展預測性檢修的研究，以較高的準确率預測出裝置運作的未來狀态，預判裝置發生故障的可能性，進而達到基于裝置狀态來指導檢修的目的。
常見的挑戰，包含：
- 資料類型多：電力行業廣泛部署的物聯網裝置，産生了格式不同、頻率不同、定義不同的多源異構資料
- 海量資料，時效性強：電力的産生、傳輸與消費情況瞬息萬變，片刻間便能産生海量的資料資源，如何及時擷取、可靠存儲、快速計算？
- 資料鍊路長：能源價值鍊整合的參與者衆多，價值活動之間存在緊密聯系，各方資料互動标準、品質、規範如何有效把握？
關鍵治理方式，包含：
- 自動采集各類資料資産資訊：根據不同的資料源，開發不同的采集擴充卡，實作不同種類的資料自動化采集
- 全面管理企業資料資産：在實作企業中繼資料、技術中繼資料、模型中繼資料的全面采集後，企業做好整體資料資産的梳理、資料品質的管理
- 資料資産服務化：提供自助查詢服務、自動擷取資料服務
（3）金融
金融資料治理是金融行業數字化轉型的重要切入點，也是推動金融業從高速增長向高品質發展轉變的關鍵點。銀保監會釋出的《銀行金融機構資料治理指引》，從資料治理團隊、資料管理的标準、資料品質管控、資料價值實作等方面展開。
金融資料治理的常見的挑戰，包含：
- 資料價值發現和資料資訊保護的沖突：《資料安全法》、《個人資訊保護法》陸續實施，要求金融從業機構将個人客戶資訊安全、隐私保護，貫穿在資料采集與應用的全過程。
- 金融如銀行機構，存在各地分行多，經營資料割裂，資料流通困難等問題
關鍵治理方式：
- 治理服務化：管理理念轉為服務理念，通過提供便利的工具或服務，全面為業務提供服務。
- 治理流程化：結合開發流程，将資料模型、資料字典管理流程化，從資料源頭落實資料标準。
- 治理場景化：與監管報送相結合，全流程監控報送品質。
- 标準開放化：建構資料标準營運體系，探索更多開放共享場景，應用資料治理成果。
- 資産智能化：建構智能資料資産管理，結合先進技術，全面釋放資料價值。
4. 資料人才的機會
在國家推動企業數字化轉型的趨勢下，不僅僅是網際網路企業需要進行資料人才，較多傳統企業包括能源、通信、金融、制造等也需資料人才。
企業資訊化、資料化的程度不同，所面臨的問題也不同，所需資料人才的能力側重點也會有所差異。但在整體數字化推進時，也會需要一定的通用能力，如資料采集、資料分析、資料計算、資料治理、資料應用等。
因而，個人在工作實踐上，可不斷增長對大資料平台，各個子產品的實踐與了解，盡可能掌握整個大資料體系；同時可放眼外界，多對比了解不同行業的數字化建設差異。
專欄作家
草帽小子，公衆号：一個資料人的自留地，人人都是産品經理專欄作家。《大資料實踐之路：資料中台+資料分析+産品應用》書籍作者，專注使用者畫像領域。
本文原創釋出于人人都是産品經理。未經許可，禁止轉載。
題圖來自Unsplash，基于CC0協定。
該文觀點僅代表作者本人，人人都是産品經理平台僅提供資訊存儲空間服務。