轉載/大資料肌肉猿
資料治理是企業資料建設必不可少的一個環節。
好的資料治理體系可以盤活整條資料鍊路，最大化保障企業資料的采集、存儲、計算和使用過程的可控和可追溯。
如何建構企業資料治理體系？企業資料治理過程需要注意哪些問題？總體而言，不能一口一個胖子，路要一步一步地走。
下面我将結合企業級資料治理經驗，詳細介紹從0到1搭建資料治理體系全流程，幫你梳理資料治理的主要内容以及過程中會遇到的哪些坑。
1 資料治理到底是在做什麼
1.1 一個小故事
在正文之前，我先介紹一個小故事。
年底了，企業财務管理者小張需要統計公司的金融财務情況。忙碌了一年，公司老闆亟需知道公司目前的營運狀況。
小張需要考慮哪幾個點呢：
“公司目前有哪些财産？這些财産從哪裡來？用到了哪些地方？是否所有财産的使用均符合規範和制度？”
幸好小張年初已經制定了一套管理标準。每筆财産的出入都有記錄且嚴格把控使用情況，過程可追溯可審查。
最後，小張得到了上司們的一緻好評。
1.2 資料治理做的事情
故事中的小張監管着公司所有金融财産活動，確定财産使用的有序高效。這也是資料治理角色的類似功能。
“資料治理的核心工作： 在企業的資料建設程序中，保障企業的資料資産得到正确有效地管理。”
一般來說，資料從外部或者内部産生後，經過大資料手段處理，流轉到不同的業務端，為企業的上層應用提供資料賦能。
整個過程，如圖所示。
- 我們先做一些類似資料同步的工作将資料放入到大資料系統中
- 資料進來後需要管理和存儲，即參考模組化理論和實際場景建設數倉
- 經過主題規劃、次元确定、标簽計算輸出等步驟處理
- 資料輸出到報表、應用端使用
整體流程資料治理體系将全程監管。要确認進出系統的資料品質怎麼樣？是否可轉化資料資産？資料血緣是否可追溯、資料安全等問題。
“髒亂差的資料是無法使用的，甚至嚴重埋雷。”
2 為什麼要做資料治理
有一些企業對這個問題的概念很模糊，認為目前的資料規模很小，人為可控，暫時不需要做資料治理。
但是在實際使用中還是會遇到很多問題：
- 資料監管力度不夠，出現髒資料
- 資料體系逐漸規模變大，管理混亂
- 資料的血緣丢失，無法回溯舊、老的資料
無論企業的資料規模如何，我認為還是提起做好資料治理的規劃。考慮到成本的問題，可以分階段進行。
“為什麼要進行資料治理：
你的資料是否真的可用，缺失和異常值怎麼辦？
資料從哪裡來到哪裡去，血緣資訊是否丢失
資料通路是否安全，明文辨別還是加密？
新的資料加工參考什麼規範，次元和标簽管理是否存在标準？”
有劍在手不用和無劍可用是兩回事。提前做好資料治理規劃，會節省後續的改造成本，避免過程備援重構或者推倒重來等情況的發生。
資料治理可以有效保障資料建設過程在一個合理高效的監管體系下進行，最終提供高品質、安全、流程可追溯的業務資料。
3 資料治理體系
企業資料治理體系包括資料品質管理、中繼資料管理、主資料管理、資料資産管理、資料安全及資料标準等内容。
1）資料品質
一般采用業内常用的标準來衡量資料品質的好壞：完整性、準确性、一緻性和及時性。
- 完整性：資料的記錄和資訊是否完整，是否存在缺失情況
- 準确性：資料彙總記錄的資訊和資料是否準确，是否存在異常或者錯誤
- 一緻性：多個業務數倉間的公共資料，必須在各個資料倉庫中保持一緻
- 及時性：資料能及時産出和預警
2）中繼資料管理
中繼資料是關于資料的組織、資料域及其關系的資訊，通俗了解，中繼資料就是描述資料的資料。
中繼資料包含技術中繼資料和業務中繼資料。可以幫助資料分析人員清楚了解企業擁有什麼資料，它們存儲在哪裡，如何抽取、清理、維護z這類資料，也即資料血緣。
- 幫助建構業務知識體系，确立資料業務含義可解釋性
- 提升資料整合和溯源能力，血緣關系可維護
- 建立資料品質稽核體系，分類管理監控
3）主資料管理
企業主資料指企業内一緻并共享的業務主體，大白話了解就是各專業公司和業務系統間共享的資料。
常見的主資料比如公司的員工、客戶資料、機構資訊、供應商資訊等。這些資料具有權威性和全局性，可歸約至公司的企業資産。
一般主資料管理需要遵循如下幾點：
- 管理和監管各組織機構、子公司、部門對主資料的通路，制定通路規範和管理原則
- 定期進行主資料評估，判斷既定目标的完善程度
- 組織相關人員和機構，統一完善主資料建設
- 提供技術和業務流程支援，全集團集中統籌
4）資料資産管理
一般企業在數字化轉型時都會考慮資料資産梳理。你的資料有沒有被合理利用？如何産生最大價值？這是資料資産管理關心的核心工作。在建構企業資産時一般會考慮不同角度，即業務角度和技術角度，最後進行合并，輸出統一的資料資産分析，并向外提供統一的資料資産查詢服務。
如何盤活資料，形成資料資産，提供完整的資料資産全景視圖，可友善營運者全局、宏觀地掌控企業資産動态。
5）資料安全
資料安全是企業資料建設必不可少的一環，我們的資料都存儲在大大小小的磁盤中，對外提供不同程度的查詢和計算服務。
需要定時對資料進行核查、敏感字段加密、通路權限控制，確定資料能夠被安全地使用。
6）資料标準
大白話了解，我們需要在組織内定義一套關于資料的規範，好讓我們都能了解這些資料的含義。
今天張三說這個客戶号是辦理銀行卡的客戶，明天李四又說是借貸過的客戶。對比一看，兩者的字段類型和長度一緻，到底要采納哪個意見呢？
資料标準是保障資料的内外部使用和交換的一緻性和準确性的規範性限制，通過統一規範，消除二義性。
4 企業資料治理實施過程
4.1 資料治理實施架構
資料治理體系是為了規範業務資料規範、資料标準、資料品質和資料安全中的各類管理任務活動而建立的組織、流程與工具。
通過一個常态化的資料治理組織，建立資料集中管理長效機制，規範資料管控流程，提升資料品質，促進資料标準一緻，保障資料共享與使用安全，進而提高企業營運效率和管理水準。
4.2 資料治理組織架構
企業資料治理體系除了在技術方面的實施架構，還需要管理方面的組織架構支撐。
一般在資料治理建設初期，集團會先成立資料治理管理委員會。從上至下由決策層、管理層、執行層構成。決策層決策、管理層制定方案、執行層實施。層級管理、統一協調。
4.2.1 組織架構
1）決策層
提供資料标準管理的決策職能，通俗了解即拍闆定方案。
2）管理層
- 審議資料标準管理相關制度
- 對跨部門難的資料标準管理争議事項進行讨論并決策
- 管理重大資料标準事項，送出資訊科技管理委員會審議
3）執行層
- 業務部門：負責業務線資料标準的制定、修改、複審，推廣落實資料标準等
- 科技開發：承擔治理平台、資料标準、資料品質等實施工作；系統設計和開發工作中遵循資料标準
- 科技營運：負責技術标準的制定和技術推廣
4.2.2 管理層職責
1）項目經理
- 确定項目目标、範圍和計劃
- 制定項目裡程碑
- 管理跨項目協同
2）專家評審組
評審項目方案，确定方案的合理性
3）PMO
- 確定項目按計劃執行
- 管理項目重大風險
- 執行跨項目協同、溝通
- 組織項目關鍵評審
3）資料治理專項組
執行各項目的落地實施和營運推廣，推動執行層的實施資料治理技術落地和項目進展。
4.2.3 執行層職責
資料架構師、資料治理專家和業務專員形成資料治理"鐵三角"，緊密協作，推進資料治理與資料架構落地。
1）業務專員
業務專員作為業務部門資料治理的接口人，在标準、品質、應用等領域組織業務人員開展工作
- 定義資料規則
- 保障資料品質
- 提出資料需求
2）資料治理專家
資料治理專家作為資料治理組成員，負責設計資料架構，營運資料資産；牽頭組織業務、IT達成資料治理目标。
- 建構資料邏輯模型
- 監控資料品質
- 營運資料資産
3）資料架構師
資料架構師作為IT開發部門的專家，承擔資料标準落地、模型落地的重任，協助解決資料品質問題。
- 資料标準落地
- 邏輯模型落地
- 實體模型落地
4.3 資料治理平台
在确定了技術實施方案群組織管理架構，下面需要進行資料治理體系的落地實施。
在大型企業中一般會開發一個完整的資料治理平台，囊括所有資料治理功能，對外提供平台服務。
1）核心功能
資料治理平台作為資料治理的産品體系，旨在保障資料平台的資料是安全、可靠的、标準的、有價值的。
- 資料資産管理：提供面向使用者的場景化搜素，提供全景資料資産地圖，友善快速查找資産和資産分析
- 資料标準管理：統一定制資料标準，提高包括字段、碼值、資料字典管理，保障業務資料和中台資料的統一标準
- 資料品質監控：提供事前、事中、事後的資料品質體系，支援資料品質監控規則配置、告警管理等功能
- 資料安全：提供資料安全脫敏、安全分級和監控
- 資料模組化中心：統一模組化，提供業務系統模組化和模型管理
2）中繼資料管理
中繼資料管理系統作為資料治理平台的前端展示門戶，幫助實作對資料資産的快速檢索能力，提高資料使用有效性和效率。
通過建立完整且一緻的中繼資料管理政策，提供集中、統一、規範的中繼資料資訊通路、查詢和調用功能。
3）資料品質
- 資料品質監控：支援所有使用者進行資料品質監控規則配置
- 規則阻斷：配置資料品質監控阻斷規則，資料品質出現差異可實時阻斷下遊作業運作，屏蔽錯誤結果鍊路擴散。
- 告警：資料品質出現預設偏差，及時發出預警通知及時修複
4）資料标準
支援定制統一的資料标準平台，包括字段标準管理，碼值标準管理以及字典管理，業務源資料和中台資料統一标準。
5）資料安全
基于集團資料資産實作資料安全分級管理，自動識别安全資訊；提供資料通路安全行為監測，及時識别通路風險。
4.4 資料治理評估
資料治理平台開發完成并運作，需要對整體資料治理體系的效果進行驗證和評估。
“1）資料是否可以消除"髒、亂、差"的現象
2）資料資産是否最大價值化
3）所有資料的血緣是否完整可追溯。。。”
1）資料資産
通過建構資料資産管理體系，實作資産全覆寫，并支援全局搜尋和精準定位目标資産。
- 實作全局搜尋，面向使用者提供場景化檢索服務
- 支援标簽、資料地圖、表名和字段名等多種檢索次元
- 支援進行資料地圖，源業務資料字典的結果篩選
- 比如支援PV/UV使用者搜尋和資産展示，明确服務目标
2）資料标準
新舊資料标準沉澱，打通了資料模組化工具、資料标準庫和詞根标準庫，落地資料标準和詞根。
- 實作資料标準庫100%拉通
- 智能識别資料标準和引用
- 用戶端同步更新資料标準、詞根
3）資料安全
保持事前制度建設、事中技術管控、事後監控審計的原則建立全流程資料安全管控體系。
基于以上資料安全管控體系，支援資料安全定級，建構靈活的資料安全共享流程。
4）資料品質
通過資料品質雷達圖，定期進行資料和任務品質打分，綜合考察資料品質效果。
- 資料完整性：檢視資料項資訊是否全面、完整無缺失
- 告警響應程度：日常管理、應急響應、降低影響；避免資料損毀和丢失
- 監控覆寫程度：確定資料遵循統一的資料标準和規範要求
- 作業穩定性：監控作業穩定性，是否存在作業異常等問題
- 作業時效性：檢查任務對應的資料項資訊擷取是否滿足預期要求
5 資料治理的幾點誤區
1）資料治理是否要做得大而全
“這是一個經典問題，一般對于不同階段和規模的企業，資料治理的實施程度會有所不同。一般建議先根據自身的資料狀況分階段進行，避免盲目鋪開規模，過程中可調整。”
2）資料治理隻是技術考慮的事情
“正如文中所說，資料治理不僅僅是技術團隊的事情，而是整個集團一起協作完成。其中就包括各業務線以及其他管理組織，沒有一個好的實施方案和協作機制，往往事倍功半。”
3）資料治理可以短期見效
“資料治理是個長期過程，會跟随着企業資料的規模和數倉規劃的變更同步調整，部分功能可能會在短期内卓有成效，完整體系搭建短期很難實作。”
4）必須得有工具平台，才能開展資料治理
“俗話說工欲善其事必先利其器，有好的工具當然是更好，前提是已經有了成熟的資料治理體系規劃和政策。工具和技術手段目前市面上很成熟，先把理論給鋪墊好。”
5）資料治理感覺很模糊？不知道最後的落地結果
“資料治理是一個長期工作，需要相關從業者根據企業的資料現狀和管理模式去建構和調整，建議邊做實踐邊總結歸納，小步慢跑是一個很好的方式。”
最後給大家分享一個大資料決策平台建構方案，需要領取。