摘要:資料治理可以有效保障資料建設過程在一個合理高效的監管體系下進行,最終提供高品質、安全、流程可追溯的業務資料。
企業資料治理體系包括資料品質管理、中繼資料管理、主資料管理、資料資産管理、資料安全及資料标準等内容。
1、資料品質
一般采用業内常用的标準來衡量資料品質的好壞:完整性、準确性、一緻性和及時性。
- 完整性:資料的記錄和資訊是否完整,是否存在缺失情況
- 準确性:資料彙總記錄的資訊和資料是否準确,是否存在異常或者錯誤
- 一緻性:多個業務數倉間的公共資料,必須在各個資料倉庫中保持一緻
- 及時性:資料能及時産出和預警
2、中繼資料管理
中繼資料是關于資料的組織、資料域及其關系的資訊,通俗了解,中繼資料就是描述資料的資料。
中繼資料包含技術中繼資料和業務中繼資料。可以幫助資料分析人員清楚了解企業擁有什麼資料,它們存儲在哪裡,如何抽取、清理、維護z這類資料,也即資料血緣。
- 幫助建構業務知識體系,确立資料業務含義可解釋性
- 提升資料整合和溯源能力,血緣關系可維護
- 建立資料品質稽核體系,分類管理監控
3、主資料管理
企業主資料指企業内一緻并共享的業務主體,大白話了解就是各專業公司和業務系統間共享的資料。
常見的主資料比如公司的員工、客戶資料、機構資訊、供應商資訊等。這些資料具有權威性和全局性,可歸約至公司的企業資産。
一般主資料管理需要遵循如下幾點:
- 管理和監管各組織機構、子公司、部門對主資料的通路,制定通路規範和管理原則
- 定期進行主資料評估,判斷既定目标的完善程度
- 組織相關人員和機構,統一完善主資料建設
- 提供技術和業務流程支援,全集團集中統籌
4、資料資産管理
一般企業在數字化轉型時都會考慮資料資産梳理。你的資料有沒有被合理利用?如何産生最大價值?這是資料資産管理關心的核心工作。在建構企業資産時一般會考慮不同角度,即業務角度和技術角度,最後進行合并,輸出統一的資料資産分析,并向外提供統一的資料資産查詢服務。
如何盤活資料,形成資料資産,提供完整的資料資産全景視圖,可友善營運者全局、宏觀地掌控企業資産動态。
5、資料安全
資料安全是企業資料建設必不可少的一環,我們的資料都存儲在大大小小的磁盤中,對外提供不同程度的查詢和計算服務。
需要定時對資料進行核查、敏感字段加密、通路權限控制,確定資料能夠被安全地使用。
6、資料标準
大白話了解,我們需要在組織内定義一套關于資料的規範,好讓我們都能了解這些資料的含義。
今天張三說這個客戶号是辦理銀行卡的客戶,明天李四又說是借貸過的客戶。對比一看,兩者的字段類型和長度一緻,到底要采納哪個意見呢?
資料标準是保障資料的内外部使用和交換的一緻性和準确性的規範性限制,通過統一規範,消除二義性。
1、資料治理實施架構
資料治理體系是為了規範業務資料規範、資料标準、資料品質和資料安全中的各類管理任務活動而建立的組織、流程與工具。
通過一個常态化的資料治理組織,建立資料集中管理長效機制,規範資料管控流程,提升資料品質,促進資料标準一緻,保障資料共享與使用安全,進而提高企業營運效率和管理水準。
2、資料治理組織架構
企業資料治理體系除了在技術方面的實施架構,還需要管理方面的組織架構支撐。
一般在資料治理建設初期,集團會先成立資料治理管理委員會。從上至下由決策層、管理層、執行層構成。決策層決策、管理層制定方案、執行層實施。層級管理、統一協調。
(1)組織架構
1)決策層
提供資料标準管理的決策職能,通俗了解即拍闆定方案。
2)管理層
- 審議資料标準管理相關制度
- 對跨部門難的資料标準管理争議事項進行讨論并決策
- 管理重大資料标準事項,送出資訊科技管理委員會審議
3)執行層
- 業務部門:負責業務線資料标準的制定、修改、複審,推廣落實資料标準等
- 科技開發:承擔治理平台、資料标準、資料品質等實施工作;系統設計和開發工作中遵循資料标準
- 科技營運:負責技術标準的制定和技術推廣
(2)管理層職責
1)項目經理
- 确定項目目标、範圍和計劃
- 制定項目裡程碑
- 管理跨項目協同
2)專家評審組
評審項目方案,确定方案的合理性
3)PMO
- 確定項目按計劃執行
- 管理項目重大風險
- 執行跨項目協同、溝通
- 組織項目關鍵評審
4)資料治理專項組
執行各項目的落地實施和營運推廣,推動執行層的實施資料治理技術落地和項目進展。
(3)執行層職責
資料架構師、資料治理專家和業務專員形成資料治理"鐵三角",緊密協作,推進資料治理與資料架構落地。
1)業務專員
業務專員作為業務部門資料治理的接口人,在标準、品質、應用等領域組織業務人員開展工作
- 定義資料規則
- 保障資料品質
- 提出資料需求
2)資料治理專家
資料治理專家作為資料治理組成員,負責設計資料架構,營運資料資産;牽頭組織業務、IT達成資料治理目标。
- 建構資料邏輯模型
- 監控資料品質
- 營運資料資産
3)資料架構師
資料架構師作為IT開發部門的專家,承擔資料标準落地、模型落地的重任,協助解決資料品質問題。
- 資料标準落地
- 邏輯模型落地
- 實體模型落地
3、資料治理平台
在确定了技術實施方案群組織管理架構,下面需要進行資料治理體系的落地實施。
在大型企業中一般會開發一個完整的資料治理平台,囊括所有資料治理功能,對外提供平台服務。
1)核心功能
資料治理平台作為資料治理的産品體系,旨在保障資料平台的資料是安全、可靠的、标準的、有價值的。
- 資料資産管理:提供面向使用者的場景化搜尋,提供全景資料資産地圖,友善快速查找資産和資産分析
- 資料标準管理:統一定制資料标準,提高包括字段、碼值、資料字典管理,保障業務資料和中台資料的統一标準
- 資料品質監控:提供事前、事中、事後的資料品質體系,支援資料品質監控規則配置、告警管理等功能
- 資料安全:提供資料安全脫敏、安全分級和監控
- 資料模組化中心:統一模組化,提供業務系統模組化和模型管理
2)中繼資料管理
中繼資料管理系統作為資料治理平台的前端展示門戶,幫助實作對資料資産的快速檢索能力,提高資料使用有效性和效率。
通過建立完整且一緻的中繼資料管理政策,提供集中、統一、規範的中繼資料資訊通路、查詢和調用功能。
3)資料品質
- 資料品質監控:支援所有使用者進行資料品質監控規則配置
- 規則阻斷:配置資料品質監控阻斷規則,資料品質出現差異可實時阻斷下遊作業運作,屏蔽錯誤結果鍊路擴散。
- 告警:資料品質出現預設偏差,及時發出預警通知及時修複
4)資料标準
支援定制統一的資料标準平台,包括字段标準管理,碼值标準管理以及字典管理,業務源資料和中台資料統一标準。
5)資料安全
基于集團資料資産實作資料安全分級管理,自動識别安全資訊;提供資料通路安全行為監測,及時識别通路風險。
4、資料治理評估
資料治理平台開發完成并運作,需要對整體資料治理體系的效果進行驗證和評估。
“1)資料是否可以消除"髒、亂、差"的現象;2)資料資産是否最大價值化;3)所有資料的血緣是否完整可追溯……”
1)資料資産
通過建構資料資産管理體系,實作資産全覆寫,并支援全局搜尋和精準定位目标資産。
- 實作全局搜尋,面向使用者提供場景化檢索服務
- 支援标簽、資料地圖、表名和字段名等多種檢索次元
- 支援進行資料地圖,源業務資料字典的結果篩選
- 比如支援PV/UV使用者搜尋和資産展示,明确服務目标
2)資料标準
新舊資料标準沉澱,打通了資料模組化工具、資料标準庫和詞根标準庫,落地資料标準和詞根。
- 實作資料标準庫100%拉通
- 智能識别資料标準和引用
- 用戶端同步更新資料标準、詞根
3)資料安全
保持事前制度建設、事中技術管控、事後監控審計的原則建立全流程資料安全管控體系。
基于以上資料安全管控體系,支援資料安全定級,建構靈活的資料安全共享流程。
4)資料品質
通過資料品質雷達圖,定期進行資料和任務品質打分,綜合考察資料品質效果。
- 資料完整性:檢視資料項資訊是否全面、完整無缺失
- 告警響應程度:日常管理、應急響應、降低影響;避免資料損毀和丢失
- 監控覆寫程度:確定資料遵循統一的資料标準和規範要求
- 作業穩定性:監控作業穩定性,是否存在作業異常等問題
- 作業時效性:檢查任務對應的資料項資訊擷取是否滿足預期要求