天天看點

24張架構圖講透資料治理核心内容

作者:正正雜說

一、資料治理的架構和核心内容

不同的利益相關者群體對資料治理的關注點不一樣,是以各自的視圖也不一樣。其中管理者視圖可以概括為“五域模型”,分别是“管控域”、“過程域”、“治理域”、“技術域”、“價值域”。

24張架構圖講透資料治理核心内容

圖1、管理者視角-資料治理五域模型

管控域:在資料治理戰略指導下制訂企業資料治理組織,明确組織的責、權、利,崗位編制及技能要求。

治理域:是資料治理的主體,明确資料治理的對象和目标。

技術域:資料治理的支撐手段,指的工具平台。

過程域:是資料治理的方法論。

價值域:通過對資料資産的管控挖掘資料資産的價值,并通過資料的流動、共享、交易變現資料資産。

24張架構圖講透資料治理核心内容

圖2、技術視角:企業大資料治理實踐指南架構

資料治理體系,包括資料戰略、資料治理管控體系(資料治理組織、制度、流程、管控機制、績效體系及标準體系)、資料架構、主資料、中繼資料、名額資料、時序資料、資料品質、資料安全、資料內建與交換、資料開放和共享、資料資産管理能力成熟度評估以及資料價值、資料共享、資料變現等多方面。

24張架構圖講透資料治理核心内容

圖3、資料治理車輪圖

接下來從資料戰略、資料管控(組織管理、制度體系、流程管理及績效)、三個核心體系(資料标準體系、資料品質體系、資料安全體系)和工具等分别進行介紹。

24張架構圖講透資料治理核心内容

圖4、企業資料管控和三個核心體系

1、資料戰略

資料戰略是整個資料治理體系的首要任務,關注整個組織資料戰略的規劃,願景和落地實施,為組織資料管理、應用工作的開展提供戰略保障,應由資料治理組織中的決策層制定,需要指明資料治理的方向,包括資料治理的方針、政策等。

24張架構圖講透資料治理核心内容

圖5、資料治理頂層規劃設計方法論

正确的頂層設計是企業家對未來形勢的正确判斷,對機會和戰略,治理與架構,資本和模式,供應鍊和數字化,品牌和營銷,産品和客戶等整體一盤棋的布局。如果說商戰就是沒有硝煙的戰争,那麼頂層設計則是整體戰的部署。

2、組織管理

組織保障是資料治理成功的關鍵。組織建設一般包括組織架構設計、部門職責、人員編制、崗位職責及能力要求、績效管理等内容。資料治理是一項需要企業通力協作的工作,而有效的組織架構是企業資料治理能夠成功的有力保障。為達到資料戰略目标,非常有必要建立體系化的組織架構,明确職責分工。

24張架構圖講透資料治理核心内容

圖6、某集團資料治理組織架構設定範例

24張架構圖講透資料治理核心内容

圖7、某央企資料治理組織架構設定範例

3、制度體系

保障組織架構正常運轉和資料治理各項工作的有序實施,需要建立一套涵蓋不同管理粒度、不同适用對象,異覆寫資料治理過程的管理制度體系,從“法理”層面保障資料治理工作有據、可行、可控。

24張架構圖講透資料治理核心内容

圖8、資料治理制度架構

企業的資料治理制度通常根據企業的IT制度的總體架構和指導原則制定,往往包含資料品質管理、資料标準管理、資料安全管理等制度,以及中繼資料管理、主資料管理、資料名額管理等辦法及若幹指導手冊。

24張架構圖講透資料治理核心内容

圖9、資料治理制度架構體系

24張架構圖講透資料治理核心内容

圖10、資料資産管理規定目錄

4、流程管理

制定資料治理的流程架構也是資料治理的重要工作。

資料治理流程包括從資料的生産、存儲、處理、使用、共享、銷毀全生命周期過程中所遵循的活動步驟,以及中繼資料管理、主資料管理、資料名額管理等流程。

24張架構圖講透資料治理核心内容

圖11、資料治理流程架構體系

5、績效管理

資料治理考核是保障資料治理制度落實的根本,通過系統的方法、原理來評定和測量企業員工在一段時間内資料治理相關的工作行為和工作效果,進一步激發員工的積極性和創造性,提供員工的資料治理責任心和基本素質。

24張架構圖講透資料治理核心内容

圖12、資料治理績效體系

6、标準體系

資料标準是實作資料标準化、規範化的前提,是保證資料品質的必要條件。

資料标準一般分為中繼資料标準、主資料标準、資料名額标準、資料分類标準、資料編碼标準、資料內建标準等内容。

24張架構圖講透資料治理核心内容

圖13、資料标準化體系

7、品質體系

資料品質管理是對資料的分析、監控、評估和改進的過程。包括規劃和實施品質管理技術,以測量、評估和提高資料在組織内的适用性,提高資料對業務和管理的滿足度。重點關注資料品質需求、資料品質檢查、資料品質分析和資料品質提升的實作能力。

24張架構圖講透資料治理核心内容

圖14、資料品質架構體系

資料品質管理貫穿資料生命周期的全過程,除了明确資料品質管理的政策,還要善于使用資料品質管理的手段及工具,覆寫資料品質需求、資料探查、資料診斷、品質評估、品質提升等方面。

8、安全體系

資料安全管理是為了確定資料隐私和機密性得到維護,資料不被破壞。資料安全體系架構通過3個次元建構而成,包括政策法規、技術層面和安全組織人員。資料安全治理體系架構在符合政策法規及标準規範的同時,需要在技術上實作對資料的實時監管,并配合經過規範教育訓練的安全組織人員,構成了資料安全治理整體架構的建設。

24張架構圖講透資料治理核心内容

圖15、資料安全治理體系

資料安全治理能力建設是一個覆寫資料全部生命周期和使用場景的資料安全體系,需要從決策到技術,從制度到工具,從組織架構到安全技術通盤考慮。

24張架構圖講透資料治理核心内容

圖16、資料資料全部生命周期

9、平台工具

搭建一體化資料平台,滿足前台應用準确性、快速性和多樣性的資料需求,縮短研發周期、降低技術成本,将資料中心逐漸由成本中心向資産中心轉變,提升資料價值,實作五個打通:

(1)橫向打通:破除部門壁壘,橫向跨專業間的分析挖掘融通;

(2)縱向打通:内部多層級資料打通,形成統一資源目錄。上下級資料共享交換;

(3)内外打通:消除内外資料的鴻溝,實作内外部資料的關聯分析;

(4)管理打通:建立企業标準,實作統一管理統計口徑;

(5)服務打通:資料中台統一對外提供資料服務和應用建構,與業務系統和資料應用充分協同。

24張架構圖講透資料治理核心内容

圖17、兩體系兩平台一服務的資料平台總體架構

面向資料全生命周期,提供的一站式資料規劃、內建、開發、治理、服務、應用等産品。

24張架構圖講透資料治理核心内容

圖18、資料平台能力架構

從資料接入整合能力、資料共享應用能力、資料綜合管理能力、基礎元件支撐能力四方面,全面建設資料能力,培育能力體系,以多類型大資料量的彙聚為基礎,以統一模型為标準,為前端應用提供靈活的統一資料服務。

24張架構圖講透資料治理核心内容

圖19、資料平台四大支撐能力

資料治理需要多種資料治理工具軟體的支撐,包括以主資料為核心的套裝軟體、以資料資産目錄為核心的資料資源管理工具、以中繼資料和資料模型為核心的資料中台,此外還有時序資料、資料交換等。

資料治理管理工具包括資料架構工具、中繼資料管理工具、資料名額管理工具、主資料管理工具、時序資料管理工具、資料交換與服務工具、品質管理工具和安全管理工具等。

24張架構圖講透資料治理核心内容

圖20、資料治理工具集

24張架構圖講透資料治理核心内容

圖21、以中繼資料治理為核心的資料治理工具

主資料服務業務視圖包括8個業務域、32個業務子域及相關業務活動,主資料管理工具是主資料全生命周期管理的平台,也是主資料标準、運維體系落地的重要保障。

24張架構圖講透資料治理核心内容

圖22、以主資料治理為核心的資料治理工具

主資料治理平台是企業資料規劃、資料标準落地的載體,實作資料治理統一标準、統一規則的支撐。

24張架構圖講透資料治理核心内容

圖23、主資料管理工具-邏輯架構

二、人工智能是大資料治理核心方向

“無治理、不分析”,沒有高品質的資料,就不會有可信的AI。資料治理是人工智能基礎,為人工智能提供高品質的資料輸入。有了人工智能加持,資料治理将變得更加高效和智能。

人工智能技術在資料采集、資料模組化、中繼資料管理、主資料管理、資料标準、資料品質及資料安全等領域有着深入的應用。

24張架構圖講透資料治理核心内容

圖24、人工智能技術在資料治理中的應用

三、結束語

資料治理的發展是伴随着不同行業對資料資源資産化、資料确權與合規、資料價值創造與共享、隐私保護的認識、研究和實踐的一個演進過程,是一項繁雜、長期的工作,需要工匠精神、锲而不舍。

繼續閱讀