1
1
5
8
8
9
9
10
10
11
11
12
13
13
14
15
16
16
16
17
17
17
錯誤!未定義書簽。
18
18
22
25
錯誤!未定義書簽。
26
26
27
28
32
32
33
33
34
34
37
38
39
39
40
41
41
44
44
44
45
45
45
46
47
50
50
51
51
51
52
52
53
54
54
54
1.1. 概述
本規範用于指導企業級省大資料平台資料治理子系統建設,規定了省大資料平台資料治理的範圍和要求,明确了資料治理子系統的體系結構,制定了資料治理子系統的功能和處理流程。資料治理子系統包含資料标準管理、中繼資料管理、資料品質管理、資料資産管理、資料安全管理等功能子產品。本方案借鑒資産管理的方法理論來管理資料,将資料作為一種特殊的資産,對進入平台的資料進行标準化的規範限制,并以中繼資料作為驅動,連接配接資料的标準管理、資料品質管理、資料資料安全管理的各個階段,形成統一、完善的資料治理體系,以解決實際業務問題為導向,增強資料治理子系統對業務發展的支撐能力。
1.2. 目标
資料治理子系統的建設為資料治理工作提供強有力的系統支撐。本期規範建設目标是以中繼資料為驅動,建立省大資料平台完整的資料治理體系。從組織架構、系統功能等方面增強資料宏觀管控,并實作精細化管理,具體包括:
l 資料治理組織架構管理:定義資料治理所需人員組織上的崗位和職責,從管理角度支撐資料治理工作的落地和執行。
l 資料标準管理:建立企業級省大資料平台資料标準體系,并制定資料标準運維管控制度和流程。
l 中繼資料管理:降低中繼資料使用難度、提升使用者體驗,使大資料平台各類使用者均能參與到中繼資料營運維護當中。
l 資料品質管理:為内、外部使用者提供平台化的資料品質監控;通過擴充和優化公共規則庫、保證資料的完整性、一緻性、準确性、及時性、合法性,提升使用者使用感覺;并提供資料品質應用滿足個性化需求。
l 資料資産管理:重點建設從規劃、注冊、運維到登出的全流程管理體系,使資料資産管理系統化、可視化。
l 資料安全管理:建立體系化的資料安全管控政策,通過使用者安全管理、資料安全管理實作全方位資料安全管控機制,通過技術手段與管理措施相結合的方式落實資料安全,做到事前可管、事中可控、事後可查。
1.3. 原則
企業級省大資料平台資料治理子系統建設應遵循以下基本原則:
1. 有效性原則
展現大資料平台資料治理過程中資料的标準、品質、價值、管控的有效性、高效性。
2. 價值化原則
展現資料治理過程中以資料資産為價值核心,最大化大資料平台的資料價值。
3. 統一性原則
展現大資料平台架構統一、标準統一、中繼資料統一、品質流程統一、資産價值統一的一體化管控平台體系。
4. 開放性原則
展現平台化、開放性運維思想,實作人人參與資料治理、人人參與資料運維。
5. 産品化原則
展現大資料平台資料治理能力的顯性化,通過産品化網際網路思維服務大資料平台資料生态圈使用者。
6. 安全性原則
展現安全的重要性、必要性,保障大資料平台資料安全和資料治理過程中資料的安全可控。
2. 資料治理體系
2.1. 總體架構
資料治理總體架構包括組織架構、資料治理子產品、資料運維三部分。通過組織架建構立管理辦法,制定工作流程,确定角色職責。資料治理子產品主要包括資料标準管理、中繼資料管理、資料品質管理、資料資産管理、資料安全管理,各子產品協同營運,確定大資料平台的資料一緻、安全、有效。資料運維貫穿整個資料治理體系的流程中,實作平台化的運維管理思路。資料治理總體架構如圖51所示:
圖51資料治理體系架構
2.2. 組織架構
資料治理組織的建構旨在通過建立資料治理組織架構明确各級角色和職責,保障資料治理的各項管理辦法、工作流程的實施,推送資料治理工作的有序開展。
2.2.1. 組織構成
資料治理組織架構主要由資料治理委員會、資料治理中心和各業務部門構成。組織架構劃分和角色設定如圖 52所示:
圖 52 資料治理組織架構圖
2.2.2. 角色職責
組織責任體系是資料治理責任落地的保障,資料治理組織架構通過明确各角色職責,實行認責制度,讓資料治理工作更好的融入到資料日常使用和相關的工作中,進而推動資料運維自治的實作,如表5-1。
表5-1資料治理組織架構角色職責定義内容
組織結構
角色
角色描述
角色主要職責
資料治理委員會
資料管理決策者
由公司主管上司和各業務部門上司組成
負責牽頭資料治理工作;制定資料治理的政策、标準、規則、流程,協調認責沖突;
對資料事實治理,保證資料的品質和隐私;
在資料出現品質問題時負責仲裁工作。
資料治理中心
資料平台營運者
資料管理中心機構的平台營運人員
負責送出資料标準的要求及資料品質規則和業務規範,解釋資料的業務規則和含義;監督各項資料規則和規範的限制的落實情況;
負責資料治理平台中整體資料的管控流程制定和平台功能系統支撐的實施;
負責平台的整體營運、組織、協調。
各業務部門
資料提供者
相關資料開發提供人員
負責資料及相關系統的開發,有責任執行資料标準和資料品質内容;
負責從技術角度解決資料品質問題;
作為資料出現品質問題時的主要責任者。
資料維護者
資料維護人員
制定相關資料标準、資料制度和規則;
遵守和執行資料标準管控相關的流程,根據資料标準要求提供相關資料規範;
作為資料出現品質問題時的次要責任者。
資料消費者
資料使用人員,包含内部使用者和外部使用者
作為資料治理平台資料管控流程的最後參與使用者;
是資料資産價值的獲益人;
作為資料治理平台資料閉環流程的發起人。
2.3. 系統架構
2.3.1. 系統功能架構
資料治理功能架構明确了資料治理在企業級省大資料平台中的定位,并以合理的功能層次劃分指導資料治理系統相關功能建設。系統功能架構如圖53所示。
文章引用的資料均通過網際網路等公開管道合法擷取,僅作為行業交流和學習使用,并無任何商業目的。其版權歸原資料作者或出版社所有,本文作者不對所涉及的版權問題承擔任何法律責任。若版權方、出版社認為本文章侵權,請立即通知作者删除。