資料資源目錄是整個資料資産體系中的首要工作,是建構企業資料架構體系的基礎工作。可支撐企業建設統一的資料資産目錄、資料共享目錄、資料服務目錄,進而為各業務域提供資料資産全景圖。
通過建設資料資源目錄,對中繼資料進行管理和應用,可以支援組織未來的資料治理、資料标準、資料共享、資料服務、資料品質和資料安全等等多種需求。
本文重點介紹資料資源目錄概念和内容,同時介紹了資料資源目錄搭建的方法和流程。
1、資料資源管理的目标
2、資料盤點的難點
規劃做了很多,資産盤點了不少,但是在落地過程中依然困難重重,難見效果。
(1)資料資産實際情況
- 資料資産盤點消耗大,時間長,無路徑。
- 盤點成果與業務脫節,應用效果差。
- 無從掌握核心資産。
- 系統業務廠家支援力度低。
(2)盤點後的中繼資料問題
- 資料增長的速度超過了資料管理人數,企業使用者現在面臨着更多更大的資料來源,是以存在中繼資料管理人員可用性的瓶頸。
- 定義不正确、資訊不完整、中繼資料陳舊或無法找到所需資訊,它需要更多的中繼資料來了解存儲在資料倉庫中的資料資産。
- 技術人員和業務人員的思維和“語言”存在差異,這使得業務使用者擷取資料變得更加複雜和困難。
3、資料資源目錄的定義與作用
資料資源目錄是依據規範的中繼資料描述資料資源,站在全局視角對所擁有的全部資料資源進行編目,以便對資料資源進行管理、識别、定位、發現、共享的一種分類組織方法,進而達到對資料的浏覽、查詢、擷取等目的。
資料資源目錄的建立能夠準确浏覽組織内所記錄或擁有的線上、線下原始資料資源,如電子文檔索引、資料庫表、電子檔案、電子表格、紙質文檔等。資料資源目錄是實作組織内部資料資産管理、業務協同、資料共享、資料服務,組織外部資料開放、資料服務的基礎和依據。
資料資源目錄建設首先定義資料資源目錄中繼資料、目錄分類編碼等,制定中繼資料和目錄分類編碼标準規範,然後對組織内部資料資源進行全面調查和盤點,依據事先約定好的中繼資料和分類标準梳理資料資源目錄。
3.1資料資源目錄的定義
(1)通過語義層解決業務人員“了解”的問題
建立資料資源之間的關聯以獲得對資料更全面的視角;利用語義實作更廣泛的對資料業務了解的一緻性,避免了解的偏差。
(2) 通過目錄服務解決業務人員“查找“的問題
目錄服務将有關現實世界中的事物(如人、企業、計算機等等)的資訊存儲為具有描述性屬性的對象。人們可以使用該服務按名稱查找對象或者像使用黃頁一樣,可使用它們查找。資料資源目錄是對資料存儲對象的描述,讓人們能夠友善、快速的找到所需要的資料。
(3)通過資料安全解決業務人員“權限”問題
資料資源目錄應建立資料分級和資料共享負責人制度,需要結合企業的實際資料管理業務特性,建立起資料分級制度,明确資料權威負責部門、對應的個體負責人等。明确資料的範圍邊界和使用方式,清理資料管理及共享開放的義務和權利。
3.2資料資源目錄的作用
- 為資料平台建設提供參考依據。
- 為資料标準管理提供輸入。
- 為跨部門資料共享提供資料目錄。
- 為其他系統資料共享提供資料服務
4、資料資源盤點表
(1)系統資訊采集表
系統資訊采集表1
系統資訊采集表2
(2)中繼資料采集表
業務中繼資料
技術中繼資料
管理中繼資料
5、資料資源目錄搭建的方法論
- 自頂向下就是根據企業業務價值鍊及資料應用場景厘清主題域之間的邏輯關系,然後不斷進行細分;再針對業務對象進行梳理,定義各個業務對象下的邏輯資料實體;最後盤點每個邏輯資料實體包含的屬性,包括屬性名稱、屬性定義、計量機關、值域範圍等内容。
- 自下而上補充則是對企業所有的資訊系統現狀調研,摸清有哪些資料,存儲在哪些地方;再對資訊系統資料進行統一采集和存儲;最後對采集的系統資料項進行盤點,包括字段名稱,類型、長度、限制等内容
(1)确定資産盤點範圍和系統
圍繞企業相關的業務主線涉及業務系統,并結合企業已有資産内容,明确盤點資料現狀、資料表範圍等資訊。
根據資料資産盤點系統範圍,開展相關源系統現狀調研,源系統盤點範圍梳理、源端系統盤點範圍确認、資料盤點工作量評估、業務功能子產品梳理。
(2)資料資源盤點
結合企業現有業務、資訊系統在運和資料平台現有資料資産彙聚情況,深入調研各專業業務現狀及系統運作現狀,梳理各系統資料庫、表、字段等基礎資訊,形成層次清晰、覆寫全面的專業資料庫表目錄。
根據資料盤點工作範圍和源端系統收集情況,利用企業相關盤點工具開展資料關聯關系确認,對工具無法識别、未識别關聯關系的資料表進行線下梳理、增量完善分批次開展資料關聯關系梳理工作,然後完成資料資源盤點工具中的資料關聯關系。
然後根據業務子產品梳理成果,按照業務子產品與資料表的關聯關系開展梳理工作,形成業務關聯關系清單。
最後根據無效字段、資料關聯關系、業務關聯關系盤點結果,将最終盤點結果完善到資料資源盤點工具中。
資料資源目錄梳理時,将盤點好的資料資源彙總構成資料資源目錄的同時,也要從資料資源内容層面進行梳理,将資料資源依據業務進行分類彙總融合。
(3)資料字典核查
利用企業現有資料資源盤點工具,對相關業務系統資料存在的表描述、字段描述缺失、字段描述有誤情況進行核查,然後回報源業務系統廠商和資料中心管理人員對問題進行補充及完善。
(4)資料資源建構
針對建立業務應用和建立系統間資料需求,統一基于資料平台的資料服務實作,按照業務應用、業務系統的資料擷取需求輔導資料管理人員建構相關資産服務,形成規範化的資料資産管理目錄。
(5)資料資産釋出
輔助企業按照業務機制、資料類型等建立線上資料資源目錄審批及釋出流程,支撐資料資源目錄的規範化管理和維護機制。
最終通過建構統一資料資源目錄體系,加強資料目錄優化和完善,切實解決資料描述不統一、顆粒度不一緻等問題,支撐各業務部門、各機關快捷查詢和定位資料,為後續制定資料标準、建立資料規範、開展資料治理、實作資料共享奠定基礎。