天天看點

中繼資料管理,企業資料治理的基石

作者:北明數科

在企業架構體系中,資料架構始終是企業架構的核心組成部分,其中資料架構的中繼資料管理又是核心中的核心,那麼中繼資料到底是什麼?中繼資料應該如何治理?如何評估中繼資料的價值?這些問題成為企業管理者擺在眼前的難題。

下滑閱讀本文,系統了解中繼資料管理,提升企業資料品質 ↓↓

— 01 —

認識中繼資料

中繼資料解釋

信通院釋出的《資料資産實踐白皮書》指出:中繼資料(Metadata)是指描述資料的資料。中繼資料管理(Meta Data Management) 是資料資産管理的重要基礎,是為獲得高品質的、整合的中繼資料而進行的規劃、實施與控制行為。中繼資料貫穿資料資産管理的全流程,是支撐資料資源化和資料資産化的核心。

首先,中繼資料從業務視角和管理視角出發,通過定義業務中繼資料和管理中繼資料,增強了業務人員和管理人員對于資料的了解與認識。

其次,技術中繼資料通過自動從資料倉庫、大資料平台、ETL中解析存儲和 流轉過程,追蹤和記錄資料血緣關系,及時發現資料模型變更的影響,有效識别變更的潛在風險。

最後,中繼資料可作為自動化維護資料資産目錄、資料服務目錄的有效工具,是企業資料資産歸類,資料檢索的必備途徑。

中繼資料分類

中繼資料可以分為業務中繼資料、技術中繼資料、管理中繼資料。通過各類中繼資料的關聯,建立邏輯實體與實體實體的對應關系以及業務屬性和表字段的對應關系。資料管理人員可以對資料的管理、流程以及權限進行有效的管理。

業務中繼資料:包括了主題和概念領域、實體及屬性的業務名稱和業務定義,屬性的資料類型和其他特性、範圍描述、計算公式、算法和業務規則,以及有效值域及其定義。

技術中繼資料:為開發人員和技術使用者提供了系統資訊。包括實體資料庫表名和字段名、字段屬性、其他資料庫對象的屬性和資料存儲特性。操作中繼資料主要滿足于IT運維使用者的需求。比如資料遷移、資料源和目标系統資訊、批處理程式、任務頻率、排程異常處理、備份與恢複資訊、歸檔規則和使用等資訊。

管理中繼資料:關于資料管理專員,監督制度流程和責任配置設定的資料。資料管理人員可以對資料的管理、流程以及權限進行有效的管理。

中繼資料的作用

中繼資料作為企業最重要的資料,其重要程度不言而喻,中繼資料管理作用主要展現在如下兩點:

作用一:作為資料的索引,快速查找資料。

這好比置身于浩瀚的圖書館中,在沒有一個分類編碼的标準、書籍随便存放的情況下,要迅速找到一本書簡直難于登天,單靠圖書管理者很難統計每類書的數量和存放位置。而中圖目錄資訊索引可以解決這個繁雜的問題,每上架一本圖書,圖書的目錄、書名、作者或整理、主題、簡介和篇幅等資訊就會被登記,并根據這些資訊,管理者将圖書放到對應位置。

中繼資料管理,企業資料治理的基石

讓查找和使用變得高效

中繼資料的管理與圖書目錄的管理有異曲同工之妙,能夠快速地發揮資料價值,推動企業資料資産變現。

作用二:建立中繼資料的知識圖譜,精準找出中繼資料關聯關系,快速發現和解決問題。

通過中繼資料管理工具,将有關聯關系的中繼資料進行解析,建立有效的血緣關系。當資料出故障便于資料運維人員快速進行回溯,短時間發現問題原因。

作用三:總覽資料資産,資料情況一目了然。

中繼資料管了解決了如何将業務系統中的資料分門别類地進行管理的問題,公司有哪些資料,在哪裡可以找到這些資料,能用這些資料幹什麼,都能通過中繼資料管理平台快速、清晰地解決。

— 02 —

企業中繼資料管理面臨的問題

随着企業規模的不斷發展與壯大,在企業的資料資産管理中,會面臨着資料架構失控、中繼資料管理混亂、資料增長無序等問題,集中展現在以下四點:

1. 系統變更頻繁,沒有完整的規劃、積木式、煙囪式建設。

2. 傳統企業資料資産問題歸根結底是缺少統一的組織、流程、制度的管控,很容易引起資料孤島問題。

3. 資料存儲易,查詢難,資料并沒有作為資産沉澱為企業帶來價值。

4. 中繼資料的變動後,對系統影響範圍和大小無法預知,等資料出問題後才能響應。

— 03 —

北明數科-中繼資料管理體系

北明數科在結合政務以及企業的優秀經驗,建立了一套成熟的中繼資料管理體系。

主要子產品:元模型管理--中繼資料采集--中繼資料編目--資料地圖--資料血緣--中繼資料版本--中繼資料流程管理,還包括資料溯源、全鍊路監控等功能。

元模型管理

作為中繼資料的抽象,通過對中繼資料的結構和語義的定義快速比對不同的業務和技術場景,通過設計好的元模型會在平台自動轉化為資料開發人員中繼資料定義的模闆,保證設計和開發的一緻性。

元模型管理子產品提供内置關系型資料庫、非關系型資料庫等技術中繼資料和業務規則、業務模組化等業務中繼資料,符合企業資料倉庫環境的各類中繼資料管理模型。元模型可由使用者自定義擴充,滿足客戶化中繼資料的需求。

中繼資料管理,企業資料治理的基石

元模型管理

中繼資料采集

支援對結構化、非結構化資料源的同步,支援使用者通過配置定時任務自動采集與手動導入的方式,将不同系統的中繼資料進行統一的彙總和管理。

中繼資料管理,企業資料治理的基石

幫助使用者快速對數倉中資料資産進行中繼資料采集、任務排程管理和結果檢視

中繼資料編目

支援對中繼資料按照主題、層級以及部門進行單個或者批量編目。将中繼資料轉變為易于了解的資産,供不同的資料使用方去調用。

中繼資料編目内置按照主題、部門進行編目。同時使用者可以自己定義中繼資料分類的方式。同時支援自定義拖拽、批量編目、流程快速審批等功能,輔助使用者快速進行中繼資料的編目,減少編碼的複雜度。

中繼資料管理,企業資料治理的基石

中繼資料編目

資料地圖

資料地圖是對整個資料中台内的資料進行統一查詢、管理的“地圖”,資料地圖主要面向資料開發者,彙聚使用者所有資料資訊,通過中繼資料資訊收集、資料血緣探查、資料權限申請授權等手段,幫助資料中心專有雲完成資料資訊的收集和管理,解決"有哪些資料可用"、"到哪裡可以找到資料"的難題,讓使用者找到資料、讀懂資料、消費資料,緻力于為使用者提供高效率的資料消費産品。

中繼資料管理,企業資料治理的基石

資料地圖

資料血緣分析

血緣分析指的是擷取到資料的血緣關系,以曆史事實的方式記錄資料的來源、處理過程等。依賴血緣分析,快速定位問題。血緣分析基于公司自研的解析引擎,對資料的鍊路進行全方位的分析和快速查詢。不但能夠提供從彙聚到開發以及資料應用和分享整個鍊路體系的資料流向和各個節點的資料詳細資訊展示,精準到字段級别;而且提升資料查詢效率,将查詢時間控制在毫秒級别。

中繼資料管理,企業資料治理的基石

表級别血緣

中繼資料管理,企業資料治理的基石

字段級别血緣

中繼資料版本管理

在每一次對于中繼資料的修改,都會打包生成一個版本,以便日後對存異的或錯誤的中繼資料進行追溯,可以通過資料地圖檢視每次版本的修改資訊,以及各個版本對應的原始資料詳情。

中繼資料管理,企業資料治理的基石

中繼資料版本管理

中繼資料流程管理

中繼資料管理作為資料資産最重要的一個環節,中繼資料的變更會直接影響到資料采集、資料品質等子產品。中繼資料的采集和變更都會經過如下流程,才能正式做上線操作。

1. 提出中繼資料新增需求《中繼資料變更審批表》。

2. 審批方受理新增需求,判斷是否采集中繼資料,新增中繼資料是否受理。

3. 中繼資料實施方對中繼資料采集方案及計劃确定。

4. 根據方案整理出對下遊系統影響分析,明确影響範圍。

5. 中繼資料上線稽核通過,并做好版本管理。

中繼資料管理,企業資料治理的基石

中繼資料流程管理

— 04 —

中繼資料管理-路線圖

從L0-L4五個中繼資料管理目标,主要分為基礎平台建構到價值實作五個逐級遞進的過程:中繼資料管理平台的建構--中繼資料的集中化管理--中繼資料自動管理--版本管理--價值實作。從下到上中繼資料的智能程度越來越高,其對應發揮的價值也也越來越大。

中繼資料管理,企業資料治理的基石

中繼資料管理路線圖

— 05 —

總述

在大資料時代的背景下,資料即資産,中繼資料實作了資訊的描述和分類的格式化,進而為機器處理創造了可能,它能幫助企業更好地對資料資産進行管理,理清資料之間的關系。中繼資料管理是企業提升資料品質的基礎,也是企業資料治理中的關鍵環節。

北明數科擁有豐富的中繼資料管理經驗,在國資監管、大型央企項目都經曆過打磨,并在華為FI、騰訊TBDS等大型資料叢集上處理百萬級别的中繼資料管理。為客戶進行資料治理、資料資産管理提供了重要的支撐能力。

進入北明數科官網,了解資料中台更多詳細内容,預約免費示範!

企業數字化轉型需求洞察,這5點說明白了

北明數科入選資料中台TOP50:助力企業通過資料+業務,實作1+1>2

集團類資料資産管理平台建設,北明數科資料中台這樣做

繼續閱讀