DAMA-DMBOK 2 第十二章總結--中繼資料管理

一.定義

關于資料的資料。

---不僅包括技術和業務流程、資料規則和限制，還包括邏輯資料結構與實體資料結構等。它描述了資料本身如資料庫、資料元素、資料模型，資料表示的概念如業務流程、應用系統、軟體代碼、技術基礎設施，以及資料與概念之間的聯系。

二.用處

1.管理和使用資料（資産）-越完善的中繼資料，越有利挖掘資料中的價值

2.風險管玾-敏感資料标簽，讓使用者注意隐私保護和資料安全

3.沒有中繼資料，組織就不能将其資料作為資産進行打理！！

三.業務驅動因素

1.通過提供上下文語境和執行資料品質檢查提高資料的可信度

2.通過擴充用途增加戰略資訊的價值

3.通過識别備援資料和流程提高營運效率

4.防止使用過時或不正确的資料

5.減少資料的研究時間

6.改善資料使用者和IT專業人員之間的溝通

7.建立準确的影響分析，進而降低項目失敗的風險

8.通過縮短系統開發生命周期的時間縮短産品上市時間

9.通過全面記錄資料背景、曆史和來源降低教育訓練成本和員工流動的影響

10.滿足監管合規

四.目标

1.確定人們了解和使用資料内容的一緻性

2.了解來自組織不同部門的資料之間的相似和差異

3.確定中繼資料的品質、一緻性、及時性和安全

4.提供途徑，可以通路中繼資料

5.推廣或強制使用技術中繼資料标準，以實作資料交換

五.原則

1.組織承諾

進階管理層的支援和資金

2.戰略

對齊業務戰略

3.企業視角

給企業帶來價值

4.潛移默化

積極宣導

5.通路

友善員工使用

6.品質

找到責任人

7.審計

有标準有審計

8.改進

持續回報改進

六.基本概念

1.中繼資料與資料

1.中繼資料也是資料，應用資料管理的方式進行管理

2.一個人的中繼資料，可能是另一個人的資料

3.組織應定義中繼資料需求，重點關注中繼資料能用來做什麼和滿足這些需求的源資料

2.中繼資料的類型

1.業務中繼資料

包括主題域、概念、實體、屬性的非技術名稱和定義、屬性的資料類型和其他特征

2.技術中繼資料

提供有關資料的技術細節、存儲資料的系統以及在系統内和系統之間的資料流轉過程的資訊

3.操作中繼資料

描述處理和通路資料的細節

4.其他領域類型中繼資料

1.描述中繼資料：描述資源并且支援識别和檢索，如标題，作者和主題等

2.結構中繼資料：描述資源及其組成元件之間的關系，如頁數，章節等

3.管理中繼資料：描述管理生命周期的中繼資料，如版本号，存檔日期等

3.ISO/IEC 11179 中繼資料注冊标準

提供了用于定義中繼資料注冊的架構

4.非結構化資料的中繼資料

1.描述中繼資料

描述中繼資料 (Descriptive Metadata）。描述資源并且支援識别和檢索，如标題、作者和主題等。

2.結構中繼資料

結構中繼資料 (Structural Metadata）。描述資源及其組成元件之間的關系，如頁數、章節等

3.管理中繼資料

管理中繼資料 (Administrative Metadata)。用于描述管理生命周期的中繼資料，如版本号、存檔日期等。

4.書目中繼資料

5.記錄中繼資料

6.儲存中繼資料

5.中繼資料的來源

1.應用程式中中繼資料存儲庫

在模組化工具、B1工具和其他應用程式中内置中繼資料存儲庫。随着組織中繼資料管理成熟度的提升，希望将不同應用程式中的中繼資料內建，以便資料使用者可以檢視到各種資訊。

2.業務術語表

業務視角的中繼資料來源

3.商務智能工具

商務智能工具生成與商務智能設計相關的各類中繼資料，包括概述資訊、類、對象、衍生資訊和

4.配置管理工具CMDB

5.資料字典Data Dictionary

6.資料內建工具

7.資料庫管理和系統目錄

8.資料映射管理工具

9.資料品質工具

10.資料目錄

包含了組織内所有資料的系統，資料源和位置的資訊

11.事件消息工具

12.模組化工具和存儲庫

13.參考資料庫

參考資料可能是中繼資料的一種

14.服務注冊

15.其他中繼資料存儲

6.中繼資料架構的類型

1.架構層次

1.中繼資料建立和采集

2.中繼資料在一個或多個存儲庫中存儲

3.中繼資料內建

4.中繼資料傳遞

5.中繼資料使用

6.中繼資料控制和管理

2.類型

1.集中式中繼資料架構

集中式中繼資料架構由單一的中繼資料存儲庫組成，該存儲庫包含來自各種不同源的中繼資料副本
- 1.優點：
- 1.因為它獨立于源系統，具有高可用性。
- 2.因為中繼資料集中在存儲庫中，具備快速能力。
- 3.解決了資料庫結構問題，使其不受第三方或商業系統特有屬性的影響。
- 4.抽取中繼資料時可進行轉換、自定義或使用其他源系統中的中繼資料來補充，提高了中繼資料品質。
- 2.缺點：
- 1.必須采用複雜流程確定中繼資料源頭中的更改能夠快速同步到存儲庫中。
- 2.維護集中式存儲庫的成本可能很高。
- 3.中繼資料的抽取可能需要自定義子產品或中間件。
- 4.驗證和維護自定義代碼會增加對内部IT人員和軟體供應商的要求

2.分布式中繼資料架構

中繼資料檢索引擎通過實時從源系統檢索資料來響應使用者請求；分布式中繼資料架構沒有持久化的存儲庫
- 1.優點
- 1.中繼資料總是盡可能保持最新且有效，因為它是
  
  從其資料源中直接檢索的。
- 2.查詢是分布式的，會提高響應和處理的效率。
- 3.來自專有系統的中繼資料請求僅限于查詢處理
  
  而不需要詳細了解專有資料結構，是以最大限
  
  度地減少了實施和維護所需的工作量
- 4.自動化中繼資料查詢處理的開發可能更簡單，隻
  
  需要很少的人工幹預。
- 5.減少了批處理，沒有中繼資料複制或同步過程，
- 2.缺點
- 1.無法支援使用者定義或手動插入的中繼資料項，因
  
  為沒有存儲庫可以放置這些添加項.。
- 2.需要通過統一的、标準化的展示方式呈現來自
  
  不同系統的中繼資料
- 3.查詢功能受源系統可用性的影響。
- 4.中繼資料的品質完全取決于源系統

3.混合式中繼資料架構

混合架構結合了集中式和分布式架構的特性；是最經常采用的中繼資料管理方案。

4.雙向中繼資料架構

允許中繼資料在架構的任何部分（源、資料內建、使用者界面）中進行更改，然後将變更從存儲庫（代理）同步到其原始源以實作回報。

5.無管理的中繼資料架構

在沒有意識對中繼資料進行專門管理的情況下，系統間如果需要互操作對方的中繼資料，需要點對點訪向

七.活動

1.定義中繼資料戰略

1.概念

描述組織應如何管理其自身中繼資料，以及中繼資料從目前狀态到未來狀态的實施線路

2.步驟

1.啟動中繼資料戰略計劃

2.組織關鍵利益相關方的訪談

3.評估現有的中繼資料資源和資訊架構

4.開發未來的中繼資料架構

5.制訂分階段的實施計劃

2.了解中繼資料需求

1.内容

需要哪些中繼資料和哪種詳細級别

2.功能需求點

1.更新頻次

2.同步情況

3.曆史資訊

4.通路權限

5.存儲結構

6.內建要求

7.運維要求

8.管理要求

9.品質要求

10.安全要求

一些中繼資料不應公開，因為會洩露某些高度受保密資料的資訊

3.定義中繼資料架構

1.基本能力要求

1.中繼資料管理系統必須具有從不同資料源采集中繼資料的能力

2.受控的中繼資料環境應為最終使用者屏蔽中繼資料的多樣性和差異性

3.組織根據具體的需求設計中繼資料架構：集中式

2.基本步驟

1.建立元模型

建立一個中繼資料存儲庫的資料模型，也稱元模型

2.應用中繼資料标準

命名約定标準
- 1.邏輯名稱對使用者有意義；盡可能使用完整單詞;避免不熟悉的縮寫：不用分隔符
- 2.實體名稱符合DBMS的最長約定，可使用下劃線作為分隔符；
- 3.命名要減少跨環境變化，不受特定環境影響；名字最後是分類詞

3.管理中繼資料存儲

1.控制活動
2.品質控制活動
3.中繼資料管理活動
4.教育訓練活動

實施控制活動以管理中繼資料環境，控制活動應受到資料治理過程的監督

4.建立和維護中繼資料

1.管理原則

1.責任

流程的執行者對中繼資料的品質負責

2.标準

制定，執行和審查中繼資料标準，簡化內建過程

3.改進

建立回報機制

1.整合中繼資料

1.內建過程中從整個企業範圍内收集和整合

中繼資料，包括從企業外部擷取到的資料中

的中繼資料。
2.中繼資料存儲庫應将提取的技術中繼資料與相

關的業務、流程和管理中繼資料內建在一起
3.中繼資料整合過程中可能存在一些挑戰，需

要訴諸于資料治理流程進行協調解決

2.分發和傳遞中繼資料的機制

1.中繼資料内部網站，提供浏覽、搜尋、查詢、報

告和分析功能。
2.報告、術語表和其他文檔。
3.資料倉庫、資料集市和B1（商務智能）工具。
4.模組化和軟體開發工具消息傳輸和事務。
5.Web服務和應用程式接口 (API)。
6.外部組織接口方案（如供應鍊解決方案）

5.查詢、報告和分析中繼資料

1.中繼資料指導如何使用資料資産：在商務智能BI（報表和分析）、商業決策（操作型，營運型和戰略型）方面使用中繼資料。

2.中繼資料存儲庫應具有前端應用程式，并支援查詢和擷取功能，進而滿足以上各類資料資産管理的需要

八.工具

1.管理中繼資料的主要工具是中繼資料存儲庫

2.管理工具提供了在集中位置管理中繼資料的功能

3.中繼資料管理工具和存儲庫本身就是一種中繼資料的資料源

九.方法

1.資料血緣和影響分析

1.發現和記錄資料資産的中繼資料的一個重要意義在于提供了資料如何在系統間轉移的資訊

2.許多中繼資料工具中存儲着某個環境中資料現況的資訊，并提供檢視跨系統或應用程式接口的血緣功能。基于程式編碼的目前版本的血緣稱為"實作态血緣〞。映射規範文檔中描述的血緣稱為 “設計态血緣”

3.資料血緣建立的局限性在于中繼資料管理系統的覆寫範國。特定功能的中繼資料存儲庫或資料可視化工具在其管理範圍内提供資料血緣的資訊，若超出管理範圍時，将無法提供相關資訊。

2.應用于大資料采集的中繼資料

1.采集

采集時，一起采集中繼資料，用來識别資料湖中的資料

2.剖析

采集後需要進行剖析，識别出資料域，資料關系，品質問題等

3.打标

采集到敏感資料，應增加中繼資料标簽

4.關聯

通過标簽，以及辨別叢集行為的代碼關聯其他資料

十.實施指南

1.就緒評估/風險評估

1.堅定中繼資料戰略

2.缺失高品質中繼資料可能的影響

1.因不正确、不完整和不合理的假設或缺乏資料内容的知識導緻錯誤判斷

2.暴露敏感，使客戶或員工面臨風險，影響商業信譽和導緻法律糾紛

3.了解資料的領域專家離開了，他們了解的知識也随之帶走

3.對中繼資料相關活動狀況進行正式的成熟度評估

1.重要的業務中繼資料

2.可用的中繼資料術語表

3.資料血緣

4.資料剖析和資料品質管理過程

5.主資料管理成熟度等

2.組織和文化變革

需要進階管理層的支援和參與

十一.中繼資料治理

1.過程控制

資料管理團隊應負責定義标準和管理中繼資料的狀态變化（通常使用工作流或協作軟體），同時負責組織内品質提升活動、教育訓練計劃或實際教育訓練活動。

2.中繼資料解決方案的文檔

中繼資料的主目錄包括目前作用域中的源和目标

2.指引作用，告知使用者能滿足其如下需求

1.中繼資料管理實施狀态

2.源和目标中繼資料存儲

3.中繼資料更新的排程計劃資訊

4.留存和保持版本

5.内容

6.品質聲明或警告

7.記錄系統和其他資料源狀态

8.相關的工具、架構和人員

9.敏感資訊和資料源的移除或脫敏政策

3.中繼資料标準和指南

為了支援共享資訊的最佳使用，需要共享公共中繼資料，這催生了許多專業領域的标準

4.度量名額

1.中繼資料存儲庫完整性

2.中繼資料管理成熟度

3.專職人員配備

4.中繼資料使用情況

5.業務術語活動

6.主資料服務資料遵從性

7.中繼資料文檔品質

8.中繼資料存儲庫可用性

正常運作時間、處理時間