天天看點

DAMA資料管理知識體系指南之資料管理和資料治理

作者:數字化轉型方案Home

本資料來源于網際網路,僅供學習交流使用,版權歸屬出版商或者作者所有。如有侵權,請聯系本号進行删除并先行道歉!

簡介:DAMA:國際資料管理協會,是一個全球性資料管理和業務專業志願人士組成的非營利協會,是目前國際上在資料治理領域最權威的機構。DMBOK2則是DAMA組織衆多資料管理領域的國際級資深專家編著,深入闡述資料管理各領域的完整知識體系。它是市場上唯一綜合了資料管理方方面面的一部權威性著作。本篇文章,将針對DMBOK中的核心内容進行解讀。

一、資料管理的原則

DAMA資料管理知識體系指南之資料管理和資料治理

1、整體原則解讀

上圖已經基本表達了在資料管理過程中,所需要遵循的原則:

  1. 資料管理需求是業務的需求。一切要從業務出發,并以最終滿足業務作為驗收條件。
  2. 有效的資料管理需要上司層承擔責任。資料管理經常涉及到組織上的變革,需要強有力的上司力來推動,來自高層的力量不可或缺。
  3. 認識到資料有價值,也要認識到資料有成本,提高整體的ROI。
  4. 資料管理依賴于不同的技能。資料管理需要整個組織分工協作,包括但不限于CDO、業務專家、分析師、DBA、資料模組化專家等。
  5. 資料管理是生命周期的管理。資料管理是對資料從規劃開始,到最終應用/消亡整個鍊路的管理計劃。

2、資料資産的價值

在一個具體的組織中,資料資産一般有以下作用作用:

  • 組織依靠資料資産做出更高效的決定,并擁有更高的營運效率
  • 組織依靠資料去了解客戶,創造新的産品和服務
  • 組織依靠資料通過削減成本和控制風險的手段來提高營運效率
  • 同時資料是組織中的橫向領域,有助于幫助組織跨垂直領域做出資料決策

從具體作用來看,資料價值包括創造的業務價值和潛在的成本兩方面。

低品質資料的成本:

  • 報廢和返工
  • 組織效率低下或生産力低下
  • 組織沖突
  • 工作滿意度低
  • 客戶不滿意
  • 機會成本,比如無法創新
  • 合規成本和罰款
  • 聲譽成本

高品質資料的作用:

  • 改善客戶體驗
  • 提高生産力
  • 降低風險
  • 快速響應商機
  • 增加收入
  • 洞察客戶、産品、流程和商機,獲得競争優勢

3、資料管理需要上司層承擔責任

高效的資料管理需要上司力和承諾。需要認識到管理資料會帶來獨特的挑戰,是以需要由CDO來上司資料管理計劃。成功的資料管理必須由業務驅動,而不是由IT驅動。CDO不僅上司倡議,還必須上司文化變革,使組織能夠對資料采取更有戰略性的方法。

4、資料管理是資料生命周期管理

資料生命周期的關鍵活動如下圖所示,具體每一步驟的操作和管理會在後續章節逐漸展開。

DAMA資料管理知識體系指南之資料管理和資料治理

二、資料管理戰略

1、資料管理戰略

資料管理戰略定義了企業需要什麼資料、如何擷取資料、如何管理資料并確定其可靠性、如何利用資料。資料管理戰略由CDO擁有和維護,并由資料治理委員會支援的資料管理團隊實施。

2、資料管理戰略的組成

資料管理戰略主要包括以下部分:

  • 令人信服的資料管理願景
  • 資料管理的商業案例總結
  • 指導原則、價值觀和管理觀點
  • 資料管理的使命和長期目标
  • 資料管理成功的檢疫措施
  • 符合SMART(具體、可衡量、可操作、現實、有時間限制的)原則的短期(12-24個月)資料管理目标
  • 對資料管理角色群組織的描述,以及對其職責和決策權的總結
  • 資料管理程式元件和初始化任務
  • 具體明确範圍的優先工作計劃
  • 一份包含項目和行動任務的實施路線圖草案

3、資料管理戰略規劃的可傳遞成果

1)資料管理章程。包括總體願景、業務案例、目标、指導原則、 成功衡量标準、關鍵成功因素、可識别的風險、營運模式等。

2)資料管理範圍聲明。包括規劃目的和目标(通常為3年),以及 負責實作這些目标的角色、組織和上司。

3)資料管理實施路線圖。确定特定計劃、項目、任務配置設定和傳遞 裡程碑。

三、資料管理架構

1、戰略一緻性模型

将企業的活動,按照戰略/營運、業務/IT兩個次元進行拆解,來介紹整個企業中的活動。

DAMA資料管理知識體系指南之資料管理和資料治理

2、DMBOK架構

主要包括資料管理架構中的11個資料管理領域和7個環境因素

DAMA資料管理知識體系指南之資料管理和資料治理
DAMA資料管理知識體系指南之資料管理和資料治理

3、DMBOK金字塔

使用DMBOK知識領域來描述組織演化的情況。組織可以根據此架構定義一種演化路徑,支援戰略目标的實作。

比如下圖推薦的組織資料管理的4個階段:

階段1:實作資料模組化和設計、資料存儲和操作、資料內建和互操作、資料安全管理

階段2:實作資料架構、資料品質和原資料管理

階段3、實作資料治理、資料倉庫和BI、參考資料和主資料、檔案和内容管理

階段4、實作進階實踐,如資料挖掘和大資料分析

DAMA資料管理知識體系指南之資料管理和資料治理

4、DAMA資料管理架構的進化

DAMA資料管理知識體系指南之資料管理和資料治理
DAMA資料管理知識體系指南之資料管理和資料治理

四、資料治理語境關系圖

DAMA資料管理知識體系指南之資料管理和資料治理

1、資料管理和資料治理

在正式講資料治理之前,先區分下資料管理和資料治理的差別。資料管理的整體驅動力是確定組織可以從其資料中獲得價值,更多是總體戰略的層面;資料治理聚焦于如何制定有關資料的決策,以及人員和流程在資料方面的行為方式,更多是細節執行層面。

DAMA資料管理知識體系指南之資料管理和資料治理

2、資料治理整體介紹

資料治理是DMBOK中的核心内容,不僅在11個資料管理職能中,處于中心位置,并且在每一個單獨的資料管理職能中,都有資料治理的部分。進而強調資料治理不是一個單獨的流程,更是要融入到系統的設計和開發過程,貫徹系統建設的全過程,才能讓資料治理更好的落地。

想要達到良好的資料治理效果,就要建立以資料為中心的組織:組織必須改變将戰略轉化為行動的方式。資料不再被作為是流程和業務産品的附屬。業務處理的目标就是為了得到高品質的資料。有效資料管理成為企業緻力于通過分析獲得洞察、制定決策時的高優先級事項。

DAMA資料管理知識體系指南之資料管理和資料治理

2.1、資料治理通用内容

資料治理的具體内容,一般都群組織的實際業務需求有關,但基本都會包含以下内容:

  • 戰略(Strategy)。定義、交流和驅動資料戰略和資料治理戰略的執行。
  • 制度(Policy)。設定與資料、中繼資料管理、通路、使用、安全和品質有關的制度。
  • 标準和品質(Standards and Quality)。設定和強化資料品質、資料架構标準。
  • 監督(Oversight)。在品質、制度和資料管理的關鍵領域提供觀察、審計和糾正等措施(通常稱為管理職責Stewardship)。
  • 合規(Compliance)。確定組織可以達到資料相關的監管合規性要求。
  • 問題管理(Issue Management)。識别、定義、更新和處理問題,針對如下領域:資料安全、資料通路、資料品質、合規、資料所有權、制度、标準、術語或者資料治理程式等。

2.2、資料治理通用原則

每個組織都需要有自己的原則,但是那些尋求從其資料中獲得更多價值的組織可能會分享以下内容:

  • 資料應該作為企業資産管理起來。
  • 應該在整個組織内鼓勵資料管理的最佳實踐。
  • 企業資料戰略必須與業務戰略一緻。
  • 應不斷改進資料管理流程。

2.3、資料治理主要活動

在大多數情況下,資料治理活動将集中于以下部分:

1)建立和管理核心中繼資料。它包括業務術語、有效資料值及其他關鍵中繼資料的定義和管理。通常管理專員負責整理的業務術語表,成為與資料相關的業務術語記錄系統。

2)記錄規則和标準。它包括業務規則、資料标準及資料品質規則的定義和記錄。通常基于建立和使用資料的業務流程規範,來滿足對高品質資料的期望。為確定在組織内部達成共識,由資料管理專員幫助制定規則并確定其得到連貫的應用。

3)管理資料品質問題。資料管理專員通常參與識别、解決與資料相關的問題,或者促進解決的過程。

五、業務驅動因素

1、減少風險

1)一般性風險管理。洞察風險資料對财務或商譽造成的影響,包括對法律和監管問題的響應。

2)資料安全。通過控制活動保護資料資産,包括可獲得性、可用性、完整性、連續性、可審計和資料安全。

3)隐私。通過制度和合規性監控,控制私人資訊、機密資訊、個人身份資訊(PII)等。

2、改進流程

1)法規遵從性。有效和持續地響應監管要求的能力。

2)資料品質提升。通過真實可信的資料提升業務績效的能力。

3)中繼資料管理。建立業務術語表,用于定義和定位組織中的資料;確定組織中數量繁多的中繼資料被管理和應用。

4)項目開發效率。在系統生命周期(SDLC)中改進,以解決整個組織的資料管理問題。

5)供應商管理。控制資料處理的合同,包括雲存儲、外部資料采購、資料産品銷售和外包資料運維。

六、目标和原則

1、目标

(1)可持續發展(Sustainable)

治理程式必須富有吸引力。它不是以一個項目作為終點,而是一個持續的過程。需要把它作為整個組織的責任。可持續的資料治理依靠于業務上司、發起者和所有者的支援。

(2)嵌入式(Embedded)

資料治理不是一個附加管理流程。資料治理活動需要融合軟體開發方法、資料分析應用、主資料管理和風險管理。

(3)可度量(Measured)

資料治理做得好有積極的财務影響,但要證明這一影響,就需要了解起始過程并計劃可度量的改進方案。

2、原則

(1)上司力和戰略(Leadership and Strategy)

成功的資料治理始于遠見卓識和堅定的上司。資料戰略指導資料管理活動,同時由企業業務戰略所驅動。

(2)業務驅動(Business-driven)

資料治理是一項業務管理計劃,是以必須管理與資料相關的IT決策,就像管理與資料有關的業務活動一樣。

(3)共擔責任(Shared Responsibility)

在所有資料管理的知識領域中,業務資料管理專員和資料管理專業人員共擔責任。

(4)多層面(Multi-layered)

資料治理活動發生在企業層面和各地基層,但通常發生在中間各層面。

(5)基于架構(Framework-based)

由于治理活動需進行跨組織職能的協調,是以對資料治理項目必須建立一個營運架構來定義各自職責和工作内容。

(6)原則導向(Principle-based)

指導原則是資料治理活動、特别是資料治理政策的基礎。有時原則可以從具體政策通過逆向工程反推得到。然而最好把核心原則的闡述和最佳實踐作為政策的一部分工作。

七、活動

DAMA資料管理知識體系指南之資料管理和資料治理
DAMA資料管理知識體系指南之資料管理和資料治理

八、實施指南

1、組織與文化

組織與文化整體都強調高層的支援和考慮執行時組織和個人因素

2、溝通與調整

随着治理的持續開展,以下關鍵内容需要不斷進行更新,并及時與相關方進行同步:

1)業務戰略/資料治理戰略藍圖(Business / DG Strategy Map)。這些藍圖将資料治理活動與業務需求聯系起來。定期衡量和溝通資料治理對業務的幫助,對于資料治理持續獲得支援是至關重要的。

2)資料治理路線圖(DG Road Map)。資料治理路線圖應适應業務環境或優先級的變化進行調整。

3)資料治理的持續業務案例(Ongoing Business Case for DG)。資料治理的業務案例必須定期被調整,以反映組織不斷變化的優先級和财務狀況。

4)資料治理名額(DG Metrics)。随着資料治理規程的成熟,資料治理的相關名額也應随之逐漸增長和變化

九、度量名額

為應對長期學習曲線的阻力和挑戰,對資料治理項目必須要有通過證明資料治理參與者如何增加業務價值和實作目标的名額來衡量進展和成功。資料治理名額的示例包括:

(1)價值

1)對業務目标的貢獻。

2)風險的降低。

3)營運效率的提高。

(2)有效性

1)目标的實作。

2)擴充資料管理專員正在使用的相關工具。

3)溝通的有效性。

4)教育訓練的有效性。

5)采納變革的速度。

(3)可持續性

1)制度和流程的執行情況(即它們是否正常工作)。

2)标準和規程的遵從情況(即員工是否在必要時遵守指導和改變行為)。

十、關鍵概念/工具/方法

1、資料治理組織

資料治理可以從政治治理的角度來了解:它包括立法職能(定義政策、标準和企業架構)、司法職能(問題管理和更新)和執行職能(保護和服務、管理責任)。

下圖描述了典型的資料治理組織模型:

其中,部分關鍵角色的職責如下:

DAMA資料管理知識體系指南之資料管理和資料治理

有關更多關鍵角色(如CDO、資料管理專員)的具體職責。

2、營運架構

下面兩張圖介紹了資料治理過程中的典型營運架構,包括制度的制定和下發,資料治理日常工作,問題處理與上升等内容。

DAMA資料管理知識體系指南之資料管理和資料治理
DAMA資料管理知識體系指南之資料管理和資料治理

3、不同的治理營運模型

資料治理的組織模型主要有三種:集中式治理、分布式治理、聯邦式治理。具體選擇哪種組織模型,需要根據組織和業務的實際需求來确認。

DAMA資料管理知識體系指南之資料管理和資料治理

4、資料治理的價值

對資料治理的價值評估,主要包括創造的價值,和節約的成本兩部分,即常說的降本增效。其中成本不僅僅是直接的資源成本,還包括潛在的風險成本等。

1)替換成本(Replacement Cost)。在災難性資料破壞事件或者資料中斷時,資料替換或恢複的成本,包括組織内的交易、域、目錄、文檔和名額資訊等。

2)市場價值(Market Value)。兼并或收購企業時作為企業資産的價值。

3)發現商機(Identified Opportunities)。通過交易資料或者通過售賣資料,從資料(商務智能)中發現商機獲得的收入價值。

4)售賣資料(Selling Data)。一些組織為産品或銷售将資料打包從資料中獲得的洞察。

5)風險成本(Risk Cost)。它是基于潛在罰款、補救成本和訴訟費用的估價。來自法律或監管的風險包括:

①缺少必需的資料。

②存在不應留存的資料(例如,在法律審計期間發現的意外資料;需要清除但尚未清除的資料)。

③除上述成本外,包括資料不正确造成客戶、公司财務和聲譽受到損害。

④風險下降或者風險成本的下降,其實是與提升和驗證資料等操作幹預成本的抵消之後的溢出部分。

為了描述資訊資産價值的概念,可以将公認的會計準則轉換為公認的資訊原則用于輔助資産價值判斷:

DAMA資料管理知識體系指南之資料管理和資料治理