天天看點

資料價值提升新模式:資料資産管理“AIGOV五星模型”

從資料管理到資料治理到資料資産管理,從全球到國内,各種新概念不斷提出并被加以實踐改良,提升了政府、企事業機關及群衆對大資料資産管理的意識,同時也促進了大資料産業不斷的深入發展。借鑒國内外資料管理模型及相關理論思想,我們對資料資産管理的模型進行分析、總結,提煉出組織資料管理的五大管理域十三個能力項,并對每項能力進行詳細劃分以及相關功能介紹。

引言

現在已經全面進入物聯網時代,資料以史無前例的規模大批量一刻不停地生成,與大資料相關的研究和應用層出不窮,資料已經成為各國政府和企業最重要的資産,我國也于2015年8月釋出了《促進大資料發展行動綱要》。國家在綱要中明确指出資料是核心資産,大資料是推動經濟發展的新動力,是提升企業核心價值的驅動力。

資料如此重要,資料産生量如此之大,然而整個資料管理領域的理論發展是非常落後的。企業都知道資料很有價值,資料能夠為企業帶來指引,然而真正讓資料為企業帶來價值的案例并不多見,這主要是由于既有的資料管理模型落後并且複雜。

資料價值提升新模式:資料資産管理“AIGOV五星模型”

資料管理的概念從80年代提出到現在已經接近40年了,資料治理的提法也有近20年,而資料資産管理的提出基本是最近5年的事情,中國資料資産管理峰會對資料資産管理定義為是對資料管理、資料治理及資料資産化的管理過程。

資料資産管理研究現狀

國外研究現狀

20世紀80年代後期,資料倉庫概念開始形成,這也是資料管理理論的萌芽。随着資料倉庫應用落地和展開,在2000年左右資料治理的相關理念也逐漸形成。2000年前後,H.Watson探讨了“資料倉庫治理”在Blue Cross和Blue Shield of North Carolina兩家公司的最佳實踐,被國内學者認為拉開了“資料治理”在企業管理中的大幕。

早在2004年,國際資料治理協會DGI就首次釋出了DGI資料治理架構,從這個架構模型初步提出了RPP(人員/流程/規則)架構。但是,這個架構中沒有對資料治理的具體工作内容給予細化或明确說明。

2006年,國際資料管理協會(DAMA)釋出了資料管理架構,并參考了PMBOK的架構編寫了資料管理指南(DMBOK)。經過多次疊代,2008年3月,國際資料管理協會釋出的最新版DMBOK中,将資料管理工作細分為十個職能:

● 資料治理

● 資料架構管理

● 資料開發

● 資料操作管理

● 資料安全管理

● 參考資料與主資料管理

● 資料倉庫與商務智能管理

● 文檔與内容管理

● 中繼資料管理

● 資料品質管理

以及目标和原則、活動、主要傳遞物、角色和責任、技術、實踐和方法、組織和文化七大環境要素。

2010年,IBM釋出了《資料治理統一流程》一書,描述了企業資料能力成熟度評價模型。IBM提出資料治理的要素模型,認為資料風險與合規、價值創造等業務目标或成果是資料治理的核心關鍵命題,并且影響這些目标的達成需要組織結構和認知度、政策、資料相關責任者三個促成要素。在三個促成因素以外,必須關注資料治理三個核心要素,分别是資料品質管理、資訊生命周期管理、資訊安全和隐私。要素模型中還有資料治理三個支撐要素,資料架構、分類與中繼資料、審計日志和報告。

2014年,EDM釋出了資料管理能力成熟度模型( Data management Capability Assessment Model )。在該模型中,EDM将資料管理劃分為八大職能域:

● 資料管理政策

● 資料管理業務案例

● 資料管理項目

● 資料架構

● 技術架構

● 資料品質

● 資料營運

2014年,CMMI協會釋出了資料管理成熟度模型,将資料管理工作分為六個次元:

● 資料管理戰略

● 平台及架構

● 資料操作

● 支援流程

以及五個成熟度評估等級:可執行級、可管理級、已定義級、可量度級以及優化管理級。

國内研究現狀

在國内,資料治理和資産管理研究和标準化工作相對較為滞後。2018年5月份,銀保監會正式釋出了金融機構資料治理指引。從相關主題的數量,可以看出金融機構資料治理指引主要關注的是制度、人員、流程、監管等相關方面建設。同時,資料管理能力成熟度模型的國家标準也同期釋出。

近幾年,随着資料價值的進一步挖掘,企業對資料資産化需求不斷增長,資料資産管理理念形成。2014年新炬網絡在行業中明确提出了資料資産管理概念及其三大核心架構:資料架構、資料治理和資料營運,并于次年首次對外釋出了資料資産管理五星模型,進而将資料資産管理定義為是對資料管理、資料治理及資料資産化的管理過程,此後在與國内外同行的交流和企業實踐中,持續不斷的疊代演進和完善,并于2018年7月的中國資料資産管理峰會上,正式釋出資料資産管理“AIGOV五星模型”。

資料價值提升新模式:資料資産管理“AIGOV五星模型”

2018年3月15日,中國國家标準化委員會和中華人民共和國國家品質監督檢驗檢疫總局聯合釋出了《資料管理能力成熟度評價模型》,該模型包括資料戰略、資料治理、資料架構、資料應用、資料安全、資料品質、資料标準和資料生命周期等8個關鍵過程功能域,29個能力項。該模型制定了相關的功能域劃分、評價标準和關鍵名額定義,以幫助組織更好地了解和評價資料管理現狀。

國内外既有模型的對比

簡單總結一下國内外資料管理/資料治理/資料資産管理方面的模型,就會發現,這些模型要麼是太過于簡單(比如2003年釋出的DGI模型)不知道具體怎麼落地,要麼是太過于複雜(比如2006年的DAMA模型、DMM模型等)實施起來過于艱難。

相比于其他國内外的标準/模型或架構而言,資料資産管理“AIGOV五星模型”更關注資料資産管理的全局視角和整體過程,企業管理者或從業者可以更清楚了解整個資料資産化價值實作的過程。

資料價值提升新模式:資料資産管理“AIGOV五星模型”

新炬網絡自提出資料資産管理五星模型之後,在與國内外同行分享交流,特别是結合在金融、電信、電力、制造、政府等領域的企業級實踐過程中,曆經多年持續疊代完善,目前的資料資産管理“AIGOV五星模型”正式版覆寫五大管理域、十三個能力項。

資料資産管理AIGOV五星模型詳述

資料資産管理AIGOV五星模型的含義

資料資産管理“AIGOV五星模型”将資料資産管理相關工作劃分成五個管理域和十三個能力項。

資料價值提升新模式:資料資産管理“AIGOV五星模型”

第一個管理域是資料架構政策,針對管理體系,主要是人員的組織結構,以及相關政策制度。資料架構政策管理域隻包含一個能力項:組織架構/政策制度。

第二個管理域是資料內建共享,針對資料資産管理的技術平台。資料內建共享管理域,包括三個能力項:分别是資料采集、資料內建和資料共享中心。

第三個管理域是資料治理,這部分就是資料治理的傳統範疇,包括資料模型管理、中繼資料管理、資料标準管理以及資料品質管理四個能力項。

第四個管理域是資料營運管理,核心是如何提升資料安全和營運效率;包括資料生命周期管理、資料安全管理和主資料管理三個能力項。

第五個管理域是資料增值應用,通過資料分析挖掘和開放服務,真正将資料服務于企業和企業的戰略聯盟間,提升資料價值、實作業務互動。包括資料分析挖掘、資料開放服務兩個能力項。

資料資産管理五星模型能力項内容詳解

資料價值提升新模式:資料資産管理“AIGOV五星模型”

資料架構政策域,包含一個能力項組織架構/政策制度。

做好資料資産管理工作,關鍵要做好的是資料資産管理相關組織、制度、流程和規範等相關的建設工作。而其中最為重要的是資料資産管理組織的建立,建立一支真正為企業資料負責的管理和執行團隊,并在企業決策、管理、執行和應用各層面全面實作資料資産管理工作。如果沒有組織,如果沒有人,規章制度靠誰去執行、去監督,如此下去企業中所有的資料資産管理規章制度隻會是一紙空文,無法落地。

資料內建共享管理域,包括三個能力項:分别是資料采集、資料內建和資料共享中心。

圍繞資料實作企業中各式資料的采集、內建以及共享,打破企業中形成的資料孤島,将資料進行有效的整合和內建,讓資料實作更多的關聯和碰撞,産生更多業務、産品、服務以及管理等多方面的創新。資料采集整合內建中,應該強調基于中繼資料驅動資料內建。通過中繼資料管理,可以讓資料內建過程更公開與透明,更容易發現資料內建過程中出現的問題,更為便捷地得到資料內建過程的深遠影響。基于中繼資料驅動下的資料內建,可以使資料采集、處理、彙聚等過程更加規範和利于管理。

資料采集、內建和處理計算之後,形成各種各樣的資料産品。這些資料産品通過資料共享中心打破企業曆史沉澱的資料孤島,通過資料采集、內建進行有效整合,建構企業級資料共享中心,滿足企業内部資料互動、通路、共享的業務需求,使資料能夠更好的反哺企業業務的發展。

資料治理域從提供一個透明可讀以及高品質的資料環境着手。

資料治理往往始于資料模型管理,根據企業的特點和現狀從正向模組化和逆向兩個方面入手。正向模組化,從零開始對系統或者資料中心進行模型從新建構。但是對于絕大多數傳統企業,企業存在大量存量系統或者在用系統,同時這些系統中資料模型可能并不清晰,形成事實上的資料黑盒子,企業人員很難了解和運用這些資料。是以,還需要進行逆向資料模型梳理,把資料模型整理清晰,梳理清楚企業資料的基本全貌。資料模型梳理完成以後,實作整個基于版本化的資料模型管控過程。通過資料模型管理體系建構,整個企業的IT系統以及大資料中心所有資料模型的納入統一的管理當中。資料模型管理,最終将以資料地圖、資料資産目錄等方式向企業資料應用、管理和維護人員進行開放和共享,讓資料相同幹系人都可以從中擷取必要的資料資訊。

資料模型梳理完成,它将是中繼資料管理最重要輸入内容。中繼資料管理通過各式的關于資料的資訊采集、歸并整合和應用等手段,向企業中提供全局企業多角度中繼資料視圖。可視化的中繼資料管理工具,為企業資料應用和開發人員提供圖形化全局中繼資料檢索和查詢,資料處理過程上下文的資料血緣關系分析,以及預覽資料處理和變更對全局的影響度分析。借助中繼資料管理工具,實作強大中繼資料監控、稽核和版本管理的能力,便于資料應用和管理人員分析中繼資料與實際資料中心或者資料倉庫之間的差異,防止中繼資料與實際系統之間出現“兩張皮”的現象,維護中繼資料的權威性和準确性。

中繼資料和資料模型在企業内部資料建設還需要實作标準化過程,資料标準化次元往往包括多個方面,包括資料定義命名的标準化、資料設計的标準化、資料内容和格式的标準以及資料交換的标準等,通過這些資料标準化的工作打通企業内部資料的設計和認知的統一,便利于企業人員了解和認識資料,有利于資料的共享和整合。

完善的中繼資料管理以及資料标準體系,可以更加友善企業人員進行資料品質管理。資料品質管理借助工具手段将品質管理PDCA循環管理方法論真正落地。在這個過程中,利用資料品質管理工具對資料品質進行有效監控和分析。

資料營運管理域,核心是如何提升資料安全和營運效率。

資料資産管理團隊通過制定合理、完整的資料生命周期管理方案,針對不同類型的業務資料進行貫穿其整個生命周期的管理。面對業務部門和IT部門對資料使用的要求進行調研和分析,結合企業中各類資料特點和趨勢,制定不同資料在不同階段資料生命周期政策,企業上下确認并達成一緻後,形成企業中資料生命周期管理規範并釋出。

資料資産管理團隊根據國家、行業和企業對資料安全管控需求,對現有資料進行敏感分級分類,形成敏感資料目錄。以此為基礎,還需要針對不同資料制定和完善如安全審計、測試資料管理、資料脫敏、資料提取管理等應用場景。

資料資産管理團隊還負責管理描述企業關鍵業務實體的核心主資料,通過主資料采集、品質管理、稽核、釋出等方式統一管理企業的黃金資料。

資料增值應用管理域,通過資料分析挖掘和開放服務,真正将資料服務于企業和企業的戰略聯盟間,提升資料價值、實作業務互動。包括資料分析挖掘、資料開放服務兩個能力項。

企業資料分析人員,借助資料可視化、資料統計、挖掘算法和機器學習對整合到大資料共享中心的資料進行分析驗證,提取和發現有用的資訊并形成結論。

同時,企業将原始資料、經過有效加工的資料或者整合後的資料報告,通過資料資産化的評估、脫敏和定價,與外部合作夥伴實作資料交換、交易和流通,為企業獲得戰略或财務收益。

資料資産管理五星模型的價值和意義

進入大資料的時代,資料被業界公認為是企業的最寶貴資産之一,資料的價值得到廣泛認同。企業依賴資料資産管理為其提供可靠、有價值和高品質的資料,提供更好的産品和服務,降低開發和運維成本,控制風險,以及為企業提供更明智和更有效的決策資料支援。

是以,企業亟需對資料資産進行有效的管理,提升資料的價值。

首先,資料資産管理AIGOV五星模型為企業的資料資産管理提供了管理架構,通過這個有效的管理架構,企業可以參照自身的資料現狀和不足,制定适合自身特點和戰略的資料資産管理規劃,并且有的放矢地按步驟有計劃地開展其資料資産管理活動,分階段實作其整體資料資産管理藍圖。

其次,資料資産管理AIGOV五星模型為企業提供了資料資産管理實踐級的方法論,通過這些在各大型企事業機關中經受過實戰演練的方法、規範和制度流程。它指導企業更有效地開展各種資料資産管理活動,有助于解決企業在實施資料資産管理可能遇到各種問題和規避常見的陷阱。

最後,資料資産管理AIGOV五星模型提出的資料資産管理平台體系,為企業實施資料資産管理提供了平台化的支撐。通過各種可視化的資料資産管理平台,更有效的沉澱企業資料資産知識圖譜,實作企業資料知識的共享和傳播,同時高效地管理資料和提升資料品質,推動企業内外的資料共享和應用,提升企業資料價值,實作資料的資産化。

資料資産管理AIGOV五星模型為建構企業的資料資産管理環境,實作資料資産保值和增值,提高資料品質都具有非常重要的意義。

資料資産管理五星模型的企業實踐案例

AIGOV五星模型在不同行業的大型企業中進行了企業級的實踐活動。

某大型制造企業在企業資料應用于企業營運的過程中,出現了許多關于資料的形形色色的問題,諸如:

● 資料資源分散:資料形成事實上孤島,資料資源及管理、開發應用相對分散,資料采集、整合、分析以及資料應用沒形成閉環;

● 資料黑盒化:企業人員對應用系統中資料了解和認知不足,資料字典與實際脫節;

● 資訊難公開:沒有平台支撐,梳理出來的有效資料資訊也無法在企業中釋出和共享;

● 安全管控不足:缺少基本資料安全管控手段,沒有必要的資料安全目錄;

● 資料品質不高:曆史存量資料品質不高,存在大量重碼、無效資料,資料品質管理任重道遠;

● 資料容量問題:資料容量有效收集與分析不足,資料化決策支援不夠;

● ……

這些資料的問題極大限制了該企業進一步運用企業資料資産,阻礙其利用資料做出精确的分析和預測,為企業戰略決策服務的目标。

該企業在與我們一起共同努力,着手資料資産管理項目實施,實作了資料資産管理五星模型的快速落地。

首先,建立技術和業務共同參與的企業資料資産管理團隊,并在項目初期以企業現狀和未來戰略為基礎,制定了三階段的資料資産管理規則,從基礎着手逐漸建構适合該企業現狀和特點的資料資産管理體系。

其次,着手梳理企業資料資産,重新整理企業資料字典、資料模型以及相關中繼資料,打破資料黑盒,讓企業重新掌握資料資産。

最後,建立資料資産管理平台,通過可視化的平台,實作了資料模型、中繼資料、資料生命周期和資料安全的統一管理,有效解決了之前困擾客戶的資料資源分散、資訊不公開、資料品質不高、資料黑盒化、安全管控不足和資料容量問題等。通過個性化的資料門戶,面向企業内部的不同使用者和開發人員,賦予不同權限的快捷查詢和實時檢索能力。

資料價值提升新模式:資料資産管理“AIGOV五星模型”

資料資産管理平台,輕松将企業級的資料标準、資料模型、中繼資料和資料品質實作整合和打通,以資料資産目錄、資料地圖等方式實作資産可視化和智能化,做到了:

● 集中式的中繼資料管理:實作資料來龍去脈和互相關系的可視化;

● 企業級多元度中繼資料視圖,提供可視化的展現、檢索和查詢,上下文的資料血緣關系分析,以及預覽資料處理和變更對全局的影響度分析;

● 中繼資料監控、稽核和版本管理能力,實作資料标準、中繼資料設計稿與實際業務系統之間的差異,防止中繼資料與實際系統之間出現“兩張皮”的現象,維護中繼資料的權威性和準确性;

● 資料安全管理:識别企業敏感資料分類,洞悉資料安全關鍵資料的分布;

● 資料生命周期管理:實時容量監控和趨勢分析,提升系統性能,降低運維成本;

● 個性化資料門戶:面向不同使用者,提供個性化門戶、便捷查詢和實時檢索。

總結

資料資産管理AIGOV五星模型,作為一個全新的資料管理方法論,必定會為大資料業界帶來一種全新的思維模式,也會給大資料産業帶來一種全新的助推能力。該模型随着中國資料資産管理峰會的傳播,将吸引國内外政府機構和企事業機關的資料人才進行學習和推廣,一方面能為行業儲備人才,另一方面可以促進大資料行業發展。在該模型不斷實施和推廣過程中,還會不斷發現和培育行業标杆,行業标杆進一步推動AIGOV五星模型更加完善,使行業和人才共同受益。

原文釋出時間為:2018-09-10

本文作者:程永新

本文來自雲栖社群合作夥伴“

DBAplus社群

”,了解相關資訊可以關注“

”。

繼續閱讀