http://www.uml.org.cn/bigdata/202107211.asp
|
前言
随着資訊革命和資訊化的飛速發展，計算機資料量的急劇增長，資料利用和管理的重要性與日俱增，資料逐漸在資訊化這個大舞台上扮演着越來越重要的角色。資料治理是企業大資料基礎，企業級資料平台助力企業數字化轉型。
在目前數字化轉型大趨勢的推動下，企業資料治理的需求迫在眉睫。為了促進企業有序開展資料治理工作，進一步厘清企業轉型更新的主要痛點和關鍵需求。本篇文章根據《資料治理：工業企業數字化轉型之道》核心内容整理，希望在資料治理方面的理論介紹及實踐經驗，能為衆多企業在資料治理的研究和實踐中提供參考和借鑒價值，以期達到少走彎路，減少探索，打好基礎，快速取勝的效果。
資料治理背景和挑戰
資料治理知識體系涉及管理、技術等多個學科領域，是一個非常複雜的系統工程，如何全面而系統地建構較為完整的資料治理體系，是企業實施資料治理的關鍵課題。
從宏觀角度，資料治理是指全球治理，即在大資料時代，以國家、國際組織、多利益攸關方等為主體，對資料權利、流通、管理等方面的治理。
從中觀角度，資料治理是指公共治理，即區域和國家對其主權範圍内的資料品質、權屬、流動機制等方面的宏觀管理。
從微觀角度，資料治理是指對資料資産行使權力控制的活動集合。
不同的行業資訊化發展水準不一樣，其對資料的依賴程度不一樣，資料治理水準也不一樣。
1、各國的大資料狀況
根據國際資料公司（IDC）2018年年末的測算，2025年，中國将成為全球五個分區中，最大的資料資源擁有地區（占比為28%，資料總量為49ZB），其資料總量将是美國（排名第四，占比18%的1.56倍。這五個分區是：1）中國；2）歐洲、中東、非洲地區（EMEA）；3）亞太國家，指除中國之外的、包括日本在内的亞太地區所有國家（APJxC）；4）美國；5）世界其他地區。
實際上，2019年，中國的資料總量已經超過了美國。但是，中國工業企業的資料資源存量普遍不大，寶貴的資料資源由于缺乏科學的資料管理而随意流失；工業企業資料總量低下，與企業規模極不相稱；半數以上的工業企業仍在使用紙質或更原始的方式進行資料的存儲和管理；資料孤島幾乎是所有工業企業都面臨的困境。此外，無論是資料管理還是資料治理，中國工業企業的狀況也不容樂觀。調查顯示，僅有37.84%的大型工業企業、46.67%的中型工業企業、13.64%的小型工業企業開展了資料管理工作；大多數工業企業缺乏專門的資料管理部門，投入資料管理的人、财資源也非常有限，更談不上頂層規劃和戰略管理。
2、工業企業資料治理面臨的挑戰
工業領域資訊化起步相對較晚，工業資料也更為複雜，涉及研發、生産、管理、運維、服務等多個環節，因而資料管理工作的推進也相對滞後。
（1）資料基礎薄弱。我國工業企業的資料資源存量普遍不大，調查顯示，66%的企業資料總量都在20TB以下；管理手段比較落後，51%的企業仍在使用紙質或更原始的方式進行資料的管理。資料孤島幾乎是所有企業都面臨的困境。
（2）資料治理滞後。資料管理缺失，技術手段落後，導緻企業資料品質難以得到保障，資料共享困難，資料的價值不能得到充分的挖掘和變現。
（3）資料價值難以量化評估。資料治理投入大，短期内很難看到成效，而資料價值的評估又很難量化。是以，很多企業投入資料治理的意願不大，這反過來又影響了企業資料的使用。
3、資料治理是工業大資料的基礎
工業大資料差別于其它行業大資料是由智能化時代需要人機協同的特點所決定的。它不僅有企業經營資料、人的行為資料，更重要的是來自于傳感器采集的裝置海量資料。其主要特點如下：
資料來源的多樣性，既有經營管理的資料，也有客戶行為畫像的資料，更有多種裝置狀态、控制資料。資料的實時性，生産現場的資料具有連續性、實時性、資料海量的特點。這就要求資料的采集、清洗、存儲和處理的技術不一樣，尤其是需要實時分析。
工業機理的複雜性對知識圖譜的建構提出了很高的要求，相應地資料之間的相關性分析非常重要。要圍繞産品全生命周期、企業全價值鍊甚至産業鍊去建構。
4、國家層面對資料治理越來越重視
中共中央、國務院《關于建構更加完善的要素市場化配置體制機制的意見》首次将“資料”作為新型生産要素，與土地、勞動力、資本、技術等傳統要素并列為要素之一，提出要加快培育資料要素市場，對企業數字化轉型有着極其重要的意義。國資委《關于加快推進國有企業數字化轉型工作的通知》,明确提出建構資料治理體系，加快集團資料治理體系建設，明确資料治理歸口管理部門，加強資料标準化、中繼資料和主資料管理工作，定期評估資料治理能力成熟度,為國有企業數字化轉型指明發展方向，描繪數字藍圖，規劃轉型路徑,提出具體要求。然而随着資訊技術的發展，目前在資料治理方面存在資料定義不規範、資料血緣關系不清晰、資料沖突、資料品質不高等問題和不足，亟需加快解決和完善。
二、資料治理的架構和核心内容
不同層級的人對資料治理的關注點不一樣，是以各自的視圖也不一樣，下面分别從管理者視圖、技術者視圖、資料資産管理者視圖逐一介紹。
資料治理的的管理者視圖可以概括為“五域模型”，分為“管控域”、“過程域”、“治理域”、“技術域”、“價值域”
圖1、管理者視角-資料治理五域模型
管控域：在資料治理戰略指導下制訂企業資料治理組織，明确組織的責、權、利，崗位編制及技能要求。
治理域：是資料治理的主體，明确資料治理的對象和目标。
技術域：資料治理的支撐手段，指的工具平台。
過程域：是資料治理的方法論。
價值域：資料治理的目标就是通過對資料資産的管控挖掘資料資産的價值，并通過資料的流動、共享、交易變現資料資産。
圖2、技術視角：企業大資料治理實踐指南架構
工業資料治理體系，包括資料戰略、資料治理管控體系（資料治理組織、制度、流程、管控機制、績效體系及标準體系）、資料架構、主資料、中繼資料、名額資料、時序資料、資料品質、資料安全、資料內建與交換、資料開放和共享、資料資産管理能力成熟度評估以及資料價值、資料共享、資料變現等許多方面。
圖3、工業企業資料治理車輪圖
本文重點從資料戰略、資料管控（組織管理、制度體系、流程管理及績效）、三個核心體系（資料标準體系、資料品質體系、資料安全體系）和工具等重點介紹。
圖4、工業企業資料管控和三個核心體系
1、資料戰略
資料戰略是整個資料治理體系的首要任務，是企業開展資料治理工作首先應該考慮的事。資料戰略應由資料治理組織中的決策層制定，需要指明資料治理的方向，包括資料治理的方針、政策等。
資料戰略能力域關注整個組織資料戰略的規劃，願景和落地實施，為組織資料管理、應用工作的開展提供戰略保障，組織的資料戰略需要和業務戰略保持一緻，并且要在利益相關者之間達成一緻。
資料戰略已成為企業精細化資料管理不可或缺的基礎，隻有切實落實好資料戰略工作，才能提升企業資料品質、實作企業資料價值升華，為企業數字化轉型奠定基礎。
資料資産頂層設計不僅僅是一個報告、一份檔案，更是企業系統性設計未來的大膽假設、小心求證、集體溝通、達成共識、形成機制、頒發軍令狀的過程。
圖5、資料資産頂層規劃設計方法論
正确的頂層設計是企業家對未來形勢的正确判斷，對機會和戰略，治理與架構，資本和模式，供應鍊和數字化，品牌和營銷，産品和客戶等整體一盤棋的布局。如果說商戰就是沒有硝煙的戰争，那麼頂層設計則是整體戰的部署
2、組織管理
建立合适的資料治理組織是企業資料治理的關鍵。資料治理的組織建設一般包括組織架構設計、部門職責、人員編制、崗位職責及能力要求、績效管理等内容。資料治理是一項需要企業通力協作的工作，而有效的組織架構是企業資料治理能夠成功的有力保障。為達到資料戰略目标，非常有必要建立體系化的組織架構，明确職責分工。
圖6、某集團資料治理組織架構設定範例
圖7、某央企資料治理組織架構設定範例
3、制度體系
企業的資料治理必須要有相關制度，否則無法可依，再好的技術工具也沒有用。是以，建立完善的資料治理制度很重要。
保障組織架構正常運轉和資料治理各項工作的有序實施，需要建立一套涵蓋不同管理粒度、不同适用對象，異覆寫資料治理過程的管理制度體系，從“法理”層面保障資料治理工作有據、可行、可控。資料治理制度架構分為政策、制度、細則、手冊4個梯次。
圖8、資料治理制度架構
企業的資料治理制度通常根據企業的IT制度的總體架構和指導原則制定，往往包含資料品質管理、資料标準管理、資料安全管理、資料績效管理等制度，以及中繼資料管理、主資料管理、交易資料管理、資料名額管理等辦法及若幹指導手冊。
圖9、資料治理制度架構體系
圖10、資料資産管理規定目錄
4、流程管理
制定資料治理的流程架構也是資料治理的重要工作。
資料治理流程主要包括從資料的生産、存儲、處理、使用、共享、銷毀全生命周期過程中所遵循的活動步驟，以及中繼資料管理、主資料管理、資料名額管理等流程。
圖11、資料治理流程架構體系
5、績效管理
資料治理考核是保障資料治理制度落實的根本，是一種正式的員工評估制度，通過系統的方法、原理來評定和測量企業員工在一段時間内資料治理相關的工作行為和工作效果，進一步激發員工的積極性和創造性，提供員工的資料治理責任心和基本素質。
圖12、資料治理績效體系
要使資料治理的體系運轉好，必須要有好的激勵體系。資料績效管理包括資料管理名額、資料認責機制、資料考核标準、資料管理的獎懲機制，以及績效管理過程的一系列活動集合。
6、标準體系
資料标準是實作資料标準化、規範化的前提，是保證資料品質的必要條件。
資料标準一般分為中繼資料标準、主資料标準、交易資料标準、資料名額标準、資料分類标準、資料編碼标準、資料內建标準等内容。資料标準管理是規範資料标準的内容、程式和方法的活動，分為标準制定、标準實施和控制、标準修訂等。
圖13、資料标準化體系
7、品質體系
資料品質是指資料的适用性，描述資料對業務和管理的滿意度。資料品質主要指資料的準确性、及時性、完整性、唯一性、一緻性，有效性六個方面。
資料品質管理是對資料的分析、監控、評估和改進的過程。包括規劃和實施品質管理技術，以測量、評估和提高資料在組織内的适用性，提高資料對業務和管理的滿足度。重點關注資料品質需求、資料品質檢查、資料品質分析和資料品質提升的實作能力。
圖14、資料品質架構體系
資料品質管理貫穿資料生命周期的全過程，除了明确資料品質管理的政策，還要善于使用資料品質管理的手段及工具，覆寫資料品質需求、資料探查、資料診斷、品質評估、資料監控、資料清洗、品質提升等方面。
8、安全體系
資料安全管理是為了確定資料隐私和機密性得到維護，資料不被破壞，資料被适當通路。通過采用各種技術和管理措施，保證資料的機密性、完整性和可用性。
資料安全體系架構通過3個次元建構而成，包括政策法規、技術層面和安全組織人員。資料安全治理體系架構在符合政策法規及标準規範的同時，需要在技術上實作對資料的實時監管，并配合經過規範教育訓練的安全組織人員，構成了資料安全治理整體架構的建設。
圖15、資料安全治理體系
資料安全治理能力建設并非單一産品或平台的建構，而是建設一個覆寫資料全部生命周期和使用場景的資料安全體系，需要從決策到技術，從制度到工具，從組織架構到安全技術通盤考慮。
圖16、資料資料全部生命周期
9、平台工具
搭建雲數智一體化資料平台，滿足前台應用準确性、快速性和多樣性的資料需求，縮短研發周期、降低技術成本，将資料中心逐漸由成本中心向資産中心轉變，提升資料價值，實作五個打通：
（1）橫向打通：破除部門壁壘，打通專業。橫向跨專業間的分析挖掘融通；
（2）縱向打通：内部多層級資料打通，形成統一資源目錄。上下級資料共享交換；
（3）内外打通：消除内外資料的鴻溝，實作内外部資料的關聯分析；
（4）管理打通：建立企業标準，實作統一管理統計口徑；
（5）服務打通：資料中台統一對外提供資料服務和應用建構，與業務系統和資料應用充分協同。
圖17、兩體系兩平台一服務的資料平台總體架構
面向資料全生命周期，提供的一站式資料規劃、內建、開發、治理、服務、應用等産品。資料平台能力架構：5個次元（采、聚、理、用、保），7個功能層次。
圖18、資料平台能力架構
從資料接入整合能力、資料共享應用能力、資料綜合管理能力、基礎元件支撐能力四方面，全面建設資料能力，培育能力體系，實作資料接入、存儲計算、資料分析、資料服務、資料資産管理、營運管理等功能，以多類型大資料量的彙聚為基礎，以統一模型為标準，為前端應用提供靈活的統一資料服務。
圖19、資料平台四大支撐能力
資料平台是通過企業内外部多源異構的資料采集、治理、模組化、分析，應用，使資料對内優化管理賦能業務，對外可以資料合作價值釋放，成為企業資料資産管理和服務中樞。
大資料治理需要多種資料治理工具軟體的支撐，包括以主資料為核心的套裝軟體、以資料資産目錄為核心的資料資源管理工具、以中繼資料和資料模型為核心的資料中台，此外還有時序資料、資料交換等。這些工具互有側重，需要根據實際需求予以剪裁。
資料治理管理工具包括資料架構工具、中繼資料管理工具、資料名額管理工具、主資料管理工具、時序資料管理工具、資料交換與服務工具、品質管理工具和安全管理工具等。
圖20、資料治理工具集
圖21、以中繼資料治理為核心的資料治理工具
主資料服務業務視圖包括8個業務域、32個業務子域及相關業務活動，主資料管理工具是主資料全生命周期管理的平台，也是主資料标準、運維體系落地的重要保障。本章從主資料标準管理、主資料代碼管理、主資料清洗校驗、主資料生命周期管理、主資料品質管理、主資料應用評價、主資料全景圖，主資料應用需求管理、業務需求等。
圖22、以主資料治理為核心的資料治理工具
主資料治理平台是企業資料規劃、資料标準落地的載體，實作資料治理統一标準、統一規則的支撐
主資料治理平台是有效實施主資料、中繼資料、資料名額管理，提供規範統一的主資料服務的平台
主資料治理平台是實作資料從産生到應用，分層協同、全面治理的核心
圖23、主資料管理工具-邏輯架構
四、人工智能是大資料治理核心方向
“無治理、不分析”，沒有高品質的資料，就不會有可信的AI。資料治理是人工智能基礎，能夠為人工智能提供高品質的資料輸入。而人工智能是一種技術，它不僅僅是在資料應用端産生作用，在資料的管理端同樣需要人工智能。有了人工智能加持，資料治理将變得更加高效和智能。相信未來，人工智能和資料治理将會擦出越來越多的火花。
人工智能技術在資料采集、資料模組化、中繼資料管理、主資料管理、資料标準、資料品質及資料安全等領域有着深入的應用。
圖24、人工智能技術在資料治理中的應用
結束語
資料治理的發展是伴随着不同行業對資料資源資産化、資料确權與合規、資料價值創造與共享、隐私保護的認識、研究和實踐的一個演進過程，目前，随着資料治理理論體系的逐漸完善，技術方法和工具的日趨成熟，資料治理被越來越多的企業學習了解和實際應用。
資料治理是一項繁雜、長期的工作，需要工匠精神、锲而不舍。