天天看點

基于中繼資料的資料治理分析功能說明

作者:數通暢聯

資料對于企業來說是非常重要的,因為企業資料需要,是以需要資料治理。MDM基礎資料平台是對各個業務系統的主資料進行治理,而各個業務系統中的業務資料則需要在DAP資料分析平台進行治理。

DAP資料分析平台通過與ESB應用內建平台結合使用場景主要是通過配置排程任務,通過執行排程任務調用ESB資料同步流程,實作資料的采集、校驗、轉換、傳輸、排程等操作,基礎資料為DAP提供同源并标準的、一緻的資料保障資料分析分析資料的準确性,而。

整體介紹

DAP資料分析平台就是采集各個業務系統的資料,進行資料篩選(表和字段、資料)、品質校驗等步驟建立數倉,保證了資料标準性、完整性、準确性,進而實作企業業務資料的統一,通過資料可視化展現、資料服務來展現DAP資料分析平台的價值。

1.産品體系

首先介紹一下我們數通暢聯的産品體系:

基于中繼資料的資料治理分析功能說明

我們數通暢聯的所有産品都是,通過不同的産品組合方案來解決企業面臨的不同資訊化困境,幫助企業完善資訊化發展。

上圖所示通過DAP資料分析平台+MDM基礎資料平台+ESB企業服務總線組成了資料中台方案,本次介紹的DAP資料分析平台就是此方案的核心,基礎資料進行主資料治理,DAP資料分析平台進行業務資料治理,通過ESB進行資料的內建,幫助整合企業資料,統一管理,提升企業的資料價值。

2.産品說明

資料分析平台全生命周期是,進而進行有效分析的過程,能夠真實、準确、有效的将企事業内部及行業外部相關資料進行可視化展現,幫助企事業提升行業洞察力,加強決策力,進而提升整體競争力。

基于中繼資料的資料治理分析功能說明

資料分析平台功能有:

1.資料來源(應用系統定義、資料源頭配置、ODS資料定義)數倉模型。

2.數倉模型(業務主題、次元配置、事實配置、模型配置、名額管理)。

3.資料排程(規則校驗、排程資源(同步資源、加工資源)、排程任務、排程日志(同步日志、加工日志)、品質日志、通知日志)。

4.分析模型(資料集配置、立方體配置、業務類報表、多元度分析)。

5.展現模型(導航管理、元件管理、展現主題、裝飾管理)。

6.資料服務(接收服務、查詢服務、統計服務、名額服務、業務服務)

7.算法模型(算法配置、标簽管理、算法日志)。

8.統計分析(資料地圖、品質分析、血緣分析、影響分析)。

9.系統管理(組織管理、角色管理、人員管理、功能管理、編碼類型、編碼管理、系統日志)。

3.資料治理

,資料治理是通過ODS定義功能篩選業務系統表,在從ODS選擇次元表和基礎事實表,進行資料的校驗清洗,保證次元表和基礎資料中的資料是完整的、準确的,這樣在進行彙總事實表加工,這樣就建立起了數倉,并通過數倉中建立數倉模型,通過數倉模型建立想要資料集、立方體、報表等分析模型。

基于中繼資料的資料治理分析功能說明

功能場景

業務資料治理需是從資料源頭到數倉建設、在通過模型建立分析模型,這個過程是很複雜的,是以通過血緣分析和影響分析幫助客戶清晰便捷的檢視或者調整對應功能中。

1.場景介紹

血緣分析和影響分析,通過血緣分析和影響分析功能能夠清晰檢視數倉建設、資料的來源和去向,可以檢視每個功能子產品的每個操作步驟,把整體功能關聯關系準确呈現出來,讓使用者能夠把控好全局。

基于中繼資料的資料治理分析功能說明

2.血緣分析

血緣分析是,通過血緣分析能夠清晰地查詢到模型來源有哪些維表、事實表,檢視到來源表(次元表、基礎事實表、彙總事實表)的字段、檢視到有哪些中間庫表,檢視到有哪些來源系統。

基于中繼資料的資料治理分析功能說明

3.影響分析

影響分析是,比如一個模型它有哪些資料集立方體使用,然後它哪些導航、哪些頁面、哪些元件執行個體所用到,進而分析它們的關聯關系。

基于中繼資料的資料治理分析功能說明

血緣分析

血緣分析是對其來源進行查詢,通過血緣分析能夠清晰地查詢到配置所用字段來源那些表、哪個來源系統。

1.功能說明

血緣分析:進入(中間是模型、下面是應用系統、上面是資料表,點選應用系統,下面是資料表,點選資料關系圖上面高亮顯示,點選資料表,下面清單顯示字段,輕按兩下字段彈出影響支脈圖)。

2.技術要點

在建立ODS時候插入下面表裡一條資訊(邏輯主鍵、ODS的ID)。在數倉建設時候進行更新這個表(次元表ID或者事實表ID、數倉資源類型),然後建立模型的時候更新下面表元件(模型ID)。

ODS關聯數倉表關聯模型表:

基于中繼資料的資料治理分析功能說明

3.功能展示

血緣分析首頁面屬于清單頁:。右側顯示模型,顯示字段:模型編碼、模型名稱、模型分組、來源表個數、來源字段個數。

基于中繼資料的資料治理分析功能說明

點選模型進入分析頁面:,點選分析模型進入分析首頁展現形式采用血緣關系圖的方式:

1.中間是對應分析模型。

2.下面是來源應用系統。

3.上面是模型關聯的資料

點選應用系統下面是對應的關聯資料表對象資訊。

1.點選資料表關系圖上面的資料表高亮顯示。

基于中繼資料的資料治理分析功能說明

點選上面資料表,下面顯示對應表的字段資訊。

基于中繼資料的資料治理分析功能說明

3.選擇一條資料表然後點選檢視引用按鈕,彈出影響支脈圖。

基于中繼資料的資料治理分析功能說明

影響分析

影響分析是對其所用的功能進行查詢,比如一個模型它有哪些資料集立方體使用,然後它哪些導航、哪些頁面、哪些元件執行個體所用到,進而分析它們的關聯關系。

1.功能說明

影響分析:進入(中間是模型、下面是立方體、上面是頁面,點選立方體,下面是2個标簽,一個是立方體字段、一個是資料集字段,點選頁面,下面顯示的是元件輕按兩下字段或者元件彈出影響支脈圖,點選不同顯示不同支脈)。

2.技術要點

在建立模型時候插入下面表裡一條資訊(邏輯主鍵、模型ID)。然後通過資料集選擇模型時候更新這個表(資料集ID),然後元件執行個體選擇元件資料集的時候更新下面表元件(元件執行個體ID)。

模型關聯資料集元件執行個體表。

基于中繼資料的資料治理分析功能說明

3.功能展示

影響分析首頁面屬于清單頁:。

右側顯示模型,顯示字段:模型編碼、模型名稱、模型分組、頁面個數、元件執行個體個數。

基于中繼資料的資料治理分析功能說明

點選模型進入分析頁面:,點選分析模型進入分析首頁展現形式采用影響分析關系圖的方式:

1.中間是對應分析模型。

2.下面是立方體。

3.上面是頁面。

基于中繼資料的資料治理分析功能說明

點選立方體下面是立方體字段和資料集資訊對象資訊。

基于中繼資料的資料治理分析功能說明

點選上面資料表,下面顯示對應表的字段資訊。

選擇一條資料表然後點選擊檢視引用按鈕,彈出影響支脈圖。

基于中繼資料的資料治理分析功能說明

資料治理

資料治理過程主要說的就是資料從業務系統到ODS中間庫,再到數倉建設(次元表、基礎事實表、彙總事實表),基于數倉建立資料模型,最後形成相應的資料集立方體的過程。

1.資料來源

資料來源是就對各個業務系統的定義、各個業務系統資料庫和ODS、數倉資料庫的配置,通過各個業務系統來擷取表建立ODS,通過血緣分析能夠檢視到ODS來源有哪些應用系統、使用那些資料庫。

應用系統定義:

基于中繼資料的資料治理分析功能說明

資料庫配置選擇來源那些應用系統:

基于中繼資料的資料治理分析功能說明

這樣在建立ODS後,在ODS中就可以看到來源那些應用系統:

基于中繼資料的資料治理分析功能說明

2.數倉模型

數倉模型是從ODS到數倉,分别是ODS到次元表、ODS到基礎事實表、然後進行彙總事實表加工處理,然後通過這些表建立模型,這個過程也可以通過血緣分析功能注冊到了關聯表中,這樣。

次元表配置:

清單頁面:

基于中繼資料的資料治理分析功能說明

編輯頁面:

基于中繼資料的資料治理分析功能說明

基礎事實表配置:

清單頁面:

基于中繼資料的資料治理分析功能說明

編輯頁面:

基于中繼資料的資料治理分析功能說明

彙總事實表:

基于中繼資料的資料治理分析功能說明

通過上述建立的表建立資料模型。

基于中繼資料的資料治理分析功能說明

通過資料模型能檢視到引用資訊:

基于中繼資料的資料治理分析功能說明

3.分析模型

分析模型是通過資料模型建立的資料集、立方體和報表分析模型,通過血緣分析和影響分析能夠檢視到來源資料模型和使用元件執行個體。

資料集配置:

可以檢視到來源那個資料模型。

基于中繼資料的資料治理分析功能說明

支援跳轉到對應資料模型功能:

基于中繼資料的資料治理分析功能說明

可以檢視使用資料集所被那些元件引用:

基于中繼資料的資料治理分析功能說明

立方體來源是資料集:

基于中繼資料的資料治理分析功能說明

心得總結

在實際應用中,資料分析可幫助人們做出判斷,以便采取适當行動,是以,通過上述品質校驗功能把業務系統中不正确資料過濾掉、調整後,使數倉中的資料具有可用性,這樣分析出來的資訊才能正确引導公司的發展。

1.産品作用

血緣分析、影響分析是,檢視數倉建設全生命周期,了解建設東西把握它們的關聯關系,進而保障數倉建設的完整性、正确性,提高資料分析的價值,幫助企業有效的進行決策分。

DAP資料分析平台就大大加強了資料治理這塊,加強資料應用,通過本文所講的品質校驗功能,,這樣無論資料服務和資料可視化展現都會提升企業資料價值。

2.産品應用

資料分析平台應用分為的提供,通過資料可視化,業務組織可以提高他們在需要時查找所需資訊的能力,也通過資料服務對外提供服務,業務系統可以通過服務抽取資料來保證系統的運作,企業中資料統一管理,統一規劃。

DAP資料平台是我們資料中台的一部分,資料中台也是看作dPaaS,通過PaaS建構SaaS,PaaS平台可以根據自身優勢采用與SaaS應用合作的模式,最終讓SaaS應用的傳遞結果更具有行業适配能力。

3.産品發展

在未來企業數字化轉型中“”成為企業數字化轉型的IT建設新模式,通過dPaaS(DAP資料分析平台+MDM主資料管理平台+ESB企業服務總線)整合各個業務系統資料,這樣為SaaS應用合作的模式打下堅實基礎,就可以幫助企業快速穩健數智化更新轉型來提升它們的商業價值。

DAP還可以通過資料檢索可以搜尋到不同主題、不同類型的業務資料(比如:文檔類的資料),數倉資料進行機器學習進行計算,通過計算讓客戶了解企業了解企業發展趨勢,未來走向,通過資料報告配置出企業會議的PPT演講報告,進而提高企業的資料價值。

本文由@數通暢聯原創,歡迎轉發,僅供學習交流使用,引用請注明出處!謝謝~

繼續閱讀