天天看點

DAP資料分析平台數倉建設說明

作者:數通暢聯

企業資訊化建設會越來越完善,越來越體系化,當今資料時代背景下更加強調、重視資料的價值,以資料說話,通過資料為企業提升管道轉化率、改善企業産品、實作精準營運,為企業打造自助模式的資料分析成果,。

DAP資料分析平台主要是滿足在企業進行資料分析的過程中,進行等需要。通過DAP資料分析平台可以有效支撐企業建構資料倉庫,實作企業業務資料的清洗和彙聚,同時基于DAP平台的展現配置,可以根據業務主題建構相應的展現大屏,進而實作資料的可視化展現,為企業上司層的資料把控和營運決策分析提供支援。

整體介紹

DAP資料分析平台就是采集各個業務系統的資料,進行資料篩選(表和字段、資料)、品質校驗等步驟建立數倉,保證了資料标準性、完整性、準确性,進而實作企業業務資料的統一,通過來展現DAP資料分析平台的價值。

1.産品方案

首先介紹一下數通暢聯的産品體系:

DAP資料分析平台數倉建設說明

數通暢聯的所有産品都是通過K8S雲平台進行部署搭建産品環境,通過不同的産品組合方案來解決企業面臨的不同資訊化困境,幫助企業完善資訊化發展。

上圖所示通過,本次介紹的DAP資料分析平台就是此方案的核心,基礎資料進行主資料治理,DAP資料分析平台進行業務資料治理,通過ESB進行資料的內建,幫助整合企業資料,統一管理,提升企業的資料價值。

2.功能架構

是通過采集各個業務系統資料建構數倉,進而進行有效分析的過程,能夠真實、準确、有效地将企事業内部及行業外部相關資料進行可視化展現,幫助企事業提升行業洞察力,加強決策力,進而提升整體競争力。

DAP資料分析平台數倉建設說明

資料分析平台功能有:

1.(應用系統定義、資料源頭配置、ODS資料定義)。

2.(業務主題、次元配置、事實配置、模型配置、名額管理)。

3.(規則校驗、排程資源(同步資源、加工資源)、排程任務、排程日志(同步日志、加工日志)、品質日志、通知日志)。

4.(資料集配置、立方體配置、業務類報表、多元度分析)。

5.(導航管理、元件管理、展現主題、裝飾管理)。

6.(接收服務、查詢服務、統計服務、名額服務、業務服務)

7.(內建配置、資料管理、資料分發)

8.(标簽定義、标簽配置、标簽畫像)。

9.(資料地圖、品質分析、血緣分析、影響分析)。

10.(組織管理、角色管理、人員管理、功能管理、編碼類型、編碼管理、系統日志)。

本次講解的重點是數倉模型部分,建設資料倉庫的建設。

3.場景介紹

DAP資料倉庫的建設步驟是從業務系統到ODS,ODS轉換到數倉中的(到次元表、基礎事實表),彙總事實加工與ESB結合調用DAP接口建立ESB預置的內建流程,并且生成對應的資料調動,通過資料內建結合DAP功能進行上述資料治理,生成數倉模型,通過模型生成調動任務,。

DAP資料分析平台數倉建設說明

場景介紹

DAP資料分析平台通過資料治理幫助企業梳理各個業務系統業務資料,把系統需要梳理的業務資料同步到DAP的建立中間庫中,然後根據調研出來的分析名額,把ODS中間庫轉換到資料倉庫中。

1.次元配置

,主資料平台負責次元的統一以及各組織、項目等次元之間的映射等,是以次元表我們選擇ODS中來源主資料表,形成對應的次元表,為後續資料模型的關聯打下基礎,以組織次元表為例:

DAP資料分析平台數倉建設說明

2.事實配置

事實表分為兩類,一是基礎事實表(DWD),另一種是彙總的事實表(DWS),就拿人員基礎事實表為例。

是對業務系統基礎資料的外鍵進行處理,關聯我們的基礎資料,并對ODS的字段進行處理,并選取度量,主要是按照業務系統來建構。

是有分為橫向彙總和縱向彙總兩種彙總模式,橫向彙總就是通過度量字段進行SQL函數計算,縱向彙總就是對資料進行二次加功能,選擇縱向彙總點選儲存就會多出一個标簽,我們就可以進行新增計算表達,表達是一些字段加減乘除等。

DAP資料分析平台數倉建設說明

3.模型配置

次元表和基礎事實配置完成後,我們要進行的是模型的配置,模型主要是來關聯次元表以及事實表,在資料模型内選擇我們剛才建立的組織次元表和人員事實表,名稱是人員資訊模型,然後配置兩個表中的關聯關系,同時在我們模型配置處還可以跟據選擇的資料模型來生成對應的排程任務,但這個隻能是主動模型生成。

DAP資料分析平台數倉建設說明

次元配置

次元配置主要是通過ODS轉換到數倉來建立次元表的過程,然後根據資料排程進行資料同步。在這過程中我們可以進行品質校驗與加工等一系列操作。

1.功能說明

次元表一般來源是主資料,是,通過ODS到數倉內建流程同步到次元表中進行展示,次元表也有的是固定預置好的比如時間次元、城市等枚舉類次元是預置在DAP資料分析平台中。

2.功能配置

建立資料倉庫了,數倉分為次元表和事實表,下面介紹次元表配置:

DAP資料分析平台數倉建設說明

選擇ODS來源表:

DAP資料分析平台數倉建設說明

3.資料內建

資料從ODS到次元表,需要與ESB結合生成對應內建流程,就是下面我要講解的資料內建部分。

ODS到次元表資料內建,需要選擇ODS轉換到EDW:

DAP資料分析平台數倉建設說明

選擇維表:選擇要建立流程,選擇後點選finish:

DAP資料分析平台數倉建設說明

生成如下內建流程:

DAP資料分析平台數倉建設說明

1.初始化操作元件内容擷取入場資料。

2.查詢最新時間,查詢次元最新更新時間。

3.擷取校驗資訊。

4.循環進行校驗對比,如果校驗錯誤方法品質集合中,如果正确就放到資料集合中。

5.調用品質日志接口插入品質日志。

6.正确資料更新到次元表中。

7.建構排程日志集合。

8.插入調動日志。

事實配置

事實表通過ODS中基礎業務資訊表建立出來,,然後再根據次元和基礎事實表關聯進行彙總計算生成彙總事實表。

1.功能說明

通過事實配置事實表:事實表分為基礎事實表和彙總事實表,基礎事實表是ODS拉取到事實表中,一些字段需要與次元表關聯形成基礎事實表,彙總事實表是通過次元進行彙總計算形成彙總事實表。

2.功能配置

基礎事實表配置如下:

DAP資料分析平台數倉建設說明

彙總事實表配置如下:彙總事實表分為橫向彙總和縱向彙總,縱向彙總是通過SQL計算出名額值,橫向彙總是通過表達式進行二次計算。

DAP資料分析平台數倉建設說明

3.資料內建

基礎事實表生成流程:

DAP資料分析平台數倉建設說明

1.初始化操作元件内容擷取入場資料。

2.查詢最新時間,查詢基礎事實表最新更新時間。

3.擷取校驗資訊。

4.循環進行校驗對比,如果校驗錯誤方法品質集合中,如果正确就放到資料集合中。

5.調用品質日志接口插入品質日志。

6.正确資料更新到次元表中。

7.建構排程日志集合。

DAP資料分析平台數倉建設說明

1.初始化操作元件内容擷取入場資料。

2.查詢最新時間,查詢基礎事實表最新更新時間。

3.查詢彙總資料。

4.建構排程日志集合。

5.插入調動日志。

模型配置

資料模型是數倉的概念,是指有維表和事實表組成的關系結構。資料模型是建構資料名額的基礎。

1.功能說明

通過次元表和事實表的關聯建構數倉模型,通過數倉模型可以生産任務,通過任務來進行排程進而進行資料抽取,這個是數倉建設集資料內建的全部過程,也是一個閉環,通過數倉模型就可以建立名額、資料集/立方體,在通過名額、資料集/立方體對外釋出服務或者可視化展現,比如類等。

2.功能配置

資料倉庫搭建完,我們進行數倉模型的建立:

DAP資料分析平台數倉建設說明

主要配置次元表和事實表的關聯進行建構不同的資料模型:

DAP資料分析平台數倉建設說明

3.功能應用

因為模型是通過次元表和事實表關聯出的資料模型,是以能夠找到對應排程資源,是以通過模型就可以生成排程任務。

DAP資料分析平台數倉建設說明

心得總結

在實際應用中,資料分析可幫助人們做出判斷,以便采取适當行動,是以資料一定是标準的、完整的、準确的資料,通過上述品質校驗功能把業務系統中不正确的資料過濾掉、調整後,,這樣分析出來的資訊才能正确引導公司的發展。

1.産品結合

有效的解決方案一定根據企業自身業務情況來進行産品的組合拆分打造出來,通常與ESB企業資料總線産品結合進行,。

通過資料內建能夠快速地幫助企業建設自己數倉,幫助企業把一些淩亂的資料進行整合彙總,提升企業資料價值,提供一個決策分析用的工具,幫助決策人員更好地制定企業政策,或找出企業的潛在問題,提高客戶滿意度,最終提高企業競争力。

2.産品價值

通過本次資料模型的建設進行梳理企業業務資料,進而進行資料治理,使資料具有準确性,快速幫助企業建立資料的集合,所有的資訊都可以從資料倉庫直接擷取。通過資料可視化,業務組織可以提高他們在需要時查找所需資訊的能力,并且比其他公司更高效地完成這些工作。

3.産品發展

産品不管怎麼發展都是一個目的,那就是解決每個階段企業面臨的困境,幫助企業完善資訊化發展,能夠抓住每個企業的業務痛點,這樣才能展現出産品的價值,一款好且穩定的産品可以幫助從業人員快速而友善得工作,大大提高了工作效率,也會讓客戶滿意,增加客戶對公司的信任度。

可以對采集到的所有海量資料進行分析,分析用的資料有由采樣資料擴充至全部資料;其次,分析用的資料源,大資料可以将不同領域的資料組合後進行分析。再次,資料基于有關關系的資料源相同可以分析預測出正确的結果。

本文由@數通暢聯原創,歡迎轉發,僅供學習交流使用,引用請注明出處!謝謝~

繼續閱讀