天天看點

資料分析平台重點示範内容梳理

DAP資料分析平台作為公司核心産品,其價值在于能将企業業務資料進行抽取彙聚,建立企業資料倉庫,能夠真實、準确、清晰、有效地将企業内部及外部行業資料進行可視化展現,幫助企業提升行業洞察力。

作為一個以産品、方案為主要核心的公司,公司員工本身對于産品一定是不陌生的,但是想要做好産品示範單單了解産品是不夠的,還需要自身對示範過程反複地練習,示範中要能夠突出産品的亮點,要能夠調動客戶的興趣,在示範産品的同時還需要對行業内其它相同的産品有所了解,在示範過程中突出自身産品亮點,揚長避短。 

1整體說明 

本章主要對資料中台中典型的資料治理分析方案進行介紹,包括對資料治理分析方案進行整體介紹,接下來對MDM+ESB+DAP三款産品的內建架構以及配合方式進行說明,最後對資料中台資料治理分析方案的示範步驟進行整體介紹。 

1.1産品方案 

DAP資料分析平台可以結合MDM主資料管理平台、ESB企業資料總線形成資料中台/資料治理分析方案,該方案主要通過系統資料挖掘資料的價值,主資料平台進行基礎資料的治理保證次元的統一,而DAP資料分析平台則分析各個業務系統的資料,按照主題名額進行分析,ESB則負責資料的資料內建以及應用內建。 

資料分析平台重點示範内容梳理

各個産品的主要功能如下: 

1.DAP資料分析平台:結合ESB從各系統進行資料抽取、加工、轉換,并彙聚存儲到數倉中,基于數倉通過圖形化、拖拽式配置建構分析主題,實作快速、精準分析,支援上司層的決策。 

2.MDM主資料管理平台:對企業中的主資料進行集中管理,統一進行清洗、校驗和豐富,建立統一、标準、完整的主資料體系,并為其他系統提供标準的主資料,同時為DAP提供基礎資料支援; 

3.ESB企業服務總線:從各個系統抽取主資料并同步至MDM平台,支援主資料校驗、清洗和彙聚,并配合MDM平台進行主資料分發; 配合DAP平台建立業務資料同步流程,支援資料倉庫的建設。 

1.2數倉架構 

DAP資料分析平台整體分為兩個部分,資料倉庫及資料BI,資料倉庫的建構往往是基于平台的,資料平台或者基礎架構搭上,已經融合到整個基礎設施的搭建上,數倉整體架構如下: 

資料分析平台重點示範内容梳理

資料倉庫層是我們在做資料倉庫時要核心設計的一層,從ODS貼源層中獲得的資料按照主題建立各種資料模型。DW層又細分為DWD層、和DWS層兩種層面。 

資料明細層:DWD(Data Warehouse Detail)層一般保持和ODS層一樣的資料粒度,主要提供一定的資料品質保證。主要是對ODS内的資料按照主題進行劃分,并且對資料進行資料的清洗,同時,為了提高資料明細層的易用性,該層會進行次元的提煉,将次元整合至次元表中,使DWD層的資料均采用黃金編碼。 

資料彙總層:會在DWD層的資料基礎上,對資料做一些聚合操作,形成DWS聚合。生成一系列的中間表,提升公共名額的複用性,減少重複加工。同時也會做一部分的資料聚合,将相同主題的資料彙集到一張表中,提高資料的可用性。簡單來講,就是對基礎表的基礎名額進行計算,按照通用的核心次元進行聚合操作,算出相應的統計名額,一般來說聚合分為兩類,一類是橫向的聚合,另一類為縱向的聚合,對基礎事實表的名額進行彙總。 

1.3示範重點 

資料分析平台整體示範方案示範重點内容如下: 

1.BIZ至ODS同步:源庫讀取、流程同步、接口同步三種資料同步方式場景預制; 

2.資料模型:維表、基礎事實表、彙總事實表及模型配置; 

3.排程任務配置:排程任務定時、手動、事件三種排程方式配置; 

4.分析模型配置:資料集、立方體、多元分析報表及綜合業務報表配置; 

5.基于資料集、立方體及名額配置元件; 

6.配置資料查詢服務、接收服務、統計服務; 

7.統計分析:資料地圖、品質分析、影響分析、血緣分析功能介紹; 

8.配置資料大屏、分析主題,并配置元件之間的關聯、穿透,穿透包含三種穿透方式。 

2效果先行 

DAP資料分析平台展示頁面分為PC端、移動端以及大屏展示端,通常來說首先需要PC端通常按照主題域劃分,展示集團各主題及具體詳細資訊,而移動端則與企業微信、釘釘等結合進行移動端展示,大屏是将PC端核心業務名額進行抽取進行核心業務名額展示。 

2.1主題展示 

重點内容:各主題域劃分、元件穿透、關聯、報表導出功能。 

在資料分析時通常建議按照主題域劃分,例如銷售主題、财務主題、人事主題等,而主題是跨業務系統的,每個主題又是基于資料模型通過元件,例如條形圖、柱狀圖、散點圖、雷達圖等進行可視化展示,各主題可以進行條件穿透,任意元件可以通過點選跳轉到二級看闆或者三級報表,在穿透後會自動攜帶條件進行資料過濾展示,在穿透表格頁面或者報表頁面可以基于資料進行二次圖表建構。 

2.2移動展示 

重點展示:移動端效果展示及與企業微信、釘釘等內建。 

移動端展示通PC端展示一樣,主要展示各主題元件,展示對應人事主題、财務主題、銷售主題等資料資訊,同樣各主題也可以進行條件穿透,穿透至對應二級詳情頁面及報表頁面,同時說明移動端可以與企業微信及阿裡釘釘等軟體相結合展示。 

2.3大屏展示 

重點内容:各主題核心業務名額篩選,并以大屏方式(炫酷)展示。 

DAP資料分析平台還對企業營運情況配置各個大屏,例如經營大屏、項目大屏以及集團大屏、财務大屏等等,為企業提供營運決策,展示産品效率排行、營銷能力排行、應收金額等等,在大屏示範時需要與使用者說明大屏不可進行條件穿透,是将企業核心業務名額進行抽取,并結合大屏主題裝飾進行可視化展示。 

3基礎配置 

在DAP資料分析平台進行分析使需要将外部系統資料庫在資料分析平台進行注冊,并跟據實際需求對主題進行劃分,同時在資料排程的過程中需要基于ESB生成對應的排程資源,現将基礎配置進行說明如下。 

3.1業務系統定義 

業務系統注冊主要是對需要DAP資料分析平台自身數倉、ODS以及各個資料來源的業務系統進行資料庫注冊,便于分析平台進行資料處理的操作,可以在業務系統注冊子產品進行資料庫資訊注冊。 

資料分析平台重點示範内容梳理

在各業務系統内進行資料源的注冊即可。 

3.2資料源頭注冊 

重點内容:資料源頭注冊以及多種類型資料庫存儲。 

注冊完成業務系統過後,DAP的資料采集分為兩種形式,可以通過接口擷取資料,同時也可以跟據直接讀取業務系統資料庫擷取資料,資料源頭需要在DAP資料分析平台進行資料源頭配置,隻要是支援JDBC的資料庫均可在DAP進行資料源頭的注冊,同時DAP系統内的數倉以及ODS也是在此處注冊,通常是使用PostgreSQL。 

3.3ODS資料定義 

重點内容:ODS資料為貼源層,說明ODS層為對資料表進行挑選及ODS內建流程自動生成。 

ODS層是最接近資料源中資料的一層,資料源中的資料,經過抽取、清洗、傳輸(ETL/ESB)裝入ODS庫。ODS的資料,總體上大多是按照源頭業務系統的分類方式而分類的。 

資料分析平台重點示範内容梳理

一般來講,為了考慮後續可能需要對資料追根溯源,是以對于這一層不建議做過多的資料清洗工作,原封不動地接入原始資料即可,并且為資料拉取或定義時間戳,友善ODS-DW的資料增量同步。至于資料的清洗、去重、異常值處理等過程可以放在後面的DW層來做,從業務系統抽取到資料到ODS層通常是來篩選需要分析的資料表。 

4資料模型 

資料分析平台分為兩大類,一類是資料模型,另一類為分析模型,資料模型主要包含維表的配置、事實表的配置及模型的配置,并對名額進行集中管控,具體操作步驟如下。 

4.1主題劃域 

在進行資料分析前我們需要對分析的主題進行劃分,通常來說企業常見的主題包括人事主題、财務主題、銷售主題、生産主題、采購主題、成本主題以及各個行業領域的專屬主題等等,在DAP資料分析平台劃分的業務主題通常是跨業務系統。 

4.2次元配置 

次元表:說明次元表與主資料的關聯關系,并生成對應次元表資料內建流程。 

次元表屬于數倉的設計範疇,次元表大體上分為兩類,分為自然次元以及定義次元,自然次元是自然存在得枚舉時間次元、地域次元、學曆次元等是本身就存在的,例如在事實表中存在一個時間,現在我們要根據這個時間字段去彙總名額,這時一般有兩種處理方式,第一是通過SQL的函數進行處理,第二是該時間關聯時間次元表進行彙總。 

以财務科目為例,定義維表是根據業務系統進行劃分的,每個公司都離不開财務方面,而錢一定是和财務挂鈎的,在财務出納時一定會關聯财務科目,而企業總部和每個分公司的财務科目又不一緻就導緻了資料混亂的現象,是以我們根據業務需求定義了财務科目這個次元表,使其公有一個黃金編碼,次元表一般是有主鍵的。代表該類物質的一個單一個體,其他的字段一般都是有層次關系的,名額通常都是根據次元進行彙總計算,這樣就能夠統一數倉資料的口徑。 

接下來是次元定義的實際操作,維表一般是可以作為次元(篩選方式)的表。這裡建立維表的方式有兩種,一種是手動新增一個維表,配置字段資訊之後,點選初始化進行維表的建立;另一種是通過導入按鈕,選擇資料庫和目标庫之後,點選執行完成維表的建立。 

資料分析平台重點示範内容梳理

接下來配置維表的實際字段資訊。 

資料分析平台重點示範内容梳理

配置維表資料來源的SQL,可以從ODS中撰寫SQL定義,也可以通過業務系統定義。 

資料分析平台重點示範内容梳理

接下裡配置每個字段之間的映射,在生成對應的ESB資料加工流程時會按照配置的映射關系處理字段映射。 

資料分析平台重點示範内容梳理

最後直接在數倉建立表即可。 

4.3事實配置 

重點内容:主要說明基礎事實表與彙總事實表的關聯關系,說明基礎事實表為資料清洗轉換,彙總事實表為資料加工彙總,并增加對應的校驗規則及彙總規則,并生成對應內建流程。 

事實表其實質就是通過各種次元和一些路徑成本名額的組合建構的,比如通過時間次元、地域次元、組織次元,而名額值是某人某時某地的一些實際發生的值。比如2020年3月15日客戶李枚支付定金5000元,這個金額就是名額,事實表的每一條資料都是幾條次元表的資料和名額值交彙而得到的。 

在實際的項目實施過程中,事實表都是根據主題來建構的,而主題是跨業務系統的,在實際資料展現時根據主題來确定展示的模型,在通過模型來确定維表和基礎的事實表。 

事實表又分為兩類,一是基礎事實表(DWD),另一種是彙總的事實表(DWS)。 

基礎事實表:對業務系統基礎資料的外鍵進行處理,關聯我們的基礎資料,并對ODS的字段進行處理,并選取度量,主要是按照業務系統來建構。 

彙總事實表:彙總事實表是基于相同次元的基礎事實表進行度量的合并,合并分為兩種一種是彙總,彙總的過程中以時間維表進行關聯,将基礎事實表的時間進行彙總,對度量進行彙總求和或者求平均值,這種是縱向合并法;另一種是橫向合并發,将基礎事實表的字段進行合并,例如根據基礎事實表的項目主鍵ID進行字段合并。這就是彙總事實表的兩種彙總方式。 

接下來是事實表建立的實際步驟,和次元表建立是類似的,首先點選新增按鈕錄入事實表的基礎資訊。 

資料分析平台重點示範内容梳理

接下來配置字段的詳細資訊以及映射關系,注意要先處理SQL部分,事實表的加工彙總不在于平台的操作,而是SQL的撰寫。 

資料分析平台重點示範内容梳理

配置對應的SQL,ESB資料加工流程會跟據SQL來處理ODS中的資料。 

資料分析平台重點示範内容梳理

最後配置SQL與字段的映射即可。 

4.4 模型配置

重點内容:模型配置主要為配置各彙總事實表關聯關系,并基于中繼資料生成對應排程任務。 

資料模型的配置核心是對上邊配置的次元表、事實表等進行關聯(要非常熟悉每個表之間的關聯關系),并配對應的關聯關系,點選新增按照錄入資料模型的基本資訊并選擇資料表。 

資料分析平台重點示範内容梳理

選好對應的維表以及ODS表後,配置關聯關系; 

資料分析平台重點示範内容梳理

詳情配置頁面選擇每個字段之間的關聯關系,最後通過預覽功能檢視效果。 

4.5名額管理 

重點内容:名額的來源配置及名額對應門檻值及通知預警等配置。 

名額就是數倉彙總事實表的一個中繼資料字段,而原生名額是業内比較通用的,例如營收完成率、回款完成率等,是以說原生名額是通用的基礎名額。 

基于原生名額還會産生對應的衍生名額,衍生名額和基礎事實表和彙總事實表的建設是類似的,是在原生名額的基礎上對名額進行加工彙聚,這就是衍生名額(自己定義),例如我們彙總事實表的是原生名額,這時我們跟據客戶提出需求在對名額進行加工,在我們的立方體内可以自定義名額加工公式,也可跟據時間次元進行函數的計算,并進行WHERE篩選。 

名額的實際配置過程如下是在事實表定義時選擇是否名額,選擇名額的基本、名額的類型,在選擇之後在名額關聯子產品顯示對應的名額; 

資料分析平台重點示範内容梳理

具體包括名額的來源、名額具體在哪個導航應用等資訊。 

5資料排程 

資料排程主要為基于中繼資料配置生成對應業務系統—ODS、ODS—基礎事實表、基礎事實表—彙總事實表對應內建流程,每一個流程都為對應排程資源,該子產品主要對排程資源、排程任務、排程日志進行介紹。 

5.1排程資源 

重點内容:排程資源的生成方式及排程資源的執行政策配置。 

排程資源核心功能是為資料模型提供資料且保障資料的實時性,排程資源實際上是對ESB流程進行引用,在DAP資料分析平台的排程可以自動生成,同樣也可以在DAP調用外部ESB的資料加工流程。 

資料分析平台重點示範内容梳理

在ESB內建流程分為三類,業務系統-ODS、ODS-DIM以及ODS-DW三種排程資源建立模式,可以使用ESB進行流程建立。 

生成對應流程如下: 

資料分析平台重點示範内容梳理

接下來改流程通過DAP的配置可以在排程資源子產品進行流程執行調用。 

5.2排程任務 

重點内容:排程任務的自動生成方式及手動生成方式,并介紹任務執行政策等。 

排程任務有兩種生成方式分别為自動生成以及手動生成,具體生成方式方式如下: 

自動生成:在資料模型内通過點選生成任務按鈕自動生成任務,通過DAP中繼資料、關聯關系找到對應的執行流程,并将流程按照資料加工執行順序進行插入到對應的關聯表當中,并在排程任務清單内生成對應的排程任務。 

手動新增:新開發排程任務子產品,通過排程任務子產品手動新增任務,并選擇對應的排程資源來完成排程任務新增工作,并支援多種排程任務出發具體包含手動觸發、時間觸發以及定時觸發。 

資料分析平台重點示範内容梳理

可以在任務管理子產品生成對應的排程任務,按照資料加工的順序給串聯起來即可。 

5.3排程日志 

排程日志可以顯示排程任務的執行情況,顯示成功失敗、排程任務的執行時間、政策等詳細資訊。 

資料分析平台重點示範内容梳理

6分析模型 

資料分析平台分為兩大類,一類是資料模型,另一類為分析模型,分析模型主要包括資料集以及立方體,資料集是基于上述配置資料模型建構的資料集合,在資料集合的基礎上還可以進行資料的多元度分析,同時資料集以及立方體可以生成對應的資料服務,可以為供第三方系統提供資料彙總服務,現對配置過程描述如下。 

6.1資料集配置 

重點内容:資料集具體如何配置,字段如何選取等,同時支援資料集條件等配置,同時生成對應查詢服務。 

資料集是一個資料的集合,通常以表格形式出現。每一列代表一個特定變量。每一行都對應于某一成員的資料集的問題。在資料分析平台資料集是分析模型一部分,可以選擇資料模型,基于資料模型找到對應次元表和事實表。 

資料分析平台重點示範内容梳理

在儲存過後會自動生成對應的關聯關系。 

資料分析平台重點示範内容梳理

直接選擇需要分析的名額即可。 

資料分析平台重點示範内容梳理

最後可以通過資料預覽檢視最終的效果。 

6.2立方體配置 

重點内容:對資料集進行再次彙總,定義對應次元及度量,同時生成對應統計服務。 

資料立方體允許以多元資料模組化和觀察,它由維和事實定義。 維是關于一個組織想要記錄的視角或觀點,每個維都有一個表與之相關聯,稱為維表。 事實表包括事實的名稱或度量以及每個相關維表的關鍵字。以統計每個公司的人員學曆情況為例,可以選擇對應的資料集。 

資料分析平台重點示範内容梳理

找到資料集中的表,按照指定的次元對名額進行分析,分析可以分為求和、平均值、計數以及最大值等計算,最後可以通過資料預覽檢視最終的效果。 

6.3多元度分析 

重點内容:多元度分析主要基于立方體生成,同時在配置多元度分析報表時要保障配置為多表頭形式,在示範過程中需保障多元報表可拖拽方式進行配置,可以将清單頭及行表頭進行靈活配置,在配置完成進行預覽。 

6.4業務類報表 

重點内容:業務報表多表頭配置及報表導出PDF、Excel相關功能。 

DAP資料分析平台綜合業務報表主要是跟據資料集為客戶提供綜合業務報表,其配置方法相對比較複雜,可以選擇表頭資料集以及報表資料集,綜合業務報表通常是多表頭的,效果如下: 

資料分析平台重點示範内容梳理

在選擇報表資料集後在下方會出現對應的字段,可以通過前方多選框勾選字段資訊顯示内容,是否固定功能通常設定在編碼或者名稱等具備辨別性的資訊進行固定。 

資料分析平台重點示範内容梳理

資料行合并如上方最終顯示樣式,從下向上第一行是應發薪資、獎勵薪資、獎懲薪資等,第二行為基礎薪資、基礎薪資、基礎薪資都是相似的配置,如果勾選資料行合并後會将相同的第二行進行合并成一行,可以按照此配置來建立綜合業務報表。 

7元件配置 

有了對應的分析模型,就可以進行元件的分析展示工作了,DAP資料分析平台預制了豐富的元件,涵蓋條形圖、柱形圖、雷達圖、餅圖、散點圖等等,跟據這些元件及分析模型就可以配置出豐富的元件,具體如下。 

7.1頁面布局 

頁面布局主要針對元件的展示位置進行樣式配置,首先在導航管理處新增一個頁面,在頁面進行布局。 

資料分析平台重點示範内容梳理

新增一個行容器進行布局設定,例如常見的頁面布局如下。 

資料分析平台重點示範内容梳理

可以新增兩個行容器,上邊行容器拆分成兩個三個列容器,下邊的行容器繼續拆分成兩個列容器,點選添加子容器。 

資料分析平台重點示範内容梳理

增加三個子容器; 

資料分析平台重點示範内容梳理

按照相同方法在下邊的行容器上在增加兩個列容器,具體效果如下: 

資料分析平台重點示範内容梳理

注意:可以設定每個容器的屬性也就是每個容器的寬度,容器的總長是12,注意設定屬性的時候不能超過12。 

7.2元件配置 

元件的配置主要針對現有的元件,如柱狀圖、折線圖、雷達圖等等,并以拖拽的方式配置元件,将元件拉取到上方建立好的布局容器當中。 

資料分析平台重點示範内容梳理

接下來點選如下按鈕配置元件執行個體: 

然後在元件配置頁面選擇對應的資料集以及立方體。 

資料分析平台重點示範内容梳理

按照實際的業務需求配置元件即可。 

7.3頁内關聯 

元件的頁内關聯以下圖為例:

資料分析平台重點示範内容梳理

通過點選左側的組織樹,選擇對應的組織右側的元件以及表格可以随點選進行關聯,其配置如下: 

資料分析平台重點示範内容梳理

通過元件内部的元件關聯子產品進行配置,選擇關聯元件,接下來選擇樹形元件的辨別字段,之後選擇目前元件的關聯字段即可實作元件的關聯。 

7.4穿透配置 

穿透配置和上述元件關聯的配置是大體類似的,通過元件的配置詳情頁面進行元件的穿透配置。 

資料分析平台重點示範内容梳理

之後可以以打開标簽或者彈出窗體的方式進行穿透,可以跳轉到指定的頁面。 

資料分析平台重點示範内容梳理

之後配置對應的穿透字段即可。 

8其它重點 

其實對于資料治理而言,資料品質、資料安全、資料資産、資料标準、資料服務、資料地圖、資料血緣都是DAP資料分析平台的重點,基于篇幅考慮筆者将在後續文檔深入展開介紹。 

8.1資料服務 

在配置完成ODS表、資料集以及立方體後會生成對應的資料接收服務、資料統計服務以及資料查詢服務,在示範時可以基于自動生成的資料服務URL進行接口服務的調用來檢視對應的入參及出參資訊,同時表述服務可以通過提供給其它業務廠商進行中台資料擷取。 

8.2資料地圖 

資料地圖是對資料分析平台内資料資産進行統計,統計出包含多少業務系統、ODS表、次元表、基礎事實表、彙總事實表及對應資料模型及分析模型資訊。 

可以通過點選對應标簽檢視目前業務系統包括哪些數倉資料表等。 

資料分析平台重點示範内容梳理

8.3資料血緣 

資料血緣功能主要對模型資訊進行整體說明,說明目前模型來源業務系統有哪些、關聯對應資料表有哪些等進行說明。 

資料分析平台重點示範内容梳理

9心得體會 

經過近期參與到一些售前工作,對于工作情況有一些反思和總結,現針對近期售前工作及全文内容做出總結說明。 

9.1自身總結 

通經過幾次參與售前産品示範的工作發現有時自己準備工作做得不充足,是以在後續的售前準備階段不僅要熟練地使用産品的功能,還要勤加練習,必要的時候請身邊同僚一同參與示範練習環節,針對性地給出意見和建議,保證現場示範的順利進行。 

9.2售前示範 

經過本次參與售前工作發現自己售前經驗不足,是以在後續的工作學習過程中要珍惜每一次售前機會,每一次售前都是一次曆練自身的機會,更要精心準備,不斷提升自身各方面能力,為後續的職業生涯奠定基石。 

9.3數倉作用 

首先資料分析平台落地的最基礎的就是數倉的建設,而資料分析平台面向對象就是公司集團中高層管理者,那資料分析平台可以幫助該類人群解決什麼樣的實質問題呢?當數倉建立到運轉,我認為可以幫助管理者解決以下幾個問題: 

繼續閱讀