天天看點

看我如何用Dataphin實作自動化模組化1、選擇組合條件2 預覽名額3 一鍵自動化生成4 複雜需求實作總結

前言:更多關于數智化轉型、資料中台内容可掃碼加群一起探讨

看我如何用Dataphin實作自動化模組化1、選擇組合條件2 預覽名額3 一鍵自動化生成4 複雜需求實作總結
阿裡雲資料中台官網 https://dp.alibaba.com/index

作者:資料小海豚

随着大資料趨勢的迅速增長,資料的重要性與日俱增,企業内看資料、用資料的訴求越來越強烈,其中最常見的就是各種經營報表資料:

老闆早晨9點準時需要看到企業核心的經營資料,以便進行企業戰略及方向決策

業務負責人不定期進行個性化的項目籌劃,需要多元、及時效果資料以優化項目安排

營運需要和高層一緻但粒度不同的經營分析資料,并進行活動政策調整

……

舉個經營報表的例子:

看我如何用Dataphin實作自動化模組化1、選擇組合條件2 預覽名額3 一鍵自動化生成4 複雜需求實作總結

這個例子并不複雜,但是對于分析師或者業務開發者,實際執行的複雜度和工作量并不小,而且類似的工作每日都在重複……業務發展越快,帶來的問題就越來越多:

  加工時間長、人工成本高,招再多的分析師也難以滿足需求

  代碼可讀性差,資料可維護性差,類似需求需要反複、重複開發

  代碼開發不規範,加工過程中難以避免的計算存儲浪費

  得到的資料名額,複用性差導緻重複建設,資料越來越不标準規範

這種情況下,對業務的直接影響就是:決策周期長(資料需求滿足慢),決策易出錯(資料名額口徑不一緻)。

既要保證資料生産時效性——及時産出資料并滿足需求,又要支援資料多樣性——企業自下而上不同業務分析場景,最後還要保證資料準确性——任何時間、不同崗位的人都能用同樣的資料解讀經營情況,怎麼才能做到呢?

企業的發展加速,離不開20世紀的文檔管理轉到21世紀的資訊管理。同樣的,如果繁複的名額代碼編寫工作,也可以如電腦一般,界面可視化點選,複雜的代碼研發過程由電腦自行處理完成就好了。

而Dataphin的自動化模組化功能,就可以很好實作這個能力。

1、選擇組合條件

如下圖,确定需要統計計算的值,Dataphin裡稱為“原子名額”——最小的資料值統計單元,比如使用者數這樣的統計值等,然後組合如下内容:

  • A. 統計計算值需要應用的分析對象,Dataphin裡稱為“統計粒度”——次元或次元的組合,比如使用者星級、使用者狀态等
  • B. 資料統計計算的時間周期,Dataphin裡稱為“統計周期”——統計資料需要跨越的時間長度,比如最近1天、最近30天、自然周、自然月的等
  • C. 資料統計的其他個性化限定條件,Dataphin裡稱為“業務限定”——資料記錄的篩選過濾條件,比如生鮮業務類型、PC端、女性等
    看我如何用Dataphin實作自動化模組化1、選擇組合條件2 預覽名額3 一鍵自動化生成4 複雜需求實作總結

2 預覽名額

選擇完畢組合條件後,可以預覽組合出來的派生名額:

1)組合的名額,預設名取“原子名額+時間周期+業務限定”組合名,保證命名标準規範。

2)曆史已生成的組合,不再生成,保證名額建設統一,無重複

看我如何用Dataphin實作自動化模組化1、選擇組合條件2 預覽名額3 一鍵自動化生成4 複雜需求實作總結

3 一鍵自動化生成

确認需要送出的名額後,一鍵【送出】,分鐘級名額生成:

1)自動彙聚至以“統計粒度為主題”的彙總邏輯表表下,保證管理标準規範;

2)代碼和排程依賴關系,系統自動生成;

3)派生名額基于彙總邏輯表,可快速雪花模型查詢使用名額、分析對象的屬性資訊。

看我如何用Dataphin實作自動化模組化1、選擇組合條件2 預覽名額3 一鍵自動化生成4 複雜需求實作總結

①派生名額自動彙聚至彙總邏輯表

②派生名額所在彙總表節點,代碼及排程關系自動生成

看我如何用Dataphin實作自動化模組化1、選擇組合條件2 預覽名額3 一鍵自動化生成4 複雜需求實作總結

③彙總表及派生名額可查詢消費

看我如何用Dataphin實作自動化模組化1、選擇組合條件2 預覽名額3 一鍵自動化生成4 複雜需求實作總結

4 複雜需求實作

上面主要是基于簡單統計名額實作,實際上,報表需求還有類似 比率型、乘積型等複合統計方式,比如“客單價=銷售額/客戶數”,這類也可以通過Dataphin的衍生原子名額實作:

1)衍生原子名額是基于原子名額的再組合;

看我如何用Dataphin實作自動化模組化1、選擇組合條件2 預覽名額3 一鍵自動化生成4 複雜需求實作總結

2)基于衍生原子名額建立派生名額時,需要保證拆解到最細粒度的原子名額,有相同的分析次元、時間周期,允許次元的計算路徑不同、設定的業務限定不同。

①建立衍生原子名額

②基于衍生原子名額建立派生名額

看我如何用Dataphin實作自動化模組化1、選擇組合條件2 預覽名額3 一鍵自動化生成4 複雜需求實作總結

總結

上面步驟可以看到,派生名額的計算生成,離不開原子名額、業務限定、統計粒度的協助,這其中有什麼奧秘呢?

其實很簡單,用Dataphin高效建立派生名額,掌握這1張圖就夠了:

1)原子名額為核心,原子名額的來源表為中心

2)統計粒度取自來源表的關聯次元,以及關聯次元上的關聯次元

3)業務限定基于來源表為中心的雪花模型做定義

4)統計周期可任意搭配使用

看我如何用Dataphin實作自動化模組化1、選擇組合條件2 預覽名額3 一鍵自動化生成4 複雜需求實作總結

資料中台是企業數智化的新基建,阿裡巴巴認為資料中台是集方法論、工具、組織于一體的,“快”、“準”、“全”、“統”、“通”的智能大資料體系。目前正通過阿裡雲資料中台解決方案對外輸出,包括

零售

金融 網際網路 政務

等領域,其中核心産品有:

官方站點:

資料中台官網

https://dp.alibaba.com
看我如何用Dataphin實作自動化模組化1、選擇組合條件2 預覽名額3 一鍵自動化生成4 複雜需求實作總結

繼續閱讀