天天看點

DataWorks2.0的“業務流程”與1.0的“工作流”的對比1.目的2.舊版工作流劃分3. 舊版工作流與新版業務流程的差別4. 業務流程劃分原則

DatwWorks終于更新2.0了,心情萬分激動之餘,又有一絲擔憂。因為,沒法再建立新的舊版工作流了。。。

新版抛棄了“工作流”這個概念,引入了“業務流程”和“解決方案”兩個新的概念。于是,作為團隊Leader,我花了很大的精力去鑽研這兩個概念到底該如何應用在我的實際業務中。

1.目的

能盡快應用DataWorks2.0的諸多給力新功能;

盡快解決掉由于無法建立舊版工作流引起的不便;

2.舊版工作流劃分

任務節點一般分為以下幾類:

  • 源資料同步節點
  • 單業務基礎資料層統計節點
  • 跨業務基礎資料層統計節點
  • 結果資料層統計節點
  • 結果資料同步節點

2.1 劃分次元

舊版本的工作流,主要包含以下幾個次元:

2.1.1 源資料庫

  • 資料源是在哪個資料庫中
  • 包括:源資料同步節點

2.1.2 産品線

  • 源資料屬于哪個産品線
  • 包括:源資料同步節點 + 單業務基礎資料層統計節點

2.1.3 目标系統

  • 結果資料是給哪個系統提供的(背景系統、BI、DataV、……)
  • 包括:結果資料層統計節點 + 結果資料同步節點

2.1.4 業務子產品

  • 結果資料屬于哪個業務子產品(訂單+投訴、訂單+保險、商家+訂單、……)
  • 包括:跨業務基礎資料層統計節點 + 結果資料層統計節點 + 結果資料同步節點

2.1.5 運作周期

  • 每日、每周、每月運作
  • 包括:所有節點

2.1.6 輸入/統計/輸出

  • 包含的節點的類型,是屬于“源資料遷入”、“統計任務”還是“結果資料遷出”

2.2 其他劃分原則

  1. 盡量減少每個工作流所依賴的上遊工作流的個數;
  2. 能用一句話給整個工作流起個名字;
  3. 每個工作流内的節點數量不超過30個;

3. 舊版工作流與新版業務流程的差別

3.1 運作周期

  • 舊版工作流:

    整個工作流(包含多個内部節點),對應一個運作周期

  • 新版業務流程:

    每個節點,對應一個運作周期

3.2 依賴關系

    1. 工作流依賴工作流;
    2. 内部節點依賴内部節點;
    1. 業務流程之間,無依賴關系;
    2. 節點依賴節點,可以跨業務流程依賴,可以不同運作周期的任務間依賴。

3.3 節點的分類

  • 無分類,隻能通過内部節點的命名來區分
  • 可以自動按節點類型分類(SQL節點、資料同步節點、機器學習節點、……)

3.4 工作流(業務流程)的分類

  • 無分類,隻能通過工作流的命名來區分
  • 可以通過“解決方案”功能來分類(類似于給每個業務流程打标簽),“業務流程”與“解決方案”是“多對多”的關系。

3.5 送出範圍

  • 整個工作流(包含多個内部節點)一起送出
  • 單個任務節點送出。也支援業務流程中多個節點批量送出的方式。

3.6 重命名

    1. 工作流不支援重命名;
    2. 内部節點不支援重命名;
    1. 業務流程支援重命名;
    2. 節點支援重命名;

3.7 添加檔案夾的位置

  • 多級檔案夾→工作流→内部節點
  • 業務流程→資料內建/資料開發→多級檔案夾→節點

4. 業務流程劃分原則

最後,關于我的業務流程的劃分原則,總結如下:

  1. 業務流程是完成一個最小業務的;
  2. 業務流程的數量可以稍微多一點兒,可以通過解決方案去查找;
  3. 每個業務流程裡的節點最好不要太多,每個業務流程裡能直覺展示的就隻有那麼多;

希望大家也能早日用上DataWorks2.0的諸多給力功能!不用繼續在舊版工作流中縫縫補補。