天天看點

DataWorks百問百答02:如何設定跨周期依賴及自依賴?

DataWorks支援三種跨周期依賴模式(依賴上一周期):

  1. 一層子節點:依賴目前節點的下遊。例如,節點A存在b、c、d三個下遊節點,依賴一層子節點是指節點A依賴   b、c、d三個節點的上一周期。
  2. 本節點:依賴目前節點的上一周期(即自依賴)。
  3. 自定義:手動輸入需要依賴的節點id,多個節點間英文逗号分隔,依賴該id節點的上一周期。

注意:不要重複配置依賴,排程配置中配置了“依賴上一周期”後,在“父節點輸出”那裡,不要重複配置依賴,否則會出現依賴上遊“昨天+今天”兩天的執行個體等情況。

DataWorks百問百答02:如何設定跨周期依賴及自依賴?

跨周期依賴典型場景

【典型場景一】

“一層子節點”應用場景:對本節點的結果表進行清洗,檢視是否正常産出最終結果

【典型場景二】

Q:天任務依賴小時任務,不想等24個小時任務執行個體跑完才跑天任務,天任務希望盡量按定時時間12:00跑

A:上遊小時任務配置“依賴上一周期”選“本節點”;下遊天任務定時排程時間選12:00,天任務不需要設定跨周期依賴。這樣天任務就會在12點開始跑,且依賴最新跑完的那個小時任務執行個體的資料(下有圖解)

【典型場景三】

Q:天任務依賴小時任務昨天的資料

A:下遊天任務配置“依賴上一周期”選“自定義”,填上遊小時任務的id

【典型場景四】

Q:小時任務依賴天任務,上遊天任務跑完,下遊小時任務多個周期定時時間已到,導緻小時任務多周期并發調起怎麼辦

A:下遊小時任務配置“依賴上一周期”選“本節點”(下有圖解)

【典型場景五】

Q:本節點依賴自己的上一周期産出的資料,不知上一周期何時産出

A:本節點配置“依賴上一周期”選“本節點”

自依賴應用技巧

自依賴是天然的跨周期依賴。

  1. 小時任務依賴天任務(即上述典型場景四)

上遊天任務跑完,下遊小時任務多個周期定時時間已到,不希望小時任務多周期并發調起。不配置自依賴的話,12點過後a1和a2執行個體會并發調起。

DataWorks百問百答02:如何設定跨周期依賴及自依賴?
  1. 天任務依賴小時任務(即上述典型場景二)

不想等24個小時任務執行個體跑完才跑天任務,天任務希望盡量按定時時間12:00跑。配置自依賴後,執行個體a2跑完,12點一到,執行個體A就會調起。

DataWorks百問百答02:如何設定跨周期依賴及自依賴?

DataWorks百問百答曆史記錄

請點選檢視

采購季限時!原價2500元現僅需99元,3分鐘入門DataWorks标準版6大場景!

點選檢視

更多DataWorks技術和産品資訊,歡迎加入

【DataWorks釘釘交流群】

繼續閱讀