天天看點

Dataworks坑記——小時級别依賴資料丢失問題

問題描述

A 小時級任務 (一天有24個節點) ,A依賴上遊B , B 30分鐘級任務(一天有48個節點),我們期望應該是一個節點依賴2個,但是第一個隻依賴一個節點導緻丢資料。

B排程配置如圖:

Dataworks坑記——小時級别依賴資料丢失問題

A排程配置如圖

Dataworks坑記——小時級别依賴資料丢失問題

依賴關系

A依賴上遊B

Dataworks坑記——小時級别依賴資料丢失問題

産出依賴關系

圖上時間為定時時間

Dataworks坑記——小時級别依賴資料丢失問題

就依賴結果:

産出依賴是向前就近關聯,不存在跨天依賴的情況

期望依賴關系

Dataworks坑記——小時級别依賴資料丢失問題

解決辦法

調整任務A排程時間

排程時間 大于 依賴的最晚節點的時間加上節點執行時間。

(0點35任務A節點) > (0點30任務B節點)+ (小于1分鐘)

Dataworks坑記——小時級别依賴資料丢失問題

執行結果

最後執行結果符合預期,圖上時間為定時時間

Dataworks坑記——小時級别依賴資料丢失問題

繼續閱讀