天天看點

DataWorks OpenAPI-表結構變更時觸發任務變更

工欲善其數,必先利其器!

DataWorks OpenAPI現已正式釋出,通過自帶的100多個API 功能,可以快速進行批量操作與系統內建對接等,助您顯著提升資料開發效率!

(DataWorks OpenAPI限企業版及以上版本使用)

DataWorks OpenAPI現開放7天免費試用,請使用釘釘掃碼聯系,提供試用賬号的UID與Region即可。

DataWorks OpenAPI-表結構變更時觸發任務變更

随着大資料在企業内部使用越來越廣泛,很多業務落地慢慢的都依賴大資料的産出結果做為基礎,業務的發展遍地開花産生了越來越多的任務,這些任務之間互相依賴也就越來越複雜,慢慢的超過人為可視、可梳理範圍;當上遊的資料口徑發生變更的時候,對下遊業務的影響就會形成放射性,影響難以預料,這時候就急需有一種功能來輔助我們的運維人員一起梳理出整個受影響的業務範圍,以防資料口徑不一緻引起資損、或提供錯誤的資料導緻決策失誤。

今天我們來描述一下怎麼依賴DataWorks的開放平台中對外提供的Open API、OpenData、消息訂閱的方式來完成一張表口徑發生變更時怎麼 來做下遊任務的血緣分析、通知對應的開發、運維人員做出任務變更防止錯誤資料擴散。

DataWorks OpenAPI-表結構變更時觸發任務變更

解決方案

  • DataWorks開發平台對企業版提供消息(支援SLS消息訂閱)、Open API、OpenData三種方式,具體參照: https://workbench.data.aliyun.com/console?#/openPlatform
  • 消息目前支援表變更、任務變更等,企業版使用者可以去對接表變更的消息,當接收到表變更的時候去查表的血緣關系( 字段血緣 表血緣 );查詢表的血緣也可以改成查詢任務的血緣
  • 根據字段血緣或表血緣查到受影響的表的清單,根據表清單擷取對應的表的産出任務( 根據表擷取産出資訊
  • 根據擷取到的任務ID擷取指定的任務詳情通知任務owner确認業務影響( 擷取任務詳情

基于以上的血緣能力在做表、任務變更的時候能快速的通知到下遊任務owner,防止第二天的任務出現異常;也能在第二天出現異常的時候快速定位到當天是有哪些任務口徑變更導緻業務受到影響。

DataWorks OpenAPI實戰系列:

資料開發全流程介紹 DataWorks OpenAPI 示例(中繼資料子產品) 提效神器,DataWorks OpenAPI開放7天免費試用!
DataWorks OpenAPI-表結構變更時觸發任務變更

繼續閱讀