天天看點

如何了解airflow中的execution_date

标題: 如何了解airflow中的execution_date

日期: 2021-11-11 20:55:45

标簽: [airflow]

分類: 排程系統

大家好,我是Lee,今天說下貫穿airflow排程系統的基礎變量execution_date,它怎麼了解。

如何了解airflow中的execution_date

airflow排程單元是dag,每到dag該運作的時候,airflow就會啟動一個dag_run執行個體,該執行個體存儲在dag_run表中,這張表中的主鍵是:dag_id和execution_date,即表示每個dag在同一時刻,隻能啟動一個執行個體。

是以,execution_date是airflow中任務的計劃執行時間。

當然,表中還有start_date,end_date,這兩個時間字段,是dag任務的實際啟動時間和結束時間,因為在airflow在輪詢dag檔案到發現該dag需要啟動起來時,是有**時間差(實際啟動時間-計劃啟動時間)**的,當系統資源一定時,任務數(dag檔案)越多時,這個時間差就會越大。

如何了解airflow中的execution_date

還有,dag中的每個task,也是有着三個字段的:execution_date、start_date、end_date,他們都存儲在task_instance表中,記錄每個task對應的運作記錄。

好了,今天就說到這兒。

吾之初心,永世不忘。

歡迎關注我的微信公衆号,比較喜歡分享知識,也喜歡寵物,是以做了這2個公衆号:

如何了解airflow中的execution_date

喜歡寵物的朋友可以關注:【電巴克寵物Pets】

如何了解airflow中的execution_date

一起學習,一起進步。