DAGs 檢視您可以一目了然地檢視成功、失敗及目前正在運作的任務數量。
選中其中一個DAG
樹視圖
跨越時間的 DAG 的樹表示。如果 pipeline(管道)延遲了,您可以很快地看到哪裡出現了錯誤的步驟并且辨識出堵塞的程序。
圖表視圖
圖形視圖可能是最全面的一種表現形式了。它可以可視化您的 DAG 依賴以及某個運作執行個體的目前狀态。
任務持續時間圖
過去 N 次運作的不同任務的持續時間。通過此視圖,您可以查找異常值并快速了解 DAG 在多次運作中花費的時間。
甘特圖
甘特圖可讓您分析任務持續時間和重疊情況。您可以快速識别系統瓶頸和哪些特定 DAG 在運作中花費了大量的時間。
代碼視圖
透明就是一切。雖然您的 pipeline(管道)代碼在源代碼管理中,但這是一種快速擷取 DAG 代碼并提供更多上下文的方法。
任務執行個體上下文菜單
從上面的頁面(樹視圖,圖形視圖,甘特圖......)中,始終可以單擊任務執行個體,并進入此豐富的上下文菜單,該菜單可以将您帶到更詳細的中繼資料并執行某些操作。
任務執行個體細節
任務執行個體
檢視日志
排程周期
所有的任務執行個體
所有作業
記錄了所有DAG的運作情況
池
當有太多程序同時運作時,某些系統可能會被淹沒。Airflow 池可用于限制任意任務集上的執行并行性 。通過為池命名并為其配置設定多個工作槽來在 UI
連接配接
外部系統的連接配接資訊存儲在 Airflow 中繼資料資料庫中,并在 UI 中進行管理(
Menu -> Admin -> Connections
)。在那裡定義了
conn_id
,并附加了主機名/登入/密碼/結構資訊。 Airflow 管道可以簡單地引用集中管理的
conn_id
而無需在任何地方寫死任何此類資訊。
可以定義具有相同
conn_id
許多連接配接,并且在這種情況下,并且當挂鈎使用來自
BaseHook
的
get_connection
方法時,Airflow 将随機選擇一個連接配接,允許在與重試一起使用時進行一些基本的負載平衡和容錯。
Airflow 還能夠通過作業系統中的環境變量引用連接配接。但它隻支援 URI 格式。如果您需要為連接配接指定
extra
資訊,請使用 Web UI。
如果在 Airflow 中繼資料資料庫和環境變量中都定義了具有相同
conn_id
連接配接,則 Airflow 将僅引用環境變量中的連接配接(例如,給定
conn_id
postgres_master
,在開始搜尋中繼資料資料庫之前,Airflow 将優先在環境變量中搜尋
AIRFLOW_CONN_POSTGRES_MASTER
并直接引用它)。
許多鈎子都有一個預設的
conn_id
,使用該挂鈎的 Operator 不需要提供顯式連接配接 ID。 例如,
PostgresHook
的預設
conn_id
是
postgres_default
。
XComs
XComs 允許任務交換消息,允許更細微的控制形式和共享狀态。該名稱是“交叉通信”的縮寫。XComs 主要由鍵,值和時間戳定義,
但也跟蹤建立 XCom 的任務/DAG 以及何時應該可見的屬性。任何可以被 pickle 的對象都可以用作 XCom 值,是以使用者應該確定使用适當大小的對象。
變量
變量是将任意内容或設定存儲和檢索為 Airflow 中的簡單鍵值存儲的通用方法。可以從 UI(
Admin -> Variables
),代碼或 CLI 列出,