天天看點

AirFlow功能展示個人筆記

​​DAGs 檢視您可以一目了然地檢視成功、失敗及目前正在運作的任務數量。​​

AirFlow功能展示個人筆記

 選中其中一個DAG

AirFlow功能展示個人筆記

​​樹視圖​​

跨越時間的 DAG 的樹表示。如果 pipeline(管道)延遲了,您可以很快地看到哪裡出現了錯誤的步驟并且辨識出堵塞的程序。

AirFlow功能展示個人筆記

​​圖表視圖​​

圖形視圖可能是最全面的一種表現形式了。它可以可視化您的 DAG 依賴以及某個運作執行個體的目前狀态。

AirFlow功能展示個人筆記

 任務持續時間圖

過去 N 次運作的不同任務的持續時間。通過此視圖,您可以查找異常值并快速了解 DAG 在多次運作中花費的時間。

AirFlow功能展示個人筆記

​​甘特圖​​

甘特圖可讓您分析任務持續時間和重疊情況。您可以快速識别系統瓶頸和哪些特定 DAG 在運作中花費了大量的時間。

AirFlow功能展示個人筆記

​​代碼視圖​​

透明就是一切。雖然您的 pipeline(管道)代碼在源代碼管理中,但這是一種快速擷取 DAG 代碼并提供更多上下文的方法。

AirFlow功能展示個人筆記

​​任務執行個體上下文菜單​​

從上面的頁面(樹視圖,圖形視圖,甘特圖......)中,始終可以單擊任務執行個體,并進入此豐富的上下文菜單,該菜單可以将您帶到更詳細的中繼資料并執行某些操作。

AirFlow功能展示個人筆記

 任務執行個體細節

AirFlow功能展示個人筆記
AirFlow功能展示個人筆記

 任務執行個體

AirFlow功能展示個人筆記
AirFlow功能展示個人筆記

 檢視日志

AirFlow功能展示個人筆記
AirFlow功能展示個人筆記

 排程周期

AirFlow功能展示個人筆記
AirFlow功能展示個人筆記

所有的任務執行個體

AirFlow功能展示個人筆記

 所有作業

AirFlow功能展示個人筆記

 記錄了所有DAG的運作情況

AirFlow功能展示個人筆記

​​池​​

當有太多程序同時運作時,某些系統可能會被淹沒。Airflow 池可用于限制任意任務集上的執行并行性 。通過為池命名并為其配置設定多個工作槽來在 UI

AirFlow功能展示個人筆記

​​連接配接​​

外部系統的連接配接資訊存儲在 Airflow 中繼資料資料庫中,并在 UI 中進行管理(​

​Menu -> Admin -> Connections​

​​)。在那裡定義了​

​conn_id​

​​ ,并附加了主機名/登入/密碼/結構資訊。 Airflow 管道可以簡單地引用集中管理的​

​conn_id​

​而無需在任何地方寫死任何此類資訊。

可以定義具有相同​

​conn_id​

​​許多連接配接,并且在這種情況下,并且當挂鈎使用來自​

​BaseHook​

​​的​

​get_connection​

​方法時,Airflow 将随機選擇一個連接配接,允許在與重試一起使用時進行一些基本的負載平衡和容錯。

Airflow 還能夠通過作業系統中的環境變量引用連接配接。但它隻支援 URI 格式。如果您需要為連接配接指定​

​extra​

​資訊,請使用 Web UI。

如果在 Airflow 中繼資料資料庫和環境變量中都定義了具有相同​

​conn_id​

​​連接配接,則 Airflow 将僅引用環境變量中的連接配接(例如,給定​

​conn_id​

​​ ​

​postgres_master​

​​,在開始搜尋中繼資料資料庫之前,Airflow 将優先在環境變量中搜尋​

​AIRFLOW_CONN_POSTGRES_MASTER​

​并直接引用它)。

許多鈎子都有一個預設的​

​conn_id​

​​,使用該挂鈎的 Operator 不需要提供顯式連接配接 ID。 例如,​​

​PostgresHook​

​​​的預設​

​conn_id​

​​是​

​postgres_default​

​ 。

AirFlow功能展示個人筆記

​​XComs​​

XComs 允許任務交換消息,允許更細微的控制形式和共享狀态。該名稱是“交叉通信”的縮寫。XComs 主要由鍵,值和時間戳定義,

但也跟蹤建立 XCom 的任務/DAG 以及何時應該可見的屬性。任何可以被 pickle 的對象都可以用作 XCom 值,是以使用者應該確定使用适當大小的對象。

AirFlow功能展示個人筆記

​​變量​​

變量是将任意内容或設定存儲和檢索為 Airflow 中的簡單鍵值存儲的通用方法。可以從 UI(​

​Admin -> Variables​

​),代碼或 CLI 列出,