天天看點

dolphinScheduler(海豚排程器)進階dolphinScheduler進階

大家好🙌我是你們的好朋友,程式員悟啦(烏拉) 😀。相遇是緣,既然來了就拎着小闆凳坐下來一起唠會兒😎,如果在文中有所收獲,請别忘了一鍵三連,動動你發财的小手👍,你的鼓勵,是我創作的動力😁!廢話不多說,直接😎 開幹吧!

==PS:文末幹貨,記得拎着小闆凳離開的時候也給它順走== 🤣

座右銘:“懶”對一個人的毀滅性有多大,早起的重要性就多大。

(文章目錄)

dolphinScheduler進階

🎬功能介紹

📏名額總覽

首頁包含使用者所有項目的任務狀态統計、流程狀态統計、工作流定義統計。

dolphinScheduler(海豚排程器)進階dolphinScheduler進階

🔑項目管理

建立項目

點選"項目管理"進入項目管理頁面,點選“建立項目”按鈕,輸入項目名稱,項目描述,點選“送出”,建立新的項目。

dolphinScheduler(海豚排程器)進階dolphinScheduler進階

📠項目首頁

在項目管理頁面點選項目名稱連結,進入項目首頁,如下圖所示,項目首頁包含該項目的任務狀态統計、流程狀态統計、工作流定義統計。這幾個名額的說明如下:

  • 任務狀态統計:在指定時間範圍内,統計任務執行個體中狀态為送出成功、正在運作、準備暫停、暫停、準備停止、停止、失敗、成功、需要容錯、kill、等待線程的個數。
  • 流程狀态統計:在指定時間範圍内,統計工作流執行個體中狀态為送出成功、正在運作、準備暫停、暫停、準備停止、停止、失敗、成功、需要容錯、kill、等待線程的個數。
  • 工作流定義統計:統計使用者建立的工作流定義及管理者授予該使用者的工作流定義。
dolphinScheduler(海豚排程器)進階dolphinScheduler進階

📤工作流定義

建立工作流定義

點選項目管理 -> 建立項目 -> 工作流 ->工作流定義,進入工作流定義頁面,點選“建立工作流”按鈕,進入工作流DAG編輯頁面,如下圖所示:

dolphinScheduler(海豚排程器)進階dolphinScheduler進階

建立工作流

dolphinScheduler(海豚排程器)進階dolphinScheduler進階

進入工作流界面

工具欄中拖拽到畫闆中,新增一個Shell任務,如下圖所示:

dolphinScheduler(海豚排程器)進階dolphinScheduler進階
  • 添加shell任務的參數設定:
    1. 填寫“節點名稱”,“描述”,“腳本”字段;
    2. “運作标志”勾選“正常”,若勾選“禁止執行”,運作工作流不會執行該任務;
    3. 選擇“任務優先級”:當worker線程數不足時,級别高的任務在執行隊列中會優先執行,相同優先級的任務按照先進先出的順序執行;
    4. 逾時告警(非必選):勾選逾時告警、逾時失敗,填寫“逾時時長”,當任務執行時間超過逾時時長,會發送告警郵件并且任務逾時失敗;
    5. 資源(非必選)。資源檔案是資源中心->檔案管理頁面建立或上傳的檔案,如檔案名為

      test.sh

      ,腳本中調用資源指令為

      sh test.sh

    6. 自定義參數(非必填);
    7. 點選"确認添加"按鈕,儲存任務設定。
  • 增加任務執行的先後順序: 點選腳本加号圖示,連接配接任務;如下圖所示,任務2和任務3并行執行,當任務1執行完,任務2、3會同時執行。
dolphinScheduler(海豚排程器)進階dolphinScheduler進階

删除依賴關系: 選中連接配接線,點選右上角"箭頭"圖示,,點選右上角"删除"圖示,删除任務間的依賴關系。

dolphinScheduler(海豚排程器)進階dolphinScheduler進階

儲存工作流定義: 點選”儲存“按鈕,彈出"設定DAG圖名稱"彈框,如下圖所示,輸入工作流定義名稱,工作流定義描述,設定全局參數(選填,參考全局參數),點選"添加"按鈕,工作流定義建立成功。

dolphinScheduler(海豚排程器)進階dolphinScheduler進階

工作流定義操作功能

點選項目管理->工作流->工作流定義,進入工作流定義頁面,如下圖所示:

dolphinScheduler(海豚排程器)進階dolphinScheduler進階

工作流定義清單的操作功能如下:

  • 編輯: 隻能編輯"下線"的工作流定義。工作流DAG編輯同建立工作流定義。
  • 上線: 工作流狀态為"下線"時,上線工作流,隻有"上線"狀态的工作流能運作,但不能編輯。
  • 下線: 工作流狀态為"上線"時,下線工作流,下線狀态的工作流可以編輯,但不能運作。
  • 運作: 隻有上線的工作流能運作。運作操作步驟見運作工作流
  • 定時: 隻有上線的工作流能設定定時,系統自動定時排程工作流運作。建立定時後的狀态為"下線",需在定時管理頁面上線定時才生效。定時操作步驟見工作流定時
  • 定時管理: 定時管理頁面可編輯、上線/下線、删除定時。
  • 删除: 删除工作流定義。
  • 下載下傳: 下載下傳工作流定義到本地。
  • 樹形圖: 以樹形結構展示任務節點的類型及任務狀态,如下圖所示:
dolphinScheduler(海豚排程器)進階dolphinScheduler進階
dolphinScheduler(海豚排程器)進階dolphinScheduler進階

運作工作流

點選項目管理->工作流->工作流定義,進入工作流定義頁面,如下圖所示,點選"上線"按鈕

dolphinScheduler(海豚排程器)進階dolphinScheduler進階

點選”運作“按鈕,彈出啟動參數設定彈框,如下圖所示,設定啟動參數,點選彈框中的"運作"按鈕,工作流開始運作,工作流執行個體頁面生成一條工作流執行個體。

dolphinScheduler(海豚排程器)進階dolphinScheduler進階

工作流運作參數說明:

  • 失敗政策:當某一個任務節點執行失敗時,其他并行的任務節點需要執行的政策。”繼續“表示:某一任務失敗後,其他任務節點正常執行;”結束“表示:終止所有正在執行的任務,并終止整個流程。
  • 通知政策:當流程結束,根據流程狀态發送流程執行資訊通知郵件,包含任何狀态都不發,成功發,失敗發,成功或失敗都發。
  • 流程優先級:流程運作的優先級,分五個等級:最高(HIGHEST),高(HIGH),中(MEDIUM),低(LOW),最低(LOWEST)。當master線程數不足時,級别高的流程在執行隊列中會優先執行,相同優先級的流程按照先進先出的順序執行。
  • worker分組:該流程隻能在指定的worker機器組裡執行。預設是Default,可以在任一worker上執行。
  • 通知組:選擇通知政策||逾時報警||發生容錯時,會發送流程資訊或郵件到通知組裡的所有成員。
  • 收件人:選擇通知政策||逾時報警||發生容錯時,會發送流程資訊或告警郵件到收件人清單。
  • 抄送人:選擇通知政策||逾時報警||發生容錯時,會抄送流程資訊或告警郵件到抄送人清單。
  • 啟動參數: 在啟動新的流程執行個體時,設定或覆寫全局參數的值。
  • 補數:包括串行補數、并行補數2種模式。串行補數:指定時間範圍内,從開始日期至結束日期依次執行補數,依次生成N條流程執行個體;并行補數:指定時間範圍内,多天同時進行補數,同時生成N條流程執行個體。
    • 補數: 執行指定日期的工作流定義,可以選擇補數時間範圍(目前隻支援針對連續的天進行補數),比如需要補5月1号到5月10号的資料,如下圖所示:
dolphinScheduler(海豚排程器)進階dolphinScheduler進階

串行模式:補數從5月1号到5月10号依次執行,依次在流程執行個體頁面生成十條流程執行個體;

并行模式:同時執行5月1号到5月10号的任務,同時在流程執行個體頁面生成十條流程執行個體。

工作流定時

建立定時:點選項目管理->工作流->工作流定義,進入工作流定義頁面,上線工作流,點選"定時"按鈕,彈出定時參數設定彈框,如下圖所示:

dolphinScheduler(海豚排程器)進階dolphinScheduler進階
  • 選擇起止時間。在起止時間範圍内,定時運作工作流;不在起止時間範圍内,不再産生定時工作流執行個體。
  • 添加一個每天淩晨5點執行一次的定時,如下圖所示:
dolphinScheduler(海豚排程器)進階dolphinScheduler進階
  • 敗政策、通知政策、流程優先級、Worker分組、通知組、收件人、抄送人同工作流運作參數。
  • 點選"建立"按鈕,建立定時成功,此時定時狀态為"下線",定時需上線才生效。
  • 定時上線:點選"定時管理"按鈕,進入定時管理頁面,點選"上線"按鈕,定時狀态變為"上線",如下圖所示,工作流定時生效。
dolphinScheduler(海豚排程器)進階dolphinScheduler進階
dolphinScheduler(海豚排程器)進階dolphinScheduler進階

導入工作流

點選項目管理->工作流->工作流定義,進入工作流定義頁面,點選"導入工作流"按鈕,導入本地工作流檔案,工作流定義清單顯示導入的工作流,狀态為下線。

dolphinScheduler(海豚排程器)進階dolphinScheduler進階

🔊工作流實列

檢視工作流執行個體

點選項目管理->工作流->工作流執行個體,進入工作流執行個體頁面,如下圖所示:

dolphinScheduler(海豚排程器)進階dolphinScheduler進階

點選工作流名稱,進入DAG檢視頁面,檢視任務執行狀态,如下圖所示。

dolphinScheduler(海豚排程器)進階dolphinScheduler進階
dolphinScheduler(海豚排程器)進階dolphinScheduler進階

檢視任務日志

點選"檢視日志",彈出日志彈框,如下圖所示,任務執行個體頁面也可檢視任務日志,參考[任務檢視日志]

dolphinScheduler(海豚排程器)進階dolphinScheduler進階

檢視任務曆史記錄

  • 點選項目管理->工作流->工作流執行個體,進入工作流執行個體頁面,點選工作流名稱,進入工作流DAG頁面;
  • 輕按兩下任務節點,如下圖所示,點選"檢視曆史",跳轉到任務執行個體頁面,并展示該工作流執行個體運作的任務執行個體清單

檢視運作參數

  • 點選項目管理->工作流->工作流執行個體,進入工作流執行個體頁面,點選工作流名稱,進入工作流DAG頁面;
  • 點選左上角圖示,檢視工作流執行個體的啟動參數;點選圖示,檢視工作流執行個體的全局參數和局部參數,如下圖所示:
dolphinScheduler(海豚排程器)進階dolphinScheduler進階

編輯: 隻能編輯已終止的流程。點選"編輯"按鈕或工作流執行個體名稱進入DAG編輯頁面,編輯後點選"儲存"按鈕,彈出儲存DAG彈框,如下圖所示,在彈框中勾選"是否更新到工作流定義",儲存後則更新工作流定義;若不勾選,則不更新工作流定義。

  • 重跑: 重新執行已經終止的流程。
  • 恢複失敗: 針對失敗的流程,可以執行恢複失敗操作,從失敗的節點開始執行。
  • 停止: 對正在運作的流程進行停止操作,背景會先

    kill

    worker程序,再執行

    kill -9

    操作
  • 暫停: 對正在運作的流程進行暫停操作,系統狀态變為等待執行,會等待正在執行的任務結束,暫停下一個要執行的任務。
  • 恢複暫停: 對暫停的流程恢複,直接從暫停的節點開始運作
  • 删除: 删除工作流執行個體及工作流執行個體下的任務執行個體
  • 甘特圖: Gantt圖縱軸是某個工作流執行個體下的任務執行個體的拓撲排序,橫軸是任務執行個體的運作時間
    dolphinScheduler(海豚排程器)進階dolphinScheduler進階

🔉任務執行個體

點選項目管理->工作流->任務執行個體,進入任務執行個體頁面,如下圖所示,點選工作流執行個體名稱,可跳轉到工作流執行個體DAG圖檢視任務狀态。

檢視日志:點選操作列中的“檢視日志”按鈕,可以檢視任務執行的日志情況。

文末彩蛋🤩

繼續閱讀