大家好🙌我是你們的好朋友,程式員悟啦(烏拉) 😀。相遇是緣,既然來了就拎着小闆凳坐下來一起唠會兒😎,如果在文中有所收獲,請别忘了一鍵三連,動動你發财的小手👍,你的鼓勵,是我創作的動力😁!廢話不多說,直接😎 開幹吧!
==PS:文末幹貨,記得拎着小闆凳離開的時候也給它順走== 🤣
座右銘:“懶”對一個人的毀滅性有多大,早起的重要性就多大。
(文章目錄)
dolphinScheduler進階
🎬功能介紹
📏名額總覽
首頁包含使用者所有項目的任務狀态統計、流程狀态統計、工作流定義統計。
![](https://img.laitimes.com/img/_0nNw4CM6IyYiwiM6ICdiwiI9s2RkBnVHFmb1clWvB3MaVnRtp1XlBXe0xCMy81dvRWYoNHLwEzX5xCMx8FesU2cfdGLwMzX0xiRGZkRGZ0Xy9GbvNGLpZTY1EmMZVDUSFTU4VFRR9Fd4VGdsQTMfVmepNHLrJXYtJXZ0F2dvwVZnFWbp1zczV2YvJHctM3cv1Ce-cmbw5SM1UTM3YzMyYGOzgjNhZTNyYzXxMTMzgTMzEzLcRDMyIDMy8CXn9Gbi9CXzV2Zh1WavwVbvNmLvR3YxUjL0M3Lc9CX6MHc0RHaiojIsJye.png)
🔑項目管理
建立項目
點選"項目管理"進入項目管理頁面,點選“建立項目”按鈕,輸入項目名稱,項目描述,點選“送出”,建立新的項目。
📠項目首頁
在項目管理頁面點選項目名稱連結,進入項目首頁,如下圖所示,項目首頁包含該項目的任務狀态統計、流程狀态統計、工作流定義統計。這幾個名額的說明如下:
- 任務狀态統計:在指定時間範圍内,統計任務執行個體中狀态為送出成功、正在運作、準備暫停、暫停、準備停止、停止、失敗、成功、需要容錯、kill、等待線程的個數。
- 流程狀态統計:在指定時間範圍内,統計工作流執行個體中狀态為送出成功、正在運作、準備暫停、暫停、準備停止、停止、失敗、成功、需要容錯、kill、等待線程的個數。
- 工作流定義統計:統計使用者建立的工作流定義及管理者授予該使用者的工作流定義。
📤工作流定義
建立工作流定義
點選項目管理 -> 建立項目 -> 工作流 ->工作流定義,進入工作流定義頁面,點選“建立工作流”按鈕,進入工作流DAG編輯頁面,如下圖所示:
建立工作流
進入工作流界面
工具欄中拖拽到畫闆中,新增一個Shell任務,如下圖所示:
- 添加shell任務的參數設定:
- 填寫“節點名稱”,“描述”,“腳本”字段;
- “運作标志”勾選“正常”,若勾選“禁止執行”,運作工作流不會執行該任務;
- 選擇“任務優先級”:當worker線程數不足時,級别高的任務在執行隊列中會優先執行,相同優先級的任務按照先進先出的順序執行;
- 逾時告警(非必選):勾選逾時告警、逾時失敗,填寫“逾時時長”,當任務執行時間超過逾時時長,會發送告警郵件并且任務逾時失敗;
- 資源(非必選)。資源檔案是資源中心->檔案管理頁面建立或上傳的檔案,如檔案名為
,腳本中調用資源指令為test.sh
;sh test.sh
- 自定義參數(非必填);
- 點選"确認添加"按鈕,儲存任務設定。
- 增加任務執行的先後順序: 點選腳本加号圖示,連接配接任務;如下圖所示,任務2和任務3并行執行,當任務1執行完,任務2、3會同時執行。
删除依賴關系: 選中連接配接線,點選右上角"箭頭"圖示,,點選右上角"删除"圖示,删除任務間的依賴關系。
儲存工作流定義: 點選”儲存“按鈕,彈出"設定DAG圖名稱"彈框,如下圖所示,輸入工作流定義名稱,工作流定義描述,設定全局參數(選填,參考全局參數),點選"添加"按鈕,工作流定義建立成功。
工作流定義操作功能
點選項目管理->工作流->工作流定義,進入工作流定義頁面,如下圖所示:
工作流定義清單的操作功能如下:
- 編輯: 隻能編輯"下線"的工作流定義。工作流DAG編輯同建立工作流定義。
- 上線: 工作流狀态為"下線"時,上線工作流,隻有"上線"狀态的工作流能運作,但不能編輯。
- 下線: 工作流狀态為"上線"時,下線工作流,下線狀态的工作流可以編輯,但不能運作。
- 運作: 隻有上線的工作流能運作。運作操作步驟見運作工作流
- 定時: 隻有上線的工作流能設定定時,系統自動定時排程工作流運作。建立定時後的狀态為"下線",需在定時管理頁面上線定時才生效。定時操作步驟見工作流定時
- 定時管理: 定時管理頁面可編輯、上線/下線、删除定時。
- 删除: 删除工作流定義。
- 下載下傳: 下載下傳工作流定義到本地。
- 樹形圖: 以樹形結構展示任務節點的類型及任務狀态,如下圖所示:
運作工作流
點選項目管理->工作流->工作流定義,進入工作流定義頁面,如下圖所示,點選"上線"按鈕
點選”運作“按鈕,彈出啟動參數設定彈框,如下圖所示,設定啟動參數,點選彈框中的"運作"按鈕,工作流開始運作,工作流執行個體頁面生成一條工作流執行個體。
工作流運作參數說明:
- 失敗政策:當某一個任務節點執行失敗時,其他并行的任務節點需要執行的政策。”繼續“表示:某一任務失敗後,其他任務節點正常執行;”結束“表示:終止所有正在執行的任務,并終止整個流程。
- 通知政策:當流程結束,根據流程狀态發送流程執行資訊通知郵件,包含任何狀态都不發,成功發,失敗發,成功或失敗都發。
- 流程優先級:流程運作的優先級,分五個等級:最高(HIGHEST),高(HIGH),中(MEDIUM),低(LOW),最低(LOWEST)。當master線程數不足時,級别高的流程在執行隊列中會優先執行,相同優先級的流程按照先進先出的順序執行。
- worker分組:該流程隻能在指定的worker機器組裡執行。預設是Default,可以在任一worker上執行。
- 通知組:選擇通知政策||逾時報警||發生容錯時,會發送流程資訊或郵件到通知組裡的所有成員。
- 收件人:選擇通知政策||逾時報警||發生容錯時,會發送流程資訊或告警郵件到收件人清單。
- 抄送人:選擇通知政策||逾時報警||發生容錯時,會抄送流程資訊或告警郵件到抄送人清單。
- 啟動參數: 在啟動新的流程執行個體時,設定或覆寫全局參數的值。
- 補數:包括串行補數、并行補數2種模式。串行補數:指定時間範圍内,從開始日期至結束日期依次執行補數,依次生成N條流程執行個體;并行補數:指定時間範圍内,多天同時進行補數,同時生成N條流程執行個體。
- 補數: 執行指定日期的工作流定義,可以選擇補數時間範圍(目前隻支援針對連續的天進行補數),比如需要補5月1号到5月10号的資料,如下圖所示:
串行模式:補數從5月1号到5月10号依次執行,依次在流程執行個體頁面生成十條流程執行個體;
并行模式:同時執行5月1号到5月10号的任務,同時在流程執行個體頁面生成十條流程執行個體。
工作流定時
建立定時:點選項目管理->工作流->工作流定義,進入工作流定義頁面,上線工作流,點選"定時"按鈕,彈出定時參數設定彈框,如下圖所示:
- 選擇起止時間。在起止時間範圍内,定時運作工作流;不在起止時間範圍内,不再産生定時工作流執行個體。
- 添加一個每天淩晨5點執行一次的定時,如下圖所示:
- 敗政策、通知政策、流程優先級、Worker分組、通知組、收件人、抄送人同工作流運作參數。
- 點選"建立"按鈕,建立定時成功,此時定時狀态為"下線",定時需上線才生效。
- 定時上線:點選"定時管理"按鈕,進入定時管理頁面,點選"上線"按鈕,定時狀态變為"上線",如下圖所示,工作流定時生效。
導入工作流
點選項目管理->工作流->工作流定義,進入工作流定義頁面,點選"導入工作流"按鈕,導入本地工作流檔案,工作流定義清單顯示導入的工作流,狀态為下線。
🔊工作流實列
檢視工作流執行個體
點選項目管理->工作流->工作流執行個體,進入工作流執行個體頁面,如下圖所示:
點選工作流名稱,進入DAG檢視頁面,檢視任務執行狀态,如下圖所示。
檢視任務日志
點選"檢視日志",彈出日志彈框,如下圖所示,任務執行個體頁面也可檢視任務日志,參考[任務檢視日志]
檢視任務曆史記錄
- 點選項目管理->工作流->工作流執行個體,進入工作流執行個體頁面,點選工作流名稱,進入工作流DAG頁面;
- 輕按兩下任務節點,如下圖所示,點選"檢視曆史",跳轉到任務執行個體頁面,并展示該工作流執行個體運作的任務執行個體清單
檢視運作參數
- 點選項目管理->工作流->工作流執行個體,進入工作流執行個體頁面,點選工作流名稱,進入工作流DAG頁面;
- 點選左上角圖示,檢視工作流執行個體的啟動參數;點選圖示,檢視工作流執行個體的全局參數和局部參數,如下圖所示:
編輯: 隻能編輯已終止的流程。點選"編輯"按鈕或工作流執行個體名稱進入DAG編輯頁面,編輯後點選"儲存"按鈕,彈出儲存DAG彈框,如下圖所示,在彈框中勾選"是否更新到工作流定義",儲存後則更新工作流定義;若不勾選,則不更新工作流定義。
- 重跑: 重新執行已經終止的流程。
- 恢複失敗: 針對失敗的流程,可以執行恢複失敗操作,從失敗的節點開始執行。
- 停止: 對正在運作的流程進行停止操作,背景會先
worker程序,再執行kill
操作kill -9
- 暫停: 對正在運作的流程進行暫停操作,系統狀态變為等待執行,會等待正在執行的任務結束,暫停下一個要執行的任務。
- 恢複暫停: 對暫停的流程恢複,直接從暫停的節點開始運作
- 删除: 删除工作流執行個體及工作流執行個體下的任務執行個體
- 甘特圖: Gantt圖縱軸是某個工作流執行個體下的任務執行個體的拓撲排序,橫軸是任務執行個體的運作時間
dolphinScheduler(海豚排程器)進階dolphinScheduler進階
🔉任務執行個體
點選項目管理->工作流->任務執行個體,進入任務執行個體頁面,如下圖所示,點選工作流執行個體名稱,可跳轉到工作流執行個體DAG圖檢視任務狀态。
檢視日志:點選操作列中的“檢視日志”按鈕,可以檢視任務執行的日志情況。