導讀:近日,Apache Dolphin Scheduler 迎來了 3.0.0-beta-1 版本的正式釋出。新版本主要針對 3.0.0-alpha 進行了代碼和文檔的修複,并引入了部分的功能,如支援 FlinkSQL 任務類型,新增 Zeppelin 任務類型,新增 Kubernetes namespace 管理功能,以及通過 bash 傳參功能等,具體更新詳見下文。
01 新功能
支援 FlinkSQL 任務類型
在該版本中,我們擴充了 Flink 任務類型,使其支援運作 Flink SQL 任務,其使用 sql-client.sh 送出任務。
更多詳情檢視:
flink sql client](https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/sqlclient/)
對應 PR:9840
【連結】
https://github.com/apache/dolphinscheduler/pull/9840

新增 Zeppelin 任務類型
在該版本中,我們增加了 Zeppelin 任務類型,用于建立并執行 Zeppelin 類型任務。Worker 執行該任務時,會通過 Zeppelin Cient API 觸發 Zeppelin Notebook 段落。
PR:9810
【連結】
https://github.com/apache/dolphinscheduler/pull/9810
新增 Kubernetes namespace 管理
該版本新增了 kubernetes namespace 管理功能,允許使用者在 Apache DolphinScheduler 中管理 Kubernetes 的 namespace。
PR:9303
【連結】:
https://github.com/apache/dolphinscheduler/pull/9303
新增通過shell元件擷取本地參數
新版本還新增了通過 bash 傳參的功能,如果你想在下遊任務中使用 bash 變量而不是常量值 export 參數,你可以在通過 setValue 和 Bash 變量實作,它更加靈活,可以讓你動态地擷取現有的本地或 HTTP 資源 擷取設定變量。
可以使用類似的文法:
PR:9586
【連結】
https://github.com/apache/dolphinscheduler/pull/9586
允許使用者上傳沒有字尾的檔案
之前資源中心隻能上傳有字尾的檔案,在 3.0.0-beta-1 版本後,我們支援使用者上傳沒有字尾的檔案。
02 Bug Fix
- 3.0.0-alpha 各個部署方式出現的問題
- 任務組為空時頁面報錯問題
- treemap 視圖深度錯誤問題
- 告警資訊不明确問題:告警組為空時報錯資訊不明确,批量删除工作流有異常時報錯資訊不明确,租戶内容錯長的錯誤提示,删除
- 參數校驗問題:資料源中心的參數校驗問題,修改密碼時密碼不一緻提示,發告警前校驗 alert script
- Python api:不能設定 release state 問題,本地參數有值但是校驗失敗問題
- token 查詢不遵循時區問題
- 修複 HTTPS 和 HTTP 字元串識别問題
- 修複 alert server 健康監測失效問題
- 修複 condition 任務分支失敗問題
- 修複 docker 鏡像不支援多平台問題
- 修複帶有任務組優先級的工作流建立時不能正确寫資料庫的問題
- master 任務的失效問題
- 修複串行等待不運作的問題
- 時區問題:排程時區錯誤問題,日志增加時區支援
- 重新運作、暫停工作流執行個體失敗問題
- 資源中心執行個體化失敗問題
03 文檔修改 更正部署文檔
修複、更新部分使用文檔:WebexTeams 中文文檔,本地參數、全局參數文檔,Kubernetes FAQ 文檔,Spark 注意事項文檔,DataX 使用文檔,删除 Flink API 文檔,修複 open-api 的錯誤,修複資料品質中的錯誤文檔;新增 stand-alone 切換資料庫文檔;新增 shell 中判斷 Yarn 運作狀态文檔;新增更新系統截圖