天天看點

Apache Dolphinscheduler3.0.0-beta-1 版本釋出,新增FlinkSQL、Zeppelin任務類型

導讀:近日,Apache Dolphin Scheduler 迎來了 3.0.0-beta-1 版本的正式釋出。新版本主要針對 3.0.0-alpha 進行了代碼和文檔的修複,并引入了部分的功能,如支援 FlinkSQL 任務類型,新增 Zeppelin 任務類型,新增 Kubernetes namespace 管理功能,以及通過 bash 傳參功能等,具體更新詳見下文。

01 新功能

支援 FlinkSQL 任務類型

在該版本中,我們擴充了 Flink 任務類型,使其支援運作 Flink SQL 任務,其使用 sql-client.sh 送出任務。

更多詳情檢視:

flink sql client](https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/sqlclient/)

對應 PR:9840

【連結】

https://github.com/apache/dolphinscheduler/pull/9840

Apache Dolphinscheduler3.0.0-beta-1 版本釋出,新增FlinkSQL、Zeppelin任務類型

新增 Zeppelin 任務類型

在該版本中,我們增加了 Zeppelin 任務類型,用于建立并執行 Zeppelin 類型任務。Worker 執行該任務時,會通過 Zeppelin Cient API 觸發 Zeppelin Notebook 段落。

PR:9810

【連結】

https://github.com/apache/dolphinscheduler/pull/9810

Apache Dolphinscheduler3.0.0-beta-1 版本釋出,新增FlinkSQL、Zeppelin任務類型

新增 Kubernetes namespace 管理

該版本新增了 kubernetes namespace 管理功能,允許使用者在 Apache DolphinScheduler 中管理 Kubernetes 的 namespace。

PR:9303

【連結】:

https://github.com/apache/dolphinscheduler/pull/9303

新增通過shell元件擷取本地參數

新版本還新增了通過 bash 傳參的功能,如果你想在下遊任務中使用 bash 變量而不是常量值 export 參數,你可以在通過 setValue 和 Bash 變量實作,它更加靈活,可以讓你動态地擷取現有的本地或 HTTP 資源 擷取設定變量。

可以使用類似的文法:

Apache Dolphinscheduler3.0.0-beta-1 版本釋出,新增FlinkSQL、Zeppelin任務類型

PR:9586

【連結】

https://github.com/apache/dolphinscheduler/pull/9586

允許使用者上傳沒有字尾的檔案

之前資源中心隻能上傳有字尾的檔案,在 3.0.0-beta-1 版本後,我們支援使用者上傳沒有字尾的檔案。

02 Bug Fix

  • 3.0.0-alpha 各個部署方式出現的問題
  • 任務組為空時頁面報錯問題
  • treemap 視圖深度錯誤問題
  • 告警資訊不明确問題:告警組為空時報錯資訊不明确,批量删除工作流有異常時報錯資訊不明确,租戶内容錯長的錯誤提示,删除
  • 參數校驗問題:資料源中心的參數校驗問題,修改密碼時密碼不一緻提示,發告警前校驗 alert script
  • Python api:不能設定 release state 問題,本地參數有值但是校驗失敗問題
  • token 查詢不遵循時區問題
  • 修複 HTTPS 和 HTTP 字元串識别問題
  • 修複 alert server 健康監測失效問題
  • 修複 condition 任務分支失敗問題
  • 修複 docker 鏡像不支援多平台問題
  • 修複帶有任務組優先級的工作流建立時不能正确寫資料庫的問題
  • master 任務的失效問題
  • 修複串行等待不運作的問題
  • 時區問題:排程時區錯誤問題,日志增加時區支援
  • 重新運作、暫停工作流執行個體失敗問題
  • 資源中心執行個體化失敗問題

03 文檔修改 更正部署文檔

修複、更新部分使用文檔:WebexTeams 中文文檔,本地參數、全局參數文檔,Kubernetes FAQ 文檔,Spark 注意事項文檔,DataX 使用文檔,删除 Flink API 文檔,修複 open-api 的錯誤,修複資料品質中的錯誤文檔;新增 stand-alone 切換資料庫文檔;新增 shell 中判斷 Yarn 運作狀态文檔;新增更新系統截圖

04 具體修改

05 感謝 3.0.0-beta-1 版本貢獻者