天天看點

DS Meetup:重構大資料平台,幫你避開排程更新改造/叢集遷移的坑01 報名通道02議程介紹

DS Meetup:重構大資料平台,幫你避開排程更新改造/叢集遷移的坑01 報名通道02議程介紹

當今許多企業都有着技術架構的DataOps程度不夠、二次開發成本高、遷移成本高、叢集部署混亂等情況,團隊在技術選型之後發現并不适合自己的需求,但是遷移成本和難度又比較大,甚至前團隊還留下了不少坑,企業自有的開發能力又比較有限,導緻後面的小夥伴上手難度高體驗差。

俗話說“工具選得好,下班回家早;排程用得對,半夜安心睡”,面對各種難點和痛點:

  • 如何有效地評估資料排程工具?
  • 如何平滑的過渡到Apache DolphinScheduler?
  • 如何穩定高效的對已有的工具更新改造?

這幾個問題是改善現有狀況的重中之重,是保障企業和團隊資料排程任務高效運作的引擎。

不論你是處在什麼企業,如果你正為資料排程工具的選型或遷移而苦惱;缺乏任務可視化編輯界面、補數和重試等必要功能;甚至連監控和管理功能都沒有;

這就說明,你是時候來參加本期Meetup活動啦 !

DS Meetup:重構大資料平台,幫你避開排程更新改造/叢集遷移的坑01 報名通道02議程介紹

2022年5月28日,Apache DolphinScheduler 社群邀請了來自當貝科技、Fordeal、JuiceFS社群等企業的資深大資料工程師與開發者,分享他們在技術選型、平台遷移、場景探索、優化與改造 Apache DolphinScheduler 過程中遭遇的問題與挑戰。

除此之外,我們還特别邀請到了JuiceFS社群技術專家,跟大家延伸探讨關于設計雲檔案系統和日志歸檔場景中Apache DolphinScheduler的實踐。無論你是Apache DolphinScheduler的開發工程師還是個人愛好者,來到本次Meetup,你一定能聽到一手的分享,得到一手的收獲!

Apache DolphinScheduler作為新一代的大資料任務排程系統,緻力于讓排程變得更加容易。身為一款專門針對于大資料平台的工作排程系統,具有本土化風格和多樣化的部署方式。

01 報名通道

Apache DolphinScheduler Meetup | 5 月線上直播報名通道已開啟,趕快預約吧!

時間:2022-5-28 14:00-16:10

形式:線上直播

點選原文連結或掃碼預約報名(免費): https://zhibo.51cto.com/liveDetail/126

掃碼預約報名

掃碼添加群聊

02議程介紹

DS Meetup:重構大資料平台,幫你避開排程更新改造/叢集遷移的坑01 報名通道02議程介紹

王昱翔 當貝大資料平台基礎開發工程師

畢業于電子科技大學,主要是做大資料平台的建構、內建及元件的運維的工作

演講時間:14:00-14:40

演講題目:Apache DolphinScheduler在當貝大資料環境中的應用

演講概要:之前當貝的大資料平台用的是Hadoop和CDH混合産物 ,排程用的是Oozie,主要問題是缺少補數和重試機制沒有,導緻使用者上手難體驗差,還存在hadoop叢集部署混亂和clickhouse混合部署等問題,經過調研後,現在主要用Apache DolphinScheduler解決遷移叢集、大資料平台重構、資料遷移、排程告警等問題!

DS Meetup:重構大資料平台,幫你避開排程更新改造/叢集遷移的坑01 報名通道02議程介紹

盧棟    Fordeal 大資料開發工程師

5年的資料開發相關經驗,目前就職于Fordeal

主要關注的資料技術方向包括:湖倉一體、MPP資料庫、資料可視化等

演講時間:14:40-15:30

演講題目:資料平台排程更新改造,從Azkaban平滑過渡到Apache DolphinScheduler

演講概要:Fordeal資料平台排程系統之前是基于Azkaban進行二次開發的,使用者層面的問題是缺少任務可視化編輯界面、補數等必要功能,導緻使用者上手難體驗差。技術層面的問題是架構過時持續疊代難度大。經過調研後,新版系統決定基于DolphinScheduler進行更新改造。整個遷移過程中面臨最大的問題是如何讓使用方平滑過渡到新系統,為了平滑遷移做了哪些更新改造?

15:30-15:35 填寫問卷抽獎環節

DS Meetup:重構大資料平台,幫你避開排程更新改造/叢集遷移的坑01 報名通道02議程介紹

蘇銳Juicedata 合夥人

畢業于西安電子科技大學。在北航攻讀碩士期間,作為早期工程師先後在傲遊(Maxthon)浏覽器、豆瓣任職。2014 年創立上門汽車服務品牌功夫洗車,并任 CEO 帶領團隊完成兩輪融資。2017 年加入 Juicedata 開始新一次創業之旅,公司旗下的核心産品 JuiceFS 是一款面向雲環境設計的分布式檔案系統,以創新的設計定義了雲時代檔案存儲的架構,服務數字化時代對海量資料、海量檔案的存儲與計算需求,已落地近百家領先科技企業。

演講時間:15:35-16:05