衆所周知,Apache Flink(以下簡稱 Flink)最早誕生于歐洲,2014 年由其創始團隊捐贈給 Apache 基金會。如同其他誕生之初的項目,它新鮮,它開源,它适應了快速轉的世界中更重視的速度與靈活性。
大資料時代對人類的資料駕馭能力提出了新的挑戰,Flink 的誕生為企業使用者獲得更為快速、準确的計算能力提供了前所未有的空間與潛力。作為公認的新一代大資料計算引擎,Flink 究竟以何魅力成為阿裡、騰訊、滴滴、美團、位元組跳動、Netflix、Lyft 等國内外知名公司建設流計算平台的首選?

驚喜環節:ASK ME ANYTHING
提前劇透:大會現場将邀請 Apache Flink 核心貢獻者們設定 Ask Me Anything 驚喜環節,Flink SQL、Runtime、Hive 等任何關于 Flink 的技術問題可以現場提問!
Flink 親爹 Stephan 同學也可能參與現場互動哦,如果你好奇 Flink 的 logo 為什麼是小松鼠就可以當面舉手提問啦~
核心技術專場部分精彩議題概覽
《将 Apache Flink 用作一體化的資料處理平台》
崔星燦,Apache Flink Committer,York University 博士後
作為新一代的流處理引擎,Apache Flink 已經廣泛應用于很多實時作業場景中。我們發現它在經過近幾個版本的疊代後,已經具備一些成為一體化資料處理平台的潛力,可同時用來處理動态和靜态的資料,進行分布式和集中式計算,以及支援作業式和互動式任務等。
本次演講,我們旨在向大家展示一些探索性質的嘗試——将 Apache Flink 用作某一通用資料處理流程的一體化後端平台。具體而言,我們會首先介紹這一通用的資料處理流程,并簡要描述它每個階段的特點。随後,我們會詳細解釋如何在不觸及 Flink 核心的前提下對其進行“塑造”,以滿足多樣化的資料處理需求。在此期間還會涉及部分對 Flink 運作機制的講解。最後,基于将 Flink 打造成為一個真正的一體化資料處理平台這一目标,我們将對未來工作進行一些展望。
《Bring Cross DC and Cross Data Source SQL Engine to Apache Flink》
張韶全,騰訊 Senior Engineer
漂移計算 SuperSQL 是騰訊大資料自研的跨資料中心、跨叢集、跨資料源的高性能大資料 SQL 引擎,滿足對位于不同資料中心/叢集的不同類型資料源的資料聯邦分析/即時查詢的需求。解決大資料中資料孤島難題,降低資料使用壁壘,提升資料使用效率,最大化資料價值。
在這個演講中,我們會介紹漂移計算 SuperSQL 項目的細節,包括:
- 漂移計算的背景和定位
- 漂移計算的主要技術挑戰
- 漂移計算的整體架構
- 漂移計算的技術細節
- 漂移計算的性能表現
- 未來規劃
《New Flink source API: Make it easy》
秦江傑,Apache Flink PMC,Apache Kafka PMC,阿裡巴巴進階技術專家
Flink 已經擁有了豐富的 connector 生态,但是要為 Flink 建立一個生産可用的 connector 依然需要考慮包括多并發協同,一緻性語義,線程模型和容錯等在内的一系列問題,而其中 Source 相對于 Sink 又更為複雜。為了讓使用者更容易實作高品質的 connector,Flink 社群在 FLIP-27 中引入了一個新的 Flink Source API,旨在幫使用者解決上述一系列複雜問題,讓使用者可以快速編寫一個高品質的 connector。本演講将介紹新的 Flink Source API 的設計思路以及如何利用新的 Source Connector API 快速建立一個生産可用的 Flink source connector。
《深入探索 Flink SQL 流批統一的查詢引擎與最佳實踐》
伍翀,Apache Flink Committer,阿裡巴巴技術專家
李勁松,Apache Beam Committer,阿裡巴巴技術專家
Flink SQL 作為 Apache Flink 的核心子產品,已經收獲了越來越多使用者的關注,并且以其易于使用的 API 和高性能的 SQL 引擎,在生産實踐中扮演者越來越重要的角色。
該演講将以最新釋出的 Flink SQL 為切入點,分别從流處理和批處理的角度,重點分享 Flink SQL 中核心功能的技術細節和調優經驗,聽衆将收獲對 Flink SQL 更深入的了解,以及了解如何對 Flink SQL 作業進行調優。
Apache Flink 核心技術專場完整議程
(11 月 28 日下午)
(11 月 29 日上午)
深度教育訓練,實作技術與應用能力的積累提升
大會組委會還為使用 Flink、希望深度學習的開發者們精心準備了教育訓練課程。屆時,來自阿裡巴巴和 Ververica 的 Flink 專家們将帶領開發者開展為期一天半的深度學習。
- Apache Flink PMC 帶隊,超豪華陣容,阿裡巴巴及 Flink 創始團隊資深技術專家擔任教育訓練講師,為開發者教育訓練課程制定全面學習體系。
- 課程能夠滿足不同學習需求,無論是入門還是進階,開發者可根據自身基礎選擇課程内容,實作技術與應用能力上的積累與提升。
課程主要大綱如下:
- 中階一:Apache Flink 開發人員教育訓練
本課程是對想要學習建構流應用程式的 Java 和 Scala 開發人員進行的關于 Apache Flink 的實踐介紹。教育訓練将重點介紹分布式資料流、事件時間和狀态等核心概念。練習将使您有機會了解以上概念在 API 中是如何被展現的,并了解如何将這些概念組合用以解決實際問題。
- 介紹流計算和 Apache Flink
- DataStream API 的基礎
- 為 Flink 開發做準備(包括練習)
- 有狀态的流處理(包括練習)
- 時間、定時器和 ProcessFunction(包括練習)
- 連接配接多個流(包括練習)
- 測試(包括練習)
說明:不需要 Apache Flink 的相關知識。
- 中階二:Apache Flink 運維教育訓練
本課程是針對 Apache Flink 應用程式的部署和操作相關的實踐性介紹。目标閱聽人包括負責部署 Flink 應用程式和維護 Flink 叢集的開發人員和運維人員。示範将重點介紹 Flink 運作中涉及的核心概念,以及用于部署、更新和監控 Flink 應用程式的主要工具。
- 資料中心裡的 Flink
- 分布式架構介紹
- 容器化部署(包括實際操作)
- 狀态後端和容錯(包括實際操作)
- 更新和狀态遷移(包括實際操作)
- 名額(包括實踐)
- 容量規劃
說明:不需要對 Apache Flink 有先驗知識。
- 中階三:SQL 開發人員教育訓練
Apache Flink 支援 SQL 作為流處理和批處理的統一 API。SQL 可以用于各種各樣的場景,并且相比使用 Flink 的底層 API,SQL 将更容易建構和維護。在本次教育訓練中,您将學習到如何充分發揮使用 SQL 來編寫 Apache Flink 作業的潛力。我們将研究流式 SQL 的不同案例,包括連接配接流資料、維表關聯、視窗聚合、維護物化視圖,以及使用 MATCH RECOGNIZE 子句進行模式比對(這是 SQL 2016 新提出的标準)。
- 介紹 SQL on Flink
- 使用 SQL 查詢動态表
- 連接配接動态表
- 模式比對與 match_recognition
- 生态系統&寫外部表
說明:不需要 Apache Flink 的先驗知識,但是需要基本的 SQL 知識。
- 高階:Apache Flink 調優和問題排查
在過去的幾年中,我們與許多 Flink 使用者合作溝通期間了解到許多将流計算作業從早期 PoC 階段慢慢過渡到生産過程中最常見的挑戰。在此次教育訓練中,我們将集中精力介紹這些挑戰,并且幫助大家一起消除它。我們将提供一個有用的故障診斷工具集,并介紹例如監控、水印、序列化、狀态後端等領域的最佳實踐和技巧。在實踐課程的間隙中,參與者将有機會使用新學習到的知識來解決一些異常 Flink 作業表現出來的問題。同時,我們也将歸納那些使作業沒有進展或吞吐量沒有達到預期,或作業延遲的常見原因。
- 時間和水印
- 狀态處理和狀态後端
- Flink 的容錯機制
- 檢查點和儲存點
- DataStream API 和 ProcessFunction。
教育訓練系列課程為精品小班教學,數量有限,預約滿額将關閉入口,有相關教育訓練需求的同學可盡早預約。詳細說明:
- 參加教育訓練請選擇購買 VIP 套票。中階教育訓練購買 VIP 套票 1,高階教育訓練購買 VIP 套票 2。
- VIP 套票 1 可參與中階所有課程,VIP 套票 2 可參與包括高階、中階教育訓練在内的所有課程。
如果你也好奇 Flink 未來的主要探索方向,如何利用 Flink 将大資料、算力推到極緻,Flink 有哪些新場景、新規劃以及最佳實踐等話題,來現場吧!相信這群來自一線的技術專家們,一定會重新整理你對 Apache Flink 的認知。
點選「
閱讀原文」可了解更多教育訓練課程與 Flink Forward Asia 2019 大會議程~