6月29日,Apache Flink Meetup 北京站圓滿落幕,Apache Flink 1.9 版本是自 Flink 1.0 之後變化最大的版本,社群對 Flink 進行大量重構并且加入了很多新 Feature。此次 Meetup 重點解讀 Flink 1.9 版本新特性。
▼ PPT下載下傳 ▼
關注Apache Flink 社群公衆号Ververica,回複關鍵字“0629PPT”即可下載下傳Apache Flink Meetup 北京站全部嘉賓分享的PPT.
本期 Meetup 由 Apache Flink PMC 與 Committer 開場,對 Flink 1.9 版本新特性進行全面分享;阿裡巴巴技術專家從 Table API 和算法層面分享 Flink 的機器學習生态;還有 Flink on Kubernetes 、Flink 1.9 版本與 Hive 的相容性解讀,以及超過千台叢集、日處理條目超過 264 億條,處理峰值超過 3.6 千萬條 / s 的 Flink 在快手的應用實踐。
《Apache Flink 1.9 特性解讀》
楊克特 | Apache Flink Committer,阿裡巴巴進階技術專家
戴資力 | Apache Flink PMC ,Ververica Software Engineer
《Apache Flink 1.9 特性解讀》由魯尼老師與戴資力老師從 Flink 1.9.0 的特性解讀與未來版本計劃兩方面分享。新特性部分主要從 Flink 1.9.0 架構的改動、Table API & SQL、Runtime & Core 以及生态四部分内容,關于 Flink 未來的版本計劃主要分享了 SQL、Runtime 以及 Flink 的周邊生态。
1.Apache Flink 1.9.0 特性解讀
- 架構改動
- Table API & SQL
- Runtime & Core
- 生态
2.未來版本計劃
- SQL
- Runtime
《打造基于 Flink Table API 的機器學習生态》
秦江傑 | Apache Kafka PMC,阿裡巴巴 進階技術專家
《打造基于 Flink Table API 的機器學習生态》由秦江傑老師分享,主要從為什麼選擇 TableAPI + AI 以及如何建構基于 TableAPI 的 AI 生态系統。
Why TableAPI + AI?
Build an AI Ecosystem on TableAPI
- TableAPI enhancement
- Iteration
- Machine Learning Pipeline & ML Libs
- Deep Learning on Flink (TensorFlow, PyTorch)
《基于 Flink on Kubernetes 的大資料平台》
張凱 | 阿裡雲 進階技術專家
任春德 | 阿裡雲 進階技術專家
《基于 Flink on Kubernetes 的大資料平台》由張凱老師和任春德老師分享,主要從 K8s 簡介、Flink on K8s、大資料平台以及展望四個方面分享。
- K8s 簡介
- Flink on K8s
- 大資料平台
- 展望
《基于 Apache Flink 的高性能機器學習算法庫》
楊旭 | 阿裡巴巴 資深算法專家
《基于 Apache Flink 的高性能機器學習算法庫》由楊旭老師分享,楊旭老師主要分享了阿裡巴巴計算平台事業部與 Flink 社群合作,開源自研的機器學習算法庫,如何基于該算法庫更友善地建構高性能的 Flink 機器學習作業以及基于 Flink 研發高性能機器學習算法庫過程中的技術積累與收獲。
- 概論
- 高性能機器學習算法庫介紹
- 高性能機器學習算法庫的核心技術
- 開源
《Apache Flink 在快手的應用與實踐》
董亭亭 | 快手 實時計算引擎團隊負責人
《Apache Flink 在快手的應用與實踐》由董亭亭老師分享,主要介紹 Flink 系統在快手的應用實踐,以及快手遇到的穩定性、性能等相關問題以及解決思路。例如,如何解決 interval join 場景下 rockdb backend 的性能瓶頸、大量讀取曆史資料時多資料源取數速度差異導緻的穩定性問題等等。
Flink 在快手應用場景與規模
快手 Flink 引擎的優化與改進
未來計劃
《Apache Flink 1.9 與 Hive 的相容性》
李銳 | Apache Hive PMC,阿裡巴巴技術專家
《Apache Flink 1.9 與 Hive 的相容性》由李銳老師分享,主要介紹了 Flink 與 Hive 內建項目的背景,項目的設計與架構,在 Flink 1.9 中與 Hive 內建的進展,以及我們後續工作的計劃等。
- Flink 與 Hive 項目內建的背景
- 設計架構
- 項目進展
- Q & A
以上是 Apache Flink Meetup 北京站的全部内容,感謝報名的 1000+ 同學以及到場的 600+ 同學!Flink 1.9 版本将是自 Flink 1.0 以後變化最大的一個版本,希望今天老師們的分享能夠帶大家對 Flink 1.9 版本有個前瞻性的了解 ,一起期待Flink 1.9 版本的正式釋出!