作者:唐雲(茶幹)
大家好,2020 年轉眼就來了,先恭喜大家新年快樂,Flink 社群也會在新的一年中繼續陪伴大家,一起将 Flink 做大做好。
本文為 Flink Weekly 的第三期,由 Tang Yun 整理,主要内容包括:Flink 1.10.0 的釋出進展,将 blink planner 設定為 SQL client 預設 planner 的讨論,以及如何支援 SQL client gateway 的 FLIP。
Flink 開發進展
[Release] Yu 分享了目前 Flink-1.10 釋出的喜人進展,release-1.10 分支剛被拉出來時有 46 個 blocker,11 個 critical 級别的 issue,目前已經下降到隻有 12 個 blocker 級别的 issue,一個 RC 版本有望于近期釋出,可以通路下面的連結一睹為快:
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/ANNOUNCE-Progress-of-Apache-Flink-1-10-3-td36359.html[Build] 在社群郵件達成一緻後,目前 Flink 已經移除了廠商提供的倉庫支援:
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Drop-vendor-specific-repositories-from-pom-xml-td36113.html https://issues.apache.org/jira/browse/FLINK-15459[SQL] Forward Xu 發起了 FLIP-90(在 Flink SQL 中支援 SQL 2016-2017 JSON 函數)的投票,考慮到讨論時沒有收到負面意見,該投票有望較快通過。
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-90-Support-SQL-2016-2017-JSON-functions-in-Flink-SQL-td36341.html http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Support-JSON-functions-in-Flink-SQL-td32674.html[SQL] Jark 發起了在 Table API&SQL 中将"Time-windowed Join"重命名為"Interval Join" 的投票:
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-Rename-terminology-quot-Time-windowed-Join-quot-to-quot-Interval-Join-quot-in-Table-API-amp-SQL-td36370.html[SQL] Jark 發起了将 Blink planner 在 release 1.10 中設定為 SQL Client 預設 planner 的讨論。目前 Table API 仍然使用 Flink planner,但是也規劃在 release 1.11 中将 Blink planner 設定為預設 planner。理論上來說 Blink planner 是 Flink planner 的超集,當然不排除一些邊角功能沒有覆寫到,如果你有任何相關發現,歡迎在下面的郵件中回複:
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Set-default-planner-for-SQL-Client-to-Blink-planner-in-1-10-release-td36379.html[SQL] Godfreyhe 發起了支援 SQL client gateway(FLIP-91)的讨論。FLIP-91 的目标是在 FLIP-24 的基礎上使得 SQL Client 支援 REST/JDBC 接口,提高 Flink SQL 的易用性。
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-91-Support-SQL-Client-Gateway-td36349.html需要注意的一些缺陷
- [FLINK-15477] [1.9.1] 有使用者回報無法建立 BatchTableEnvironment。
- [FLINK-15467] [1.9.1] task cancel 階段沒有等待 source 線程發送完全資料。
- [FLINK-15466] 1.8.3 FlinkAggregateExpandDistinctAggregatesRule 會在執行帶有過濾的 distinct aggs 時建立錯誤的 SQL plan。
- [FLINK-15463] [1.9.1] 使用 table SQL API 連接配接 phoenix 時,會遇到 ClassNotFoundException 異常。
中文郵件問題答疑彙總
- IDEA 預設選擇 java 11 profile,導緻 IDEA 在 JDK8 下無法編譯 Flink。已經獲得了相關解決方法:
- Flink 記憶體配置相關的問題解答:
- 如何擷取一條資料記錄的處理時間:
- StreamTableEnvironment.registerDatastream() 開放使用者自定義的 schemaDescriptionh 和 DeserializationSchema:
2 分鐘快速訂閱 Flink 中文郵件清單
Apache Flink 中文郵件清單訂閱流程:
- 發送任意郵件到 [email protected]
- 收到官方确認郵件
- 回複該郵件 confirm 即可訂閱
訂閱成功後将收到 Flink 官方的中文郵件清單的消息,您可以向 [email protected] 發郵件提問也可以幫助别人解答問題,動動手測試一下!
Tips:
Flink Weekly 周報計劃每周更新一期,内容涵蓋郵件清單中使用者問題的解答、社群開發和提議的進展、社群新聞以及其他活動、部落格文章等,歡迎持續關注~
作者介紹:
唐雲(茶幹),南京大學碩士,2017 年加入阿裡巴巴實時計算事業部,專注 Flink 核心引擎開發,入職以來長期從事 Flink state & Checkpoint 相關研發,目前也積極參與 Flink on K8s 相關軟體化輸出開發和社群開發推廣工作。