Flink Weekly | 每周社群動态更新 - 20200313

作者：張成

大家好，本文為 Flink Weekly 的第八期，由張成整理，主要内容包括：近期社群開發進展，郵件問題答疑以及 Flink 最新社群動态及本周社群直播内容推薦。

Flink 開發進展

■ Yangze Guo 在 FLIP-108 中建議 Flink 支援對 GPU 的資源管理。

[1]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-108-Add-GPU-support-in-Flink-tp38286.html

■ 從 Flink 1.10.0 開始，Apache Flink 項目開始維護 Flink Docker。

[2]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-111-Docker-image-unification-tp38444.html

■ Arvid 更新了 FLIP-76（Unaligned Checkpoints），并希望盡快進行投票。

[3]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-76-Unaligned-checkpoints-tp33651.html

■ Tison 提議改變 flink-streaming-java 的依賴結構。

[4]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/PROPOSAL-Reverse-the-dependency-from-flink-streaming-java-to-flink-client-tp38469.html

■ Arvid 建議啟動一個 Flink 開發者部落格，這個部落格涵蓋目前正在做或者即将要做的工作。該提案已收到其他送出者的許多積極回報。

[5]

https://cwiki.apache.org/confluence/display/FLINK/Apache+Flink+Home

[6]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Flink-dev-blog-tp38316p38344.html

■ Dawid 建議在 “CREATE TABLE” 語句中支援 “LIKE”。這樣 Flink SQL 可以輕松地調整/擴充現有表。這個随着 Flink 增加對更多外部系統的支援，變得越來越相關。（SchemaRegistry，HiveCatalog，JDBCCatalog 等)。

[7]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-110-Support-LIKE-clause-in-CREATE-TABLE-tp38378p38421.html

■ FLIP-58 在 SQL 和 Table API 中引入了 Python UDF。FLIP-79 在 Flink SQL 中添加了 Function DDL，以便在 SQL 中注冊 Java 和 Scala UDF。

基于這兩個 FLIP，Wei Zhon 釋出了 FLIP-106 在 SQL Function DDL 中支援 Python UDF。

[8]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-106-Support-Python-UDF-in-SQL-Function-DDL-tp38107.html

郵件問題答疑

■ Jark Wu 正在統計使用 CDC 的工具，有興趣的同學可以去圍觀。

[9]

http://apache-flink.147419.n8.nabble.com/SURVEY-CDC-td1910.html

■ 目前 Flink SQL 尚不支援 CREATE TABLE 自動從 format 或 schema 服務中推斷出字段資訊。

[10]

http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/CREATE-TABLE-with-Schema-derived-from-format-td33365.html

[11]

https://issues.apache.org/jira/browse/FLINK-16420

■ 目前 Flink SQL 尚不支援 SHOW CREATE TABLE，感興趣的可以跟進 FLINK-16384。

[12]

http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/SHOW-CREATE-TABLE-in-Flink-SQL-td33296.html

■ 目前在 Flink SQL 中使用 tumbling window 求 topn 暫時不支援，Jark Wu 在郵件中進行了詳細的解答。

[13]

http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Get-Tumbling-Window-Top-K-using-SQL-td33236.html

■ pkuvisdudu 對 Flink 記憶體類型提出了相關疑問，Xintong Song 在郵件中進行了詳細的解釋。

[14]

http://apache-flink.147419.n8.nabble.com/Flink-td1869.html

■ Flink SQL 将 group 聚合的資料寫入到 HBase 表報 primary keys 問題，由 Jark Wu 進行了詳細解答。

[15]

http://apache-flink.147419.n8.nabble.com/Flink-SQL-group-HBase-primary-keys-td1877.html

■ 小旋鋒提問 flink elasticsearch sink 如何能不丢資料？Jark Wu 進行了詳細的回答，有興趣的可以查閱。

[16]

http://apache-flink.147419.n8.nabble.com/flink-elasticsearch-sink-td1862.html

■ sunfulin 遇到了在 SQL 中使用 UDF 同時開啟 checkpoint，會導緻任務報錯。

[17]

http://apache-flink.147419.n8.nabble.com/Flink-SQL-job-failed-to-submit-with-enableCheckpointing-while-SQL-contains-UDF-td1804.html

■ 王博迪在郵件中提到如何進行問題咨詢。英文交流郵箱是 [email protected]，中文交流郵箱是 [email protected]。

[18]

http://apache-flink.147419.n8.nabble.com/Development-related-problems-consultation-td1821.html

■ 使用者的任務大約 6 天挂一次，看日志定位為 checkpoint 失敗導緻。

[19]

http://apache-flink.147419.n8.nabble.com/flink-td1871.html

■ nicygan 想以 per-job 的方式在 Yarn 上面送出 Flink 任務報錯，Tison 在郵件清單中進行了詳細的解答。

[20]

http://apache-flink.147419.n8.nabble.com/jobGroph-pre-job-yarn-td1859.html

活動 / 部落格文章 / 其他

■ 袋鼠雲技術公司 DTStack 最近在 flink-packages.org 上釋出了 FlinkX。

FlinkX 基于 Apache Flink，能夠實作某些資料源之間的互相導入。

[21]

https://flink-packages.org/packages/flinkx

■ Flink 中文社群進行了實時數倉系列直播。

• 利用 Flink 實作實時逾時統計場景，由菜鳥進階資料工程師馬汶園分享
• 利用 Flink 實作實時狀态複用場景，由菜鳥資料工程師李晨分享

直播回顧：

https://ververica.cn/developers/flink-training-course3/

2 分鐘快速訂閱 Flink 中文郵件清單

Apache Flink 中文郵件清單訂閱流程：

1. 發送任意郵件到 [email protected]
2. 收到官方确認郵件
3. 回複該郵件 confirm 即可訂閱

訂閱成功後将收到 Flink 官方的中文郵件清單的消息，您可以向 [email protected] 發郵件提問也可以幫助别人解答問題，動動手測試一下！

Tips：

Flink Weekly 周報計劃每周更新一期，内容涵蓋郵件清單中使用者問題的解答、社群開發和提議的進展、社群新聞以及其他活動、部落格文章等，歡迎持續關注～

作者介紹：

張成，小紅書技術部基礎平台開發工程師，目前主要在做基于 Flink 的實時計算平台開發。