Flink Weekly | 每周社群動态更新 - 20200318

大家好，本文為 Flink Weekly 的第九期，由沈磊（LakeShen）整理，主要内容包括：近期社群開發進展，郵件問題答疑以及 Flink 最新社群動态及本周社群直播内容、技術文章推薦。

Flink 開發進展

■ [Table API & SQL] Jingsong Li 發起 FLIP-115 的讨論，主要在 Flink Table 支援 FileSystem Connector,FLIP-115 主要内容包括：

在 Flink Table 中支援 FileSystem Table Factory，同時支援csv/parquet/orc/json/avro 格式。

支援在流應用或者 Flink On Hive 中資料輸出。

更多資訊請參考：

[1]

https://cwiki.apache.org/confluence/display/FLINK/FLIP-115%3A+Filesystem+connector+in+Table

[2]

http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/DISCUSS-FLIP-115-Filesystem-connector-in-Table-td33625.html

■ [RunTime / Configuration] Andrey 發起 FLIP-116 統一的 JobManager 的記憶體配置的讨論，在 FLIP-49中，我們針對 TaskManager 進行統一的記憶體管理和配置，在 Flink 1.10 版本中 release 該功能。為了讓 JobManager 的記憶體模型和配置保持對齊，同時針對使用者代碼 native non-direct memory 的使用，在FLIP-116 中都進行了詳細說明。更多資訊請參考：

[3]

https://cwiki.apache.org/confluence/display/FLINK/FLIP-49%3A+Unified+Memory+Configuration+for+TaskExecutors

[4]

https://cwiki.apache.org/confluence/display/FLINK/FLIP+116%3A+Unified+Memory+Configuration+for+Job+Managers

[5]

https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/memory/mem_detail.html#overview

■ [Connectors / HBase] Flavio 發起了 FLIP-117 HBase Catalog的讨論，該 FLIP 主要讨論 HBaseCatalog 的實作。更多資訊參考：

[6]

https://cwiki.apache.org/confluence/display/FLINK/FLIP-117%3A+HBase+catalog

[7]

https://issues.apache.org/jira/browse/FLINK-16575

■ Yu Li 發起了 Releasing Flink 1.10.1 的相關讨論。

[8]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Releasing-Flink-1-10-1-td38689.html

■ 為了讓大家了解到 Flink 1.11 的相關特性，Zhijiang 發起了 Flink 1.11 特性的讨論，大家有什麼想法或者期待可以在下面郵件中進行相關回複。

[9]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Features-of-Apache-Flink-1-11-td38724.html#a38793

郵件問題答疑

■ shravan 社群提問：當 k8s 叢集突然 down 掉時，如何優雅的通過 stop with savepoint 停止作業，Vijay 進行了解答。

[10]

http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Stop-job-with-savepoint-during-graceful-shutdown-on-a-k8s-cluster-td33626.html

■ Alexander 使用 Flink 1.10 ，對于 Mesos 容器記憶體配置方面遇到一些問題，Yangze Guo進行了詳細解答。

[11]

http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-1-10-container-memory-configuration-with-Mesos-td33594.html

■ wanglei2 詢問了在 Flink SQL 任務中，如何設定狀态後端,以及在 SQL Client 中，維表 Join 任務沒有運作問題。Jingsong Li 和 Zhenghua Gao 分别進行了詳細的回答。

[12]

http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/How-to-set-stateBackEnd-in-flink-sql-program-td33590.html

[13]

http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/dimention-table-join-not-work-under-sql-client-fink-1-10-0-td33616.html

■ Yuval 提問了關于 Flink 如何從增量的 Checkpoint 狀态回複的一些問題，Andrey 進行了詳細的解答。

[14]

http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Restoring-state-from-an-incremental-RocksDB-checkpoint-td33630.html

■ Eyal 遇到了一些 Flink On Yarn 方面的日志列印配置問題，社群同學進行了解答。

[15]

http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Setting-app-Flink-logger-td33537.html

■ Flavio 在社群提問了關于 Alink 和 Flink ML 的問題，感興趣的可以看一下。

[16]

http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Alink-and-Flink-ML-td33332.html

■ LakeShen 詢問了關于從 Checkppoint 狀态檔案恢複，是否能夠改變算子的并發的問題。對于 Checkpoint 的狀态檔案，當任務從其開始恢複時，可以調整算法的并發度，隻要不要修改算子最大的并發度就行。

[17]

http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Cancel-the-flink-task-and-restore-from-checkpoint-can-I-change-the-flink-operator-s-parallelism-td33613.html

■ karl 在社群提問了關于 Flink Session 視窗的狀态 TTL 問題。

[18]

http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-Session-Windows-State-TTL-td33349.html

活動 / 部落格文章 / 其他

■

SQL 開發任務超 50%，滴滴實時計算的演進和優化 Flink 如何支援特征工程、線上學習、線上預測等 AI 場景？ 一行配置作業性能提升53%！Flink SQL 性能之旅 有贊實時任務優化：Flink Checkpoint 異常解析與應用實踐

■ Flink 中文社群進行了【1.10 特别篇】系列直播：《PyFlink 架構、應用案例及未來規劃》，由 Apache Flink PMC，阿裡巴巴進階技術專家孫金城分享。

• 公衆号背景回複關鍵字「PyFlink」可擷取嘉賓分享 PPT。
• 直播回顧： https://ververica.cn/developers/flink-training-course3/

2 分鐘快速訂閱 Flink 中文郵件清單

Apache Flink 中文郵件清單訂閱流程：

1. 發送任意郵件到 [email protected]
2. 收到官方确認郵件
3. 回複該郵件 confirm 即可訂閱

訂閱成功後将收到 Flink 官方的中文郵件清單的消息，您可以向 [email protected] 發郵件提問也可以幫助别人解答問題，動動手測試一下！

Tips：

Flink Weekly 周報計劃每周更新一期，内容涵蓋郵件清單中使用者問題的解答、社群開發和提議的進展、社群新聞以及其他活動、部落格文章等，歡迎持續關注～

作者介紹：

沈磊（LakeShen），目前在有贊負責實時平台、以及 Flink 相關開發和維護工作。積極參與 Flink 開源社群，喜歡和大家分享 Flink 技術，個人也寫了很多 Flink 相關技術文章，幫助大家一起學習 Flink。