Flink Weekly | 每周社群動态更新 - 2019/12/31

大家好，本文為 Flink Weekly 的第二期，由 zhisheng 整理，主要内容包括：讨論在 Flink SQL 中支援 JSON functions，新增 Flink 國内社群的活動和相關部落格，以及彙總中文郵件中大家遇到的問題。

Flink 開發

• [SQL] Forward Xu 發起了一個讨論，要在 Flink SQL 中支援 JSON functions，最後将讨論的結果和想法記錄在了 FLIP-90 。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Support-JSON-functions-in-Flink-SQL-td32674.html

• [SQL] Jark Wu 發起一個讨論，建議在 1.10 release 之前将 Table API 和 SQL 中的 Time-windowed Join 改為 Interval Join。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Correct-the-terminology-of-quot-Time-windowed-Join-quot-to-quot-Interval-Join-quot-in-Table-L-td36202.html

• [core]Stephan Ewen 之前發起的一個讨論，關于新的 Task Manager 記憶體配置 FLIP-49。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Some-feedback-after-trying-out-the-new-FLIP-49-memory-configurations-td36129.html

已知缺陷

• [FLINK-15421] [1.9.1, 1.10.0] GroupAggsHandler throws java.time.LocalDateTime cannot be cast to java.sql.Timestamp。

https://issues.apache.org/jira/browse/FLINK-15421

• [FLINK-15420] [1.10.0] Cast string to timestamp will loose precision。

https://issues.apache.org/jira/browse/FLINK-15420

• [FLINK-15418] [1.9.1, 1.10.0] StreamExecMatchRule not set FlinkRelDistribution。

https://issues.apache.org/jira/browse/FLINK-15418

• [FLINK-15411][1.10.0] Planner can't prune partition on DATE/TIMESTAMP columns。

https://issues.apache.org/jira/browse/FLINK-15411

• [FLINK-15406] [1.9.1] The savepoint is writted by "State Processor API" can't be restore by map or flatmap。

https://issues.apache.org/jira/browse/FLINK-15406

• [FLINK-15381] [1.10.0] INSERT INTO VALUES statement fails if a cast project is applied。

https://issues.apache.org/jira/browse/FLINK-15381

• [FLINK-15370] [1.10.0, 1.11.0] Configured write buffer manager actually not take effect in RocksDB's DBOptions 在 DBOptions 中設定 WriteBufferManager 的值不起作用。

https://issues.apache.org/jira/browse/FLINK-15370

• [FLINK-15361] [1.9.1] ParquetTableSource should pass predicate in projectFields。

https://issues.apache.org/jira/browse/FLINK-15361

活動 / 部落格文章 / 其他

1. 社群釘釘群群直播——《基于 Apache Flink 的監控告警系統》，PPT 下載下傳 & 直播視訊回放位址：

https://ververica.cn/developers/flink-training-course3/

1. 年度回顧 | 2019 年的 Apache Flink（文末有福利） 伍翀（雲邪）

中文郵件問題/答疑彙總

• StreamTableEnvironment.registerDatastream() 開放使用者自定義的 schemaDescriptionh 和 DeserializationSchema。

http://apache-flink.147419.n8.nabble.com/StreamTableEnvironment-registerDatastream-schemaDescriptionh-DeserializationSchema-tp1347.html

• 在 1.8 版本使用 yarn session 模式時是 1 個 Task Manager 一個 CPU，當切換到 1.9.1 時使用同樣的啟動指令發現一個 slot 使用一個 CPU。

http://apache-flink.147419.n8.nabble.com/slot-td1345.html

• Flink 1.9 批任務 yn 和 ys 對任務的影響。

http://apache-flink.147419.n8.nabble.com/Flink1-9-yn-ys-tp1313.html

• Flink SQL 1.9.0 如何建立 elasticsearch 動态索引表。

http://apache-flink.147419.n8.nabble.com/flink-sql-1-9-0-elasticsearch-tp1342.html

• source 并行度不同導緻任務沒有資料落地。

http://apache-flink.147419.n8.nabble.com/source-tp1336.html

• Flink 1.9 SQL Kafka Connector，Json format，how to deal with not json message。

http://apache-flink.147419.n8.nabble.com/Flink-1-9-SQL-Kafka-Connector-Json-format-how-to-deal-with-not-json-message-tp1335.html

• Flink 實作 Kafka 到 MySQL 的 End-To-End Exactly-Once 中遇到的問題。

http://apache-flink.147419.n8.nabble.com/Flink-Kafka-Mysql-End-To-End-Exactly-Once-tp1321.html

• Rewind offset to a previous position and ensure certainty。

http://apache-flink.147419.n8.nabble.com/Rewind-offset-to-a-previous-position-and-ensure-certainty-tp1324.html

• 關于 Flink historyserver 沒有 completed-jobs 的問題。

http://apache-flink.147419.n8.nabble.com/FLink-historyserver-completed-jobs-tp1320.html

• Flink 維表關聯，當維表更新後，如何将之前關聯的資料進行更新。

http://apache-flink.147419.n8.nabble.com/flink-tp1322.html

• The assigned slot was removed 配置設定好的 slot 突然就被 remove 了，導緻作業重新開機。

http://apache-flink.147419.n8.nabble.com/The-assigned-slot-bae00218c818157649eb9e3c533b86af-11-was-removed-td1308.html

• Flink Checkpoint 配置 HDFS 問題，如何配置高可用。

http://apache-flink.147419.n8.nabble.com/flink-checkpoint-hdfs-tp1318.html

• 實作一個兩階段送出的 ETL，資料從 Kafka 到 MySQL，遇到的異常問題。

http://apache-flink.147419.n8.nabble.com/ETL-kafka-mysql-tp1317.html

• using thin jar to replace fat jar on yarn cluster mode。

http://apache-flink.147419.n8.nabble.com/using-thin-jar-to-replace-fat-jar-on-yarn-cluster-mode-tp1293.html

• 關于 Window Process Function 資料丢失問題。

http://apache-flink.147419.n8.nabble.com/Window-ProcessFunction-tp1311.html

• 關于 Flink 視窗是否正确關閉的問題。

http://apache-flink.147419.n8.nabble.com/flink-tp1305.html

• CEP 比對亂序資料的問題。

http://apache-flink.147419.n8.nabble.com/CEP-tp1301.html

2 分鐘快速訂閱 Flink 中文郵件清單

Apache Flink 中文郵件清單訂閱流程：

發送任意郵件到 [email protected]

收到官方确認郵件

回複該郵件 confirm 即可訂閱

訂閱成功後将收到 Flink 官方的中文郵件清單的消息，您可以向 [email protected] 發郵件提問也可以幫助别人解答問題，動動手測試一下！

Tips：

Flink Weekly 周報計劃每周更新一期，内容涵蓋郵件清單中使用者問題的解答、社群開發和提議的進展、社群新聞以及其他活動、部落格文章等，歡迎持續關注～

作者介紹：

zhisheng，《Flink 實戰與性能優化》專欄作者、之前負責監控平台實時告警研發，現專注于 Flink 開發，積極活躍于開源社群，擅長 Flink、Kafka、ElasticSearch、監控告警等。