大家好,本文為 Flink Weekly 的第七期,由李勁松整理,主要内容包括:近期社群開發進展,郵件問題答疑以及社群直播和相關技術部落格。
社群開發進展
- 謝亞東增強Apache Flink Web UI的提議[1]拆分成了7個子FLIP,這将大大增強UI的可用性,幫助我們排查問題,了解運作時資訊。現在分别正在熱火朝天的讨論和投票中,大家可以看下郵件中的Demo,每個子FLIP都有Demo例子來展示。
- FLIP-98: 更好的反壓檢測 [2]
- FLIP-99: 使得最大異常數可配置 [3]
- FLIP-100: 添加Task等的重試資訊 [4]
- FLIP-101: 在作業詳情頁面添加PendingSlots的Tab [5]
- FLIP-102: 添加更多的TaskManager Metrics [6]
- FLIP-103: 更好的Taskmanager/Jobmanager日志展示 [7]
- FLIP-104: 添加更多的Jobmanager Metrics [8]
更多資訊請參考:
[1]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-75-Flink-Web-UI-Improvement-Proposal-td33540.html[2]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-98-Better-Back-Pressure-Detection-td37893.html[3]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-99-Make-Max-Exception-Configurable-tp37895.html[4]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-100-Add-Attempt-Information-tp37896p37966.html[5]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-101-Add-Pending-Slots-Detail-tp37897p37967.html[6]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-102-Add-More-Metrics-to-TaskManager-tp37898.html[7]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-103-Better-TM-JM-Log-Display-tp37899p38075.html[8]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-104-Add-More-Metrics-to-Jobmanager-tp37901.html- Canbin Zheng發起的Kubernetes的架構重構讨論正在進行中,希望引入一個統一的基于monadic-step的編排器架構,該架構對Kubernetes資源建構過程具有更好、更清晰和一緻的抽象,适用于用戶端和服務端。
[9]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLINK-16194-Refactor-the-Kubernetes-architecture-design-td37931.html- 鐘葳發起了在SQL DDL中支援Python UDF的讨論,在1.10中,已經支援了UDF的DDL,但是隻支援了Java/Scala的,這個讨論旨在支援Python UDF。
[10]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-106-Support-Python-UDF-in-SQL-Function-DDL-td38107.html- 李钰和王治江回複了Unaligned checkpoints的讨論,這個提議在于支援一種新的Checkpoint方式,它可以把Checkpoint的間隔大大縮短,減少流計算的E2E時間,也減少Failover的時間。
[11]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-76-Unaligned-checkpoints-td33651.html- 李博聞發起了JDBC Catalog FLIP的投票,旨在用Catalog來對接JDBC,進而可以使用到外部資料庫的表。
[12]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-93-JDBC-catalog-and-Postgres-catalog-td38208.html- 賀小令發起了TableEnvironment接口重構FLIP的投票,旨在重構TableEnvironment的sqlUpdate等接口,提供更為清晰的sql接口,避免緩存SQL問題導緻使用者的困惑。
[13]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-84-Improve-amp-Refactor-API-of-TableEnvironment-td38178.html郵件清單答疑
- Outlook在使用者郵件清單發出了關于Json格式解析Timestamp時的問題,目前Flink在Json解析時遵循了RFC 3339标準,但是這個标準可能不是使用者常用的,使用者可能有各種各樣的Timestamp字元串形式,解法正在讨論中。
[14]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Re-TIME-TIMESTAMP-parse-in-Flink-TABLE-SQL-API-td38150.html- 有兩位使用者都遇到了Class沖突的問題,這是因為Flink 1.10把用戶端的ClassLoader解析順序調整為了Child優先,這就導緻使用者的Jar包不能包含Flink架構的classes,比如常見的Calcite、Flink-Planner依賴、Hive依賴等等。使用者需要把有沖突classes的jar放到flink-home/lib下,或者調整政策為Parent優先。
[15]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Flink-1-10-exception-Unable-to-instantiate-java-compiler-td38221.html[16]
- 貓貓提出了flink-jdbc-driver的使用問題,引出了目前batch不支援UpsertTableSink,也就是不支援目前的JDBCUpsertSink和HBaseUpsertSink,目前正在支援中。
[17]
http://apache-flink.147419.n8.nabble.com/flink-jdbc-driver-mysql-flink1-10-0-td1763.html- claylin提出了Flink 1.10 RocksDB優化的問題,正在嘗試通過記憶體和線程來解決。
[18]
http://apache-flink.147419.n8.nabble.com/rocksDB-td1785.html- 有兩位使用者都碰到了Flink 1.10 Hive內建的kerberos認證異常,問題還在排查中。
[19]
http://apache-flink.147419.n8.nabble.com/Flink-1-10-hive-kerberos-td1751.html[20]
http://apache-flink.147419.n8.nabble.com/Hive-Source-With-Kerberos-td1688.html活動部落格文章及其他
- Seth釋出關于Apache Flink SQL DDL的部落格文章“No Java Required: Configured Sources and Sinks in SQL”。
[21]
https://flink.apache.org/news/2020/02/20/ddl.html- Maximilian Michels和Markos Sfikas釋出了Apache Beam和Apache Flink內建的部落格文章:“Apache Beam: How Beam Runs on Top of Flink”。
[22]
https://flink.apache.org/ecosystem/2020/02/22/apache-beam-how-beam-runs-on-top-of-flink.html- Flink 中文社群進行了 Flink 1.10 特别篇直播。
- Flink on Zeppelin: 極緻體驗(1) 入門 + Batch,由 Apache Zeppelin PMC,阿裡巴巴進階技術專家章劍鋒分享
- 基于 Flink 的典型 ETL 場景實作,由美團點評進階技術專家買蓉分享
直播回顧:
https://ververica.cn/developers/flink-training-course3/2 分鐘快速訂閱 Flink 中文郵件清單
Apache Flink 中文郵件清單訂閱流程:
- 發送任意郵件到 [email protected]
- 收到官方确認郵件
- 回複該郵件 confirm 即可訂閱
訂閱成功後将收到 Flink 官方的中文郵件清單的消息,您可以向 [email protected] 發郵件提問也可以幫助别人解答問題,動動手測試一下!
Tips:
Flink Weekly 周報計劃每周更新一期,内容涵蓋郵件清單中使用者問題的解答、社群開發和提議的進展、社群新聞以及其他活動、部落格文章等,歡迎持續關注~
作者介紹:
李勁松,花名之信,Apache Flink Committer,2014 年起專注于阿裡内部 Galaxy 流計算架構;2017 年起開始 Flink 研發,主要專注于 Batch 計算、資料結構與類型。