天天看點

Flink Weekly | 每周社群動态更新-20200228

大家好,本文為 Flink Weekly 的第七期,由李勁松整理,主要内容包括:近期社群開發進展,郵件問題答疑以及社群直播和相關技術部落格。

社群開發進展

  1. 謝亞東增強Apache Flink Web UI的提議[1]拆分成了7個子FLIP,這将大大增強UI的可用性,幫助我們排查問題,了解運作時資訊。現在分别正在熱火朝天的讨論和投票中,大家可以看下郵件中的Demo,每個子FLIP都有Demo例子來展示。
  • FLIP-98: 更好的反壓檢測 [2]
  • FLIP-99: 使得最大異常數可配置 [3]
  • FLIP-100: 添加Task等的重試資訊 [4]
  • FLIP-101: 在作業詳情頁面添加PendingSlots的Tab [5]
  • FLIP-102: 添加更多的TaskManager Metrics [6]
  • FLIP-103: 更好的Taskmanager/Jobmanager日志展示 [7]
  • FLIP-104: 添加更多的Jobmanager Metrics [8]

更多資訊請參考:

[1]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-75-Flink-Web-UI-Improvement-Proposal-td33540.html

[2]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-98-Better-Back-Pressure-Detection-td37893.html

[3]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-99-Make-Max-Exception-Configurable-tp37895.html

[4]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-100-Add-Attempt-Information-tp37896p37966.html

[5]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-101-Add-Pending-Slots-Detail-tp37897p37967.html

[6]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-102-Add-More-Metrics-to-TaskManager-tp37898.html

[7]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-103-Better-TM-JM-Log-Display-tp37899p38075.html

[8]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-104-Add-More-Metrics-to-Jobmanager-tp37901.html
  1. Canbin Zheng發起的Kubernetes的架構重構讨論正在進行中,希望引入一個統一的基于monadic-step的編排器架構,該架構對Kubernetes資源建構過程具有更好、更清晰和一緻的抽象,适用于用戶端和服務端。

[9]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLINK-16194-Refactor-the-Kubernetes-architecture-design-td37931.html
  1. 鐘葳發起了在SQL DDL中支援Python UDF的讨論,在1.10中,已經支援了UDF的DDL,但是隻支援了Java/Scala的,這個讨論旨在支援Python UDF。

[10]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-106-Support-Python-UDF-in-SQL-Function-DDL-td38107.html
  1. 李钰和王治江回複了Unaligned checkpoints的讨論,這個提議在于支援一種新的Checkpoint方式,它可以把Checkpoint的間隔大大縮短,減少流計算的E2E時間,也減少Failover的時間。

[11]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-76-Unaligned-checkpoints-td33651.html
  1. 李博聞發起了JDBC Catalog FLIP的投票,旨在用Catalog來對接JDBC,進而可以使用到外部資料庫的表。

[12]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-93-JDBC-catalog-and-Postgres-catalog-td38208.html
  1. 賀小令發起了TableEnvironment接口重構FLIP的投票,旨在重構TableEnvironment的sqlUpdate等接口,提供更為清晰的sql接口,避免緩存SQL問題導緻使用者的困惑。

[13]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-84-Improve-amp-Refactor-API-of-TableEnvironment-td38178.html

郵件清單答疑

  1. Outlook在使用者郵件清單發出了關于Json格式解析Timestamp時的問題,目前Flink在Json解析時遵循了RFC 3339标準,但是這個标準可能不是使用者常用的,使用者可能有各種各樣的Timestamp字元串形式,解法正在讨論中。

[14]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Re-TIME-TIMESTAMP-parse-in-Flink-TABLE-SQL-API-td38150.html
  1. 有兩位使用者都遇到了Class沖突的問題,這是因為Flink 1.10把用戶端的ClassLoader解析順序調整為了Child優先,這就導緻使用者的Jar包不能包含Flink架構的classes,比如常見的Calcite、Flink-Planner依賴、Hive依賴等等。使用者需要把有沖突classes的jar放到flink-home/lib下,或者調整政策為Parent優先。

[15]

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Flink-1-10-exception-Unable-to-instantiate-java-compiler-td38221.html

[16]

  1. 貓貓提出了flink-jdbc-driver的使用問題,引出了目前batch不支援UpsertTableSink,也就是不支援目前的JDBCUpsertSink和HBaseUpsertSink,目前正在支援中。

[17]

http://apache-flink.147419.n8.nabble.com/flink-jdbc-driver-mysql-flink1-10-0-td1763.html
  1. claylin提出了Flink 1.10 RocksDB優化的問題,正在嘗試通過記憶體和線程來解決。

[18]

http://apache-flink.147419.n8.nabble.com/rocksDB-td1785.html
  1. 有兩位使用者都碰到了Flink 1.10 Hive內建的kerberos認證異常,問題還在排查中。

[19]

http://apache-flink.147419.n8.nabble.com/Flink-1-10-hive-kerberos-td1751.html

[20]

http://apache-flink.147419.n8.nabble.com/Hive-Source-With-Kerberos-td1688.html

活動部落格文章及其他

  1. Seth釋出關于Apache Flink SQL DDL的部落格文章“No Java Required: Configured Sources and Sinks in SQL”。

[21]

https://flink.apache.org/news/2020/02/20/ddl.html
  1. Maximilian Michels和Markos Sfikas釋出了Apache Beam和Apache Flink內建的部落格文章:“Apache Beam: How Beam Runs on Top of Flink”。

[22]

https://flink.apache.org/ecosystem/2020/02/22/apache-beam-how-beam-runs-on-top-of-flink.html
  1. Flink 中文社群進行了 Flink 1.10 特别篇直播。
  • Flink on Zeppelin: 極緻體驗(1) 入門 + Batch,由 Apache Zeppelin PMC,阿裡巴巴進階技術專家章劍鋒分享
  • 基于 Flink 的典型 ETL 場景實作,由美團點評進階技術專家買蓉分享

直播回顧:

https://ververica.cn/developers/flink-training-course3/

2 分鐘快速訂閱 Flink 中文郵件清單

Apache Flink 中文郵件清單訂閱流程:

  1. 發送任意郵件到 [email protected]
  2. 收到官方确認郵件
  3. 回複該郵件 confirm 即可訂閱

訂閱成功後将收到 Flink 官方的中文郵件清單的消息,您可以向 [email protected] 發郵件提問也可以幫助别人解答問題,動動手測試一下!

Tips:

Flink Weekly 周報計劃每周更新一期,内容涵蓋郵件清單中使用者問題的解答、社群開發和提議的進展、社群新聞以及其他活動、部落格文章等,歡迎持續關注~

作者介紹:

李勁松,花名之信,Apache Flink Committer,2014 年起專注于阿裡内部 Galaxy 流計算架構;2017 年起開始 Flink 研發,主要專注于 Batch 計算、資料結構與類型。