spark支援2.4.3版本

資訊摘要： 該版本主要釋出spark-connectors 1.0.4版本，更新spark核心到社群最新穩定版本2.4.3

适用客戶： 企業客戶/個人開發者

版本/規格功能： 該版本主要釋出spark-connectors 1.0.4版本，更新spark核心到社群最新穩定版本2.4.3：

1、Spark connectors：目前已經支援NoSQL系列：HBase&Phoenix、MongoDB、Redis、TableStore、ElasticSearch等；OLTP資料庫：POLARDB、RDS、DRDS等；OLAP資料庫：ADB；消息中間件：kafka、loghub、datahub；MaxCompute等；

2、Spark 2.4.3版本核心功能，具體參考社群release note：

a、新的排程模型（Barrier Scheduling），使使用者能夠将分布式深度學習訓練恰當 地嵌入到 Spark 的 stage 中，以簡化分布式訓練工作流程。

b、添加了35個高階函數，用于在 Spark SQL 中操作數組/map。

c、Structured Streaming 的各種增強功能。 例如，連續處理（continuous processing）中的有狀态操作符。

d、内置資料源的各種性能改進。 例如，Parquet 嵌套模式修剪（schema pruning）

f、JDBC Connector支援 Date/Timestamp類型作為分區并發字段

g、支援 Scala 2.12。

産品文檔：

https://help.aliyun.com/document_detail/106294.html