阿裡雲 MaxCompute 2021-2 月刊

MaxCompute 2月新釋出功能

1、MaxCompute SQLML 功能（中國區）商業化釋出

檢視文檔 >>

MaxCompute SQLML 支援使用SQL語言在 MaxCompute 中建立、訓練和應用機器學習模型，實作 AI 普惠。

适用客戶

各個領域的 SQL從業人員/ 資料工程師 / 資料分析師 / 資料科學家

釋出功能

MaxCompute SQLML 可以讓資料工程師、分析師和資料科學家使用 SQL 語言在 MaxCompute 中建立、訓練和應用機器學習模型，使 SQL 從業人員利用現有的 SQL 工具和技能就能應用機器學習的能力，同時無需做資料遷移，實作機器學習的普惠。

2、MaxCompute 湖倉一體功能商業化釋出

MaxCompute 湖倉一體方案融合資料湖的靈活性、生态豐富性與資料倉庫的企業級能力，建構資料湖和資料倉庫融合的資料管理平台。

有以下訴求企業中的 CTO / 資料平台架構師 / 大資料部門主管 / 資料開發人員等

• 已經基于 Hadoop 叢集搭建資料平台，同時對叢集資源彈性有需求，希望利用 MaxCompute 的彈性與大規模機器學習能力，快速疊代創新業務

• 企業有多個 Hadoop 叢集，需要各個叢集之間資料打通，利用 DataWorks / Dataphin 建構企業資料中台

• 以阿裡雲 OSS 建構資料湖應用，希望借助雲數倉實作資料統一分析和管理

MaxCompute 湖倉一體方案通過資料倉庫 MaxCompute、資料湖（對象存儲 OSS 或 Hadoop HDFS）共同實作。本次釋出兩種建構湖倉一體的方式：

• 與阿裡雲 OSS + DLF 建構湖倉一體能力：通過 MaxCompute 和 OSS 實作。該方式需要配套使用阿裡雲産品資料湖建構 DLF（Data Lake Formation）。資料湖的中繼資料（Schema）全部位于DLF中。MaxCompute可以利用DLF對湖資料的中繼資料管理能力，提升對OSS半結構化格式（AVRO、CSV、JSON、PARQUET、ORC）資料的處理能力。

• 與 Hadoop HDFS 建構湖倉一體能力：通過MaxCompute和Hadoop HDFS（包括本地機房搭建、基于雲上虛拟機搭建以及阿裡雲 E-MapReduce等）實作。您需要填寫MaxCompute湖倉一體方案使用申請表，送出申請後，MaxCompute團隊技術人員會聯系并協助您完成後續操作。

3、MaxCompute zOrder 排序支援與 Distribute by 共用

開發者、分析師

在表或分區寫入資料時，查詢語句指定zOrder by字段，根據指定的一列或多列按zOrder 方式進行局部排序再寫入，可以提高後續在排序資料上做一列或多列互動式查詢時的效率。

4、MaxCompute 支援在 values 表達式中使用非常量表達式

開發者，分析師

MaxCompute對 Valuse 表達式進行擴充。原先僅支援常量，擴充後還支援非常量表達式，便于使用者在Values表達式中使用函數等非常量表達式。在生成資料，測試計算邏輯時使用更友善。使用方法示例： select * from values (udf(1)),(to_date('20190101', 'yyyyMMdd')),(getdate()),(datetime '2019-01-02 00:00:00') t(d);

5、MaxCompute SQL 支援SkewJoin Hint用于優化join時資料長尾問題

開發者

MaxCompute SQL 支援SkewJoin Hint用于優化join時存在資料長尾問題,，加快Join的執行速度。

6、MaxCompute 推出 Freeride 及 Analyze 兩種優化器中繼資料收集工具

MaxCompute推出Freeride（同步）和Analyze（異步）兩套優化器中繼資料收集工具，用于優化計算和查詢性能。

7、MaxCompute 内置函數新增或增強

開發者、分析師、開源或其他生态使用者

MaxCompute 日期函數、字元串函數、聚合函數、其他函數等内置函數新增用法或增強相容性。

日期函數文檔 >> 字元串函數文檔 >> 聚合函數文檔 >> 其他函數文檔 >>

8、MaxCompute SQL array 資料類型處理函數新增和增強

開發者、分析師、有半結構化資料處理需求的使用者

MaxCompute 新增array_intersect函數，用于計算兩個array的交集。

增強内建函數sort_array，增加isAsc參數，對給定數組排序時讓使用者選擇是升序還是降序，預設是升序。

9、MaxCompute 外表Hive相容模式支援使用者自定義serde類

開發者，外表使用者，有開源或自定義資料格式處理需求的使用者

使用者可以在建立外表時使用using jar的方式，使用自定義的serde類實作外表對特殊資料格式的相容。

10、MaxCompute 外表 OSS 寫入場景能力增強

檢視文檔>>

開發者，有導出資料需求的使用者，有使用第三方引擎讀取導出的資料需求的使用者

MaxCompute 支援使用 OSS Multi-upload 寫 OSS 外表，資料直寫到表目錄下，不包含.odps 子目錄。

11、MaxCompute指令行提供關閉表頭顯示，便于shell調用

MaxCompute 可以通過參數設定關閉指令行stdout輸出結果的表頭顯示，便于使用者擷取動态傳回值用于其他操作。

12、MaxCompute支援雲HBase外部表

開發者，分析師，聯邦查詢使用者

MaxCompute Hbase外部表支援讀寫雲HBase，在MaxCompute中進行資料導入、寫出或聯邦查詢。

13、MaxCompute支援RDS外部表（公測）

RDS是阿裡雲客戶主要使用的資料庫服務，MaxCompute支援RDS外部表對RDS (RDS MySQL 5.x)進行讀寫操作。

14、MaxCompute外表支援JDBC方式讀寫MC-Hologres（公測）

開發者，分析師，聯邦查詢使用者，有對MaxCompute與MC-Hologres同步資料需求的使用者

MaxCompute支援建立MC-Hologres外部表，并通過JDBC方式MaxCompute讀寫同步MC-Hologre資料。

15、MaxCompute支援Unload語句把資料導出到OSS外部存儲

開發者，分析師，對存儲優化有需求的使用者，在對象存儲上使用其他引擎處理分析MaxCompute導出資料的使用者

MaxCompute支援Unload語句導出資料到OSS，友善使用者使用OSS存儲資料，并友善OSS上其他計算引擎使用導出的資料。

MaxCompute 産品官網 >> 閱讀往期月刊 >>