天天看點

阿裡雲 MaxCompute 2020-2 月刊

親愛的開發者, MaxCompute 2020.2月刊已為您準備妥當。本次内容将為您帶來2020年2月 MaxCompute 9項重要的功能釋出,歡迎詳細閱讀并結合業務進行實踐,任何問題可以加入“MaxCompute開發者社群”進行咨詢,社群釘釘群二維碼請見文末。

1.【新功能】MaxCompute存儲格式全面更新AliORC

MaxCompute推出了自研的大資料列存儲格式AliOrc,無論是讀寫性能,還是資料壓縮存儲空間,都有明顯的提升。

适用客戶

MaxCompute公共雲客戶

釋出功能

MaxCompute存儲格式更新到AliOrc,客戶無需幹預,自動更新并提高讀寫性能。

2.【新功能】 Python UDF 支援Python 3

檢視文檔 >>>

Python 2 官方即将停止維護,越來越多的三方庫也開始隻支援 Python 3,MaxCompute也開啟Python3的支援。

Python UDF 支援Python 3的編譯和運作環境。

3.【新功能】Tunnel upload sdk 支援 overwrite的 ddl 語義

Tunnel SDK的 UploadSession支援overwirte設定。

Tunnel SDK的 UploadSession類的createUploadSession方法中增加了overwrite設定,支援客戶指定tunnel寫入資料時覆寫表/分區中的現有資料。

4.【新功能】SQL中列名書寫錯誤的智能糾錯提示

更加豐富智能的文法檢查,提高了SQL開發的調試效率。

SQL運作中,當字段名錯誤時,MaxCompute将猜測并提示正确的字段名。

5.【新功能】外表支援 MSCK REPAIR TABLE文法

外表支援 MSCK REPAIR TABLE文法,可自動補齊分區,簡化了外表DDL操作。

将資料導入oss後,oss檔案路徑符合如下格式 oss://xxx/table-location/ptname1=ptvalue1/ptname2=ptvalue2/xxx。建立外表并執行 msck repair table external_table_name [add partitions],sql就會自動的解析oss的目錄結構,自動識别分區,并為外表添加分區資訊。

6.【新功能】外表通路OSS支援https

查詢外部表時,支援底層通過https擷取資料,加強了資料傳輸的安全性。

查詢外部表時,若需要底層通過https擷取資料,可以在sql前添加flag:set odps.sql.unstructured.data.oss.use.https=true;一起送出執行來實作。

7.【新功能】GROUPING SETS支援複雜CUBE & ROLLUP嵌套

MaxCompute支援GROUPING SETS與CUBE & ROLLUP嵌套使用,簡化了SQL書寫,提高開發效率。

MaxCompute擴充了GROUPING的表達方式,支援CUBE, ROLLUP,GROUPING SETS的嵌套使用,比如groupingsets((os,device,city),(os,device),(os),(),(os,city)),可寫成:groupingsets(ROLLUP(os,device,city),(os,city))。

8.【新功能】新增Clone Table指令,支援表的複制

MaxCompute 提供了Clone Table 功能,将表資料複制到另一個表中,讓資料移動和複制更便捷。

9.【新功能】支援表級别的disable lifecycle

新增SQL指令,支援表級别禁止/恢複生命周期。

适用TABLE DISABLE LIFECYCLE指令,可以取消掉已經給表設定的生命周期

産品官網 >>> 産品文檔 >>>

歡迎掃碼加入 MaxCompute開發者社群釘釘群,或

點選連結

申請加入。

阿裡雲 MaxCompute 2020-2 月刊