親愛的開發者, MaxCompute 2020.2月刊已為您準備妥當。本次内容将為您帶來2020年2月 MaxCompute 9項重要的功能釋出,歡迎詳細閱讀并結合業務進行實踐,任何問題可以加入“MaxCompute開發者社群”進行咨詢,社群釘釘群二維碼請見文末。
1.【新功能】MaxCompute存儲格式全面更新AliORC
MaxCompute推出了自研的大資料列存儲格式AliOrc,無論是讀寫性能,還是資料壓縮存儲空間,都有明顯的提升。
适用客戶
MaxCompute公共雲客戶
釋出功能
MaxCompute存儲格式更新到AliOrc,客戶無需幹預,自動更新并提高讀寫性能。
2.【新功能】 Python UDF 支援Python 3
檢視文檔 >>>Python 2 官方即将停止維護,越來越多的三方庫也開始隻支援 Python 3,MaxCompute也開啟Python3的支援。
Python UDF 支援Python 3的編譯和運作環境。
3.【新功能】Tunnel upload sdk 支援 overwrite的 ddl 語義
Tunnel SDK的 UploadSession支援overwirte設定。
Tunnel SDK的 UploadSession類的createUploadSession方法中增加了overwrite設定,支援客戶指定tunnel寫入資料時覆寫表/分區中的現有資料。
4.【新功能】SQL中列名書寫錯誤的智能糾錯提示
更加豐富智能的文法檢查,提高了SQL開發的調試效率。
SQL運作中,當字段名錯誤時,MaxCompute将猜測并提示正确的字段名。
5.【新功能】外表支援 MSCK REPAIR TABLE文法
外表支援 MSCK REPAIR TABLE文法,可自動補齊分區,簡化了外表DDL操作。
将資料導入oss後,oss檔案路徑符合如下格式 oss://xxx/table-location/ptname1=ptvalue1/ptname2=ptvalue2/xxx。建立外表并執行 msck repair table external_table_name [add partitions],sql就會自動的解析oss的目錄結構,自動識别分區,并為外表添加分區資訊。
6.【新功能】外表通路OSS支援https
查詢外部表時,支援底層通過https擷取資料,加強了資料傳輸的安全性。
查詢外部表時,若需要底層通過https擷取資料,可以在sql前添加flag:set odps.sql.unstructured.data.oss.use.https=true;一起送出執行來實作。
7.【新功能】GROUPING SETS支援複雜CUBE & ROLLUP嵌套
MaxCompute支援GROUPING SETS與CUBE & ROLLUP嵌套使用,簡化了SQL書寫,提高開發效率。
MaxCompute擴充了GROUPING的表達方式,支援CUBE, ROLLUP,GROUPING SETS的嵌套使用,比如groupingsets((os,device,city),(os,device),(os),(),(os,city)),可寫成:groupingsets(ROLLUP(os,device,city),(os,city))。
8.【新功能】新增Clone Table指令,支援表的複制
MaxCompute 提供了Clone Table 功能,将表資料複制到另一個表中,讓資料移動和複制更便捷。
9.【新功能】支援表級别的disable lifecycle
新增SQL指令,支援表級别禁止/恢複生命周期。
适用TABLE DISABLE LIFECYCLE指令,可以取消掉已經給表設定的生命周期
産品官網 >>> 産品文檔 >>>歡迎掃碼加入 MaxCompute開發者社群釘釘群,或
點選連結申請加入。
