阿裡雲MaxCompute 2019-10 月刊

您好， MaxCompute 2019.10月刊為您帶來10月産品、技術最新動态，歡迎閱讀。 訂閱 MaxCompute 月刊 >>

導讀

【重要釋出】10月産品重要釋出

【文檔更新】10月重要文檔更新

【幹貨精選】10月精選技術文章

【技術活動】活動回顧與預告

【重要釋出】10月産品重要釋出

1. 支援新運算符    

檢視詳情 >>>

支援新運算符，豐富MaxCompute計算場景，使用者使用更加靈活。

适用客戶

MaxCompute公共雲客戶

釋出功能

1) IS [NOT] DISTINCT FROM：

例如：a IS DISTINCT FROM b，相當于not(a<=>b);a IS NOt DISTINCT FROM b相當于 a<=>b

2) A||B：字元串連接配接操作符(||) ：

例如：a||b||c 相當于concat(a, b, c)

2. 支援自然連接配接NATURAL JOI    

支援自然連接配接NATURAL JOIN，提升了MaxCompute SQL引擎的JOIN能力，使用者操作更加靈活。

支援自然連接配接（Natural Join） 即參與JOIN的兩張表根據字段名字自動決定連接配接字段。支援 outer natural join，支援使用using字段執行join，輸出字段中公共字段隻出現一次。例如：表src的字段(key1, key2, a1, a2)，表src2的字段(key1, key2, b1, b2)，SELECT * FROM src NATURAL JOIN src2; 由于 src 和 src2 有兩個同名字段 （key1, key2) ，是以相當于：SELECT src.key1 as key1, src.key2 as key2, src.a1, src.a2, src2.b1, src2.b2 FROM src INNER JOIN src2 ON src.key1 = src2.key1 AND src.key2 = src2.key2;

3. 支援LIMIT OFFSET    

支援LIMIT OFFSET，MaxCompute SQL引擎能力提升，使用者操作更加靈活。

OFFSET 和 ORDER BY LIMIT語句配合，可以指定跳過OFFSET數目的行。例如：SELECT * FROM src ORDER BY key LIMIT 20 OFFSET 10；将 src 按照 key從小到大排序後，輸出第11到第30行 （OFFSET 10 指定跳過前10行，LIMIT 20 指定最多輸出20行）

4. 新增内置函數JSON_TUPLE和EXTRACT    

新增内置函數JSON_TUPLE和EXTRACT，MaxCompute SQL引擎能力提升，使用者操作更加靈活。

新增字元串函數JSON_TUPLE、日期函數EXTRACT。格式說明：STRING JSON_TUPLE(STRING json,STRING key1,STRING key2,...)，用于一個标準的JSON字元串中，按照輸入的一組鍵（key1,key2,...）抽取各個鍵指定的字元串。INT EXTRACT( from )，提取日期的一部分。

5. JOIN與SETOP支援括号指定優先級    

JOIN與SETOP支援括号指定優先級，MaxCompute SQL引擎能力提升，客戶操作更加靈活。

支援通過括号指定JOIN的優先級，括号内的JOIN優先級較高。如下JOIN語句中，先執行src2 JOIN src3得出結果後再執行與src的JOIN。例如：SELECT * FROM src JOIN (src2 JOIN src3 on xxx) ON yyy;

6. MaxCompute支援分區合并    

MaxCompute 有分區數量上限6萬的限制，當分區數量過多時，可使用合并分區功能，對數倉資料進行歸檔。

MaxCompute支援合并分區，對數倉資料進行歸檔，将同一個表下多個分區資料快速合并成一個分區, 并删除之前分區, 把資料移動到指定的分區下。

7. MaxCompute支援VPC網絡IP白名單設定    

MaxCompute支援VPC網絡IP白名單設定，客戶安全管理更加靈活。

MaxCompute支援VPC網絡IP白名單設定。

8. 新增flag支援隻grouy by / order by 字段序号，而不用寫字段名    

新增flag支援隻grouy by / order by 字段序号，而不用寫字段名，SQL文法更豐富，書寫更靈活。

1） 當sql語句set flagset hive.groupby.position.alias=true;時，GROUP BY 中的整形常量會被當做select的列序号處理。示例：set hive.groupby.position.alias=true; select region, sum(total_price) from sale_detail group by 1;（常量1代表select的列中第一列即region）；

2） 當sql語句set flagset hive.orderby.position.alias=true;時，ORDER BY 中的整形常量會被當做select的列序号處理。例如：表src的列為（key BIGINT，value BIGINT） SELECT FROM src ORDER BY 2 limit 100; 等同于SELECT FROM src ORDER BY value limit 100。

9. 支援一次增加或删除多個分區    

支援一次增加或删除多個分區，使客戶對分區管理更加靈活。

MaxCompute的DDL語義更新，支援一次增加或删除多個分區的操作，使用者可執行批量的分區管理操作，提升了數倉管理操作的效率。

10. 支援指定表的列預設值    

支援指定表的列預設值，提升了MaxCompute DDL的能力，使用者操作更加靈活。

DEFAULT value 指定列的預設值，當insert操作不指定該列時，該列寫入預設值。[(col_name data_type [DEFAULT value] [COMMENT col_comment], ...)]

【文檔更新】10月重要文檔更新    

更多文檔 >>>

1. 新增Hive遷移到MaxCompute最佳實踐視訊
2. 新增成本優化最佳實踐
3. 新增PyODPS示例 PyDOPS的排序 > PyODPS的去重 > PyODPS的采樣 > PyODPS的資料縮放 > PyODPS的空值處理 >
4. 新增支援VPC網絡IP白名單設定 項目空間操作 > 設定IP白名單 >

【幹貨精選】10月精選技術文章    

更多詳情 >>>

1. 最全合集】[一文看盡 2019杭州雲栖大會 MaxCompute 技術分享
2. 如何有效降低大資料平台安全風險
3. 豐富、連接配接、待內建—MaxCompute 生态再出發
4. 混合雲模式下 MaxCompute + Hadoop 混搭大資料架構實踐
5. 阿裡巴巴大資料技術關鍵進展及展望

【技術活動】回顧和預告

【雙11】MaxCompute 限時折扣,預付費标準版年付8折。活動時間：11月1日-11月11日

活動回顧

《技術直播 kafka 資料如何同步到 MaxCompute 》2019.10.22 19:00-19:40

<直播簡介> 主要介紹Kafka産品的原理和使用方式，以及同步資料到MaxCompute的參數介紹、獨享內建資源組與自定義資源組的使用背景和配置方式、Kafka同步資料到MaxCompute的開發到生産的整體部署操作等内容。

視訊回放 >>> 分享資料下載下傳 >>>

《Hadoop 資料如何同步至 MaxCompute》 2019.10.29 19:00-19:40

<直播簡介> **雲下Hadoop使用者如何快速、平滑的遷移到阿裡雲MaxComute大資料生态？如何快速完成資料和業務的遷移以及生态系統的對接？MaxCompute提供了資料遷移工具-MMA，支援Meta、資料、作業和工作流的批量自動化遷移，幫助客戶高效、低成本的上雲，快速建構雲上業務。

活動預告

《MySQL/RDS 資料如何同步到 MaxCompute》 2019.11.5 19:00-19:40

【直播簡介】主要講解MySQL/RDS業務資料如何通過DataWorks資料內建或DTS同步到MaxCompute。

【觀看直播】MaxCompute開發者社群2群

《日志資料如何同步到 MaxCompute》 2019.11.12 19:00-19:40

【直播簡介】主要講解日志檔案如何通過Loghub/Datahub同步資料到MaxCompute的參數介紹和詳細同步過程等内容。

點選連結加入 MaxCompute開發者社群2群

https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745

或掃碼加入