阿裡雲 MaxCompute 2021年4-6月刊合集

歡迎通過本期月刊了解 MaxCompute 2021年4月-6月産品動态​

1、MaxCompute 支援 Dynamic Filter 智能優化功能提高任務執行效率

檢視文檔 >>

适用客戶

開發者、分析師、SQL優化使用者

釋出功能

JOIN是分布式系統中常見的操作，在海量資料場景下，也是一個非常耗時、耗資源的操作。針對JOIN場景，MaxCompute推出Dynamic Filter 智能優化功能，可以利用JOIN本身的等值連接配接屬性，基于運作時動态生成過濾器，在Shuffle或JOIN之前提前過濾資料，實作加速查詢運作。

該功能适用于次元表和事實表執行JOIN的場景。您可以在Session級别通過開關強制打開、智能選擇打開或手工提示使用動态過濾器，并使用動态分區裁剪方法先過濾分區再使用動态過濾器。

2、2021年8月10日 MaxCompute 流式資料通道服務功能商業化

2021年8月10日，MaxCompute 流式資料通道服務功能即将結束免費公測，開始對流式資料通道服務寫入的資料按量計費。

計費公式及規則：

流式資料寫入費用 = 流式寫入資料量（GB）×流式資料寫入價格（0.08元/GB）

• MaxCompute為每個MaxCompute項目每天提供100GB的免費流量，當天寫入資料量超出100GB部分按上述計費公式計費。
• MaxCompute會按天推送您的流式寫入計量資訊，并在第二天給出您的流式寫入費用賬單。
• 流式寫入資料量：指寫入請求的HTTP Body的大小。承載資料的HTTP Body使用ProtoBuffer編碼，是以一般比資料原始容量要小，但是比壓縮後存儲在MaxCompute上的資料量要大。

MaxCompute 流式資料通道服務功詳情參見

流式資料通道服務概述

。計費詳情參見

流式資料寫入費用（按量計費）

。

3、2021年8月10日 MaxCompute SQL 的 UPDATE、DELETE和MERGE INTO功能商業化

2021年8月10日，MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能即将結束免費公測，開始正式計費。已經使用UPDATE、DELETE和MERGE INTO功能的按量計費作業，屆時會産生計算費用。

如果您之前因為擔心公測穩定性問題而暫未使用UPDATE、DELETE和MERGE INTO功能，屆時可以放心使用。

MaxCompute為UPDATE、DELETE和MERGE INTO功能的相關可用性、穩定性等提供與MaxCompute SQL能力同等保障。

• 如果MaxCompute項目的計費模式為包年包月，計算費用不單獨收費。
• 如果MaxCompute項目的計費模式為按量計費，計算費用計算規則調整為：單條SQL計算費用=計算輸入資料量×SQL複雜度×單價（0.3元/GB）。其中：SQL複雜度通過SQL關鍵字個數折算。SQL關鍵字個數=JOIN個數+GROUP BY個數+ORDER BY個數+DISTINCT個數+視窗函數個數+MAX（INSERT個數|UPDATE個數|DELETE個數-1, 1）。

如果您擔心費用超出預期，可以配置消費監控告警控制消費。更多監控告警資訊，請參見

 消費監控告警

您還需要注意如下内容：

• 如果MaxCompute項目的計費模式為按量計費，MaxCompute會根據UPDATE、DELETE和MERGE INTO語句掃描的輸入資料量×SQL複雜度×單價計算費用。當您對Transactional表執行更新或删除操作後會生成Delta檔案，Delta檔案積累較多後會造成資料膨脹并影響讀取性能，也會逐漸增大掃描資料量，增加費用。即使MaxCompute項目的計費模式為包年包月，也會占用更多資源，影響後續作業執行效率。您可以通過Compact方法合并Delta檔案，更多文法資訊請參見 合并Transactional表檔案
• MaxCompute會按照批處理方式執行delete、update作業，每一條語句都會使用資源并産生費用，建議您使用批量方式删除或更新資料，請參見 更新或删除資料（UPDATE | DELETE） 。指令示例如下

         --推薦方案：使用關聯方法，一次改寫或删除所有需要操作的資料。 update table1 set col1= (select value1 from table2 where table1.id = table2.id and table1.region = table2.region);

         --不推薦方案：逐行操作。 update table1 set col1=1 where id='2021063001'and region='beijing'; update table1 set col1=2 where id='2021063002'and region='beijing'; ......

4、MaxCompute 視訊中心全新改版上線

視訊中心>>

MaxCompute 新版視訊中心包含産品釋出會、大資料系列公開課、近年雲栖大會精彩演講、行業客戶案例、最佳實踐、人物專訪等内容，友善您一站式擷取MaxCompute相關的視訊資訊。

5、精選技術及實踐文章

• 數倉架構的持續演進與發展 — 雲原生、湖倉一體、離線實時一體、SaaS模式
• 如何基于 MaxCompute 快速打通資料倉庫和資料湖的湖倉一體實踐
• MaxCompute 中如何通過logview診斷慢作業
• MaxCompute 挑戰使用SQL進行序列資料處理
• MaxCompute 造資料-方法詳解
• 使用MaxCompute LOAD指令批量導入OSS資料最佳實踐—STS方式LOAD開啟KMS加密OSS資料
• MaxCompute 非事務表如何更新資料
• Azkaban業務流程如何轉化為DataWorks業務流程
• [JDBC] Kettle on MaxCompute 使用指南
• UDF精簡使用大全

MaxCompute 産品官網 >> 閱讀往期月刊 >> 阿裡雲 MaxCompute 2021-3 月刊 >>

更多關于大資料計算、雲數倉技術交流，歡迎掃碼加入 “MaxCompute開發者社群” 釘釘群