天天看点

阿里云MaxCompute 2019-3月刊

您好, MaxCompute

2019.3月刊为您带来产品最新动态和丰富的产品技术内容,欢迎阅读。

导读

【功能发布】3月产品新功能发布

【文档更新】3月重要产品文档更新推荐

【视频更新】3月新增视频

【活动回顾】3月重要活动回顾

【干货精选】3月MaxCompute 精选技术文章推荐

【功能发布】3月产品新功能/版本发布

1. MaxCompute开发者版发布

查看详情>>

阿里云对发布企业级大数据平台开发者版,支持国内各个region开通使用。

存储资源:提供每月最大500GB的免费存储空间

费用优惠:每个月单个项目前100元免费

支持开发者个人实验与学习,企业试用与POC等各个场景。

现在开通>> 2. MaxCompute SQL—支持OSS开源数据源外表的列裁剪

优化功能

MaxCompute SQL通过外表读取OSS上的ORC和Paquet开源格式的数据文件时,原来只能读全列,无法进行列裁剪,现在对功能进行优化, 支持列裁剪,有效减少IO量,节省计算资源和成本。

3. MaxCompute SQL—通过DynamicDAG和ShuffleRemove Optimization进行优化

MaxCompute SQL 通过DynamicDAG和ShuffleRemove Optimization进行优化。

DynamicDAG: 是动态优化的必要机制,它可以将一个优化(可能是资源配置或算法选择)延迟到运行时,以便提高优化的精准度,降低产生较差计划的可能性。

ShuffleRemove Optimization:是针对 Shuflle 的优化。MaxCompute将支持对“innerjoin 右表key相同”的场景进行Shuffle Remove 优化。

4. MaxCompute SQL—支持Grouping Set 多维聚合分析

发布功能

MaxCompute中的Grouping Sets功能是对SELECT语句中,GROUP BY子句的扩展。允许您采用多种方式对结果分组,而不必使用多个SELECT语句来实现这一目的。这样能够使MaxCompute的引擎给出更优的执行计划,从而提高执行性能。

比如,对于经常需要对数据进行多维度的聚合分析的场景,您既需要对a列做聚合,也要对b列做聚合,同时要按照a,b两列同时做聚合,因此需要写很多UNION ALL。而通过使用Grouping Sets可以非常快速方便地解决此类场景。

5. MaxCompute SQL —支持intersect/minus/except语法

MaxCompute SQL 支持intersect/minus/except语法

【文档更新】2019年3月重要产品文档更新推荐

阿里云MaxCompute 2019-3月刊
【视频更新】3月新增视频推荐

  1. 天弘基金大数据架构解密 观看视频>>
  2. 小影APP出海,全平台数据接入 MaxCompute和DataWorks

【活动回顾】3月20日阿里云MaxCompute开发者版新品发布会

MaxCompute开发者版发布会直播回放 >> 参与互动活动赢礼品 >> 一文快速了解MaxCompute 使用split_size优化的ODPS SQL的场景 Amazon Redshift数据迁移到MaxCompute 通过DataWorks数据集成归档日志服务数据至MaxCompute进行离线分析 在MaxCompute中配置Policy策略遇到结果不一致的问题

感谢阅读,欢迎加入MaxCompute开发者社区,与更多大数据开发者一起学习交流大数据技术。

搜索钉钉群号:11782920,或扫码加入

阿里云MaxCompute 2019-3月刊