近期介绍大量数据上云用户关于maxcompute的一些问题,现就maxcompute产品线的一些工具栈可以和大家进行交流,也欢迎大家拍砖和来扰,一起学习一起进步!也希望能够在帮助到大家!
0.maxcompute概述:是什么?可以做什么?收费模式?
1.数据上云工具介绍:log、logstash、flume、fluentd、datax等
2.maxcompute开发工具:data ide和maxcompute studio
3.数据分析展现工具概述:quick bi
maxcompute(原odps)是一项大数据计算服务,它能提供快速、完全托管的pb级数据仓库解决方案,使您可以经济并高效的分析处理海量数据。
maxcompute 是面向大数据处理的云计算服务,主要提供结构化和非结构化数据的存储和计算服务,
是阿里巴巴云计算整体解决方案中最核心的主力产品之一。
在分析海量数据场景下,由于单台服务器的处理能力限制,数据分析者通常采用分布式计算模式。但分布式的计算模型对数据分析人员提出了较高的要求,且不易维护。使用分布式模型,数据分析人员不仅需要了解业务需求,同时还需要熟悉底层计算模型。maxcompute 的目的是为用户提供一种便捷的分析处理海量数据的手段。用户可以不必关心分布式计算细节,从而达到分析大数据的目的。
maxcompute 已经在阿里巴巴集团内部得到大规模应用,例如:大型互联网企业的数据仓库和 bi 分析、网站的日志分析、电子商务网站的交易分析、用户特征和兴趣挖掘等。
从产品设计角度,maxcompute 主要面向三类大数据处理场景:基于sql 构建大规模数据仓库和企业bi 系统,基于mapreduce 和bsp 的分布式编程模型开发大数据应用,基于统计和机器学习算法开发大数据统计模型和数据挖掘。在后面“典型场景”一节将会给出这些场景的应用实例。
从服务角度,maxcompute 采用抽象的作业处理框架将不同场景的各种计算任务统一在同一个平台之上,共享安全、存储、数据管理和资源调度,为来自不同用户需求的各种数据处理任务提供统一的编程接口和界面。maxcompute 这种集成多种不同大数据处理应用场景的设计思想领先于业界同类云计算产品,为大数据应用开发提供一个非常强大的平台。
<a href="https://www.aliyun.com/customer/detail/moji" target="_blank">墨迹天气:日志数据分析</a>
<a href="https://yq.aliyun.com/articles/88294" target="_blank">小红唇:构建大数据仓库</a>
<a href="https://www.aliyun.com/customer/detail/mjb" target="_blank">美甲帮:业务数据化运营</a>
<a href="https://www.aliyun.com/customer/detail/huihex" target="_blank">汇合营销:大数据精准营销</a>
<a href="https://www.aliyun.com/product/odps" target="_blank">更多</a>
目前,maxcompute以项目project为计费单元,对project内的数据存储、计算(目前只是sql)、数据下载(走公网收费)进行收费,计费周期都是当天出前一天的账单。
0< 存储量 < 512mb: 收取当前项目0.01元费用。
存储量 > 512mb:
基础价格
大于100gb部分
大于1tb部分
大于10tb部分
大于100tb部分
1pb以上部分
0.0192元/gb/天
0.0096元/gb/天
0.0084元/gb/天
0.0072元/gb/天
0.006元/gb/天
请通过工单联系我们
例如用户某个项目的存储为50tb,则每天收取的费用为:
由于maxcompute会对原始数据进行压缩,那么计费依据也是按照压缩后的数据量进行计算,一般压缩比在5倍左右。
后付费:以作业实际消耗量作为统计指标,在执行后进行收费。
所谓按i/o后付费是指:用户每执行一条sql作业,maxcompute将根据该作业的输入数据及该sql的复杂度进行计费。
一次sql计算费用 = 计算输入数据量(sql语句实际扫描数据量) sql复杂度 sql价格(0.3元/gb),其中复杂度一般先统计sql语句中的关键字再进行折算,也可以使用cost sql 进行估算。 sql关键字个数 = join个数 + group by个数 + order by个数 + distinct个数 + 窗口函数个数 + max(insert into个数-1, 1)
在data ide中会针对每个sql在执行前会进行一次计算消费的预估,如下图:
预付费:包年包月购买cu方式,10cu起售。
1cu = 1cpu + 4gb内存,售价为 150元/月。
对于公网或者跨region的数据下载,maxcompute将按照下载的数据大小进行计费(也就是说数据下载走内网模式且在当前region内是不计费的)。计费公式为:
一次下载费用 = 下载数据量 * 下载价格
针对不同网络环境(访问 maxcompute 及其 tunnel 服务的连接地址)的收费模式详细说明如下:
区域
网络
maxcompute服务连接
maxcompute tunnel连接
下载是否收费
华东1
公网
<a href="http://service.odps.aliyun.com/api">http://service.odps.aliyun.com/api</a>
<a href="http://dt.odps.aliyun.com">http://dt.odps.aliyun.com</a>
是
经典网络
<a href="http://odps-ext.aliyun-inc.com/api">http://odps-ext.aliyun-inc.com/api</a>
<a href="http://dt-ext.odps.aliyun-inc.com">http://dt-ext.odps.aliyun-inc.com</a>
否
vpc
华东2
<a href="http://dt.eu13.odps.aliyun.com">http://dt.eu13.odps.aliyun.com</a>
<a href="http://dt-ext.eu13.odps.aliyun-inc.com">http://dt-ext.eu13.odps.aliyun-inc.com</a>
华北2
<a href="http://dt-ext.nu16.odps.aliyun-inc.com">http://dt-ext.nu16.odps.aliyun-inc.com</a>
其他
不支持,需要用户走公网访问
--