天天看点

AnalyticDB for PostgreSQL 实时数据仓库上手指南

云数据库AnalyticDB for PostgreSQL是一种在线MPP大规模并行处理数据仓库服务,基于Greenplum 开源数据库项目,由阿里云深度扩展。其简单易用、海量扩展、兼容部分Oracle 语法生态、支持PL/SQL,标准事务隔离级别,支持行存储和列存储、即满足高性能在线交互分析需要,也可以进行离线数据处理清晰,主要特点有:

AnalyticDB for PostgreSQL 实时数据仓库上手指南

主要场景

AnalyticDB for PostgreSQL 实时数据仓库上手指南

1.实时数仓场景

通过数据传输服务 DTS 、数据集成工具DataX、开源同步工具 rds_dbsync 、 Kettle 等,同步交易库数据 到 ADBPG,构建实时数仓。

MySQL/PG ->DTS/DataX->ADBPG

2.大数据计算分析

批量同步MaxCompute/Hadoop/Spark/SLS 数据到ADB for PG,支撑在线交互分析

大数据平台/日志->DataX/OSS -> ADBPG

3.数据湖分析场景

数据按冷热分析,支持在线查询OSS分布式云存储上的格式化数据

架构介绍:

AnalyticDB for PostgreSQL 实时数据仓库上手指南

开通实例:

https://help.aliyun.com/document_detail/50200.html

客户端:

https://help.aliyun.com/document_detail/35428.html

产品文档:

ADB for PG 产品文档:

https://help.aliyun.com/document_detail/49912.html

常用操作

实例规格选型指导:

https://help.aliyun.com/document_detail/35406.html

表规划和设计指导:

https://help.aliyun.com/document_detail/118150.html

性能调优指导:

https://help.aliyun.com/document_detail/42688.html

建表语法:

https://gpdb.docs.pivotal.io/500/ref_guide/sql_commands/CREATE_TABLE.html

列存压缩(压缩比3到10倍):

https://help.aliyun.com/knowledge_detail/50320.html

分区键选择:

https://help.aliyun.com/document_detail/120143.html

表分区(支持数字和日期类型上的多级分区):

https://help.aliyun.com/document_detail/118173.html https://gpdb.docs.pivotal.io/43170/admin_guide/ddl/ddl-partition.html

数据写入方式总结:

数据可以采用 INSERT/COPY/OSS外表/Client SDK 写入实例:

https://help.aliyun.com/document_detail/121522.html

数据导入与同步:

数据同步和迁移方法总结:

https://help.aliyun.com/document_detail/97411.html

数据传输 DTS 准实时同步 RDS MySQL 数据到 ADB for PG:

https://help.aliyun.com/document_detail/117295.html

数据集成DataX 按小时/天同步数据到 ADB for PG:

https://help.aliyun.com/document_detail/57681.html

ADB for PG OSS 外部表文档:

https://help.aliyun.com/document_detail/35457.html

ETL作业调度:

通过Dataworks 进行ADB for PG作业调度:

https://yq.aliyun.com/articles/699601

PostGIS 进行地理信息分析

https://help.aliyun.com/document_detail/127419.html

社区文档:

ADB for PG 社区官方手册:

http://greenplum.org/docs/

MADlib SQL机器学习库:

http://madlib.apache.org/documentation.html

最佳实践:

数据倾斜的监测和实践:

https://github.com/digoal/blog/blob/master/201708/20170821_02.md

负载管理(资源队列管理):

https://github.com/digoal/blog/blob/master/201708/20170821_01.md

社群:

AnalyticDB for PG 在线技术支持钉钉群,包括 在线技术专家支持,新特性发布,优惠活动发布。【强烈推荐!】

AnalyticDB for PostgreSQL 实时数据仓库上手指南