天天看點

AnalyticDB for PostgreSQL 實時資料倉庫上手指南

雲資料庫AnalyticDB for PostgreSQL是一種線上MPP大規模并行處理資料倉庫服務,基于Greenplum 開源資料庫項目,由阿裡雲深度擴充。其簡單易用、海量擴充、相容部分Oracle 文法生态、支援PL/SQL,标準事務隔離級别,支援行存儲和列存儲、即滿足高性能線上互動分析需要,也可以進行離線資料處理清晰,主要特點有:

AnalyticDB for PostgreSQL 實時資料倉庫上手指南

主要場景

AnalyticDB for PostgreSQL 實時資料倉庫上手指南

1.實時數倉場景

通過資料傳輸服務 DTS 、資料內建工具DataX、開源同步工具 rds_dbsync 、 Kettle 等,同步交易庫資料 到 ADBPG,建構實時數倉。

MySQL/PG ->DTS/DataX->ADBPG

2.大資料計算分析

批量同步MaxCompute/Hadoop/Spark/SLS 資料到ADB for PG,支撐線上互動分析

大資料平台/日志->DataX/OSS -> ADBPG

3.資料湖分析場景

資料按冷熱分析,支援線上查詢OSS分布式雲存儲上的格式化資料

架構介紹:

AnalyticDB for PostgreSQL 實時資料倉庫上手指南

開通執行個體:

https://help.aliyun.com/document_detail/50200.html

用戶端:

https://help.aliyun.com/document_detail/35428.html

産品文檔:

ADB for PG 産品文檔:

https://help.aliyun.com/document_detail/49912.html

常用操作

執行個體規格選型指導:

https://help.aliyun.com/document_detail/35406.html

表規劃和設計指導:

https://help.aliyun.com/document_detail/118150.html

性能調優指導:

https://help.aliyun.com/document_detail/42688.html

建表文法:

https://gpdb.docs.pivotal.io/500/ref_guide/sql_commands/CREATE_TABLE.html

列存壓縮(壓縮比3到10倍):

https://help.aliyun.com/knowledge_detail/50320.html

分區鍵選擇:

https://help.aliyun.com/document_detail/120143.html

表分區(支援數字和日期類型上的多級分區):

https://help.aliyun.com/document_detail/118173.html https://gpdb.docs.pivotal.io/43170/admin_guide/ddl/ddl-partition.html

資料寫入方式總結:

資料可以采用 INSERT/COPY/OSS外表/Client SDK 寫入執行個體:

https://help.aliyun.com/document_detail/121522.html

資料導入與同步:

資料同步和遷移方法總結:

https://help.aliyun.com/document_detail/97411.html

資料傳輸 DTS 準實時同步 RDS MySQL 資料到 ADB for PG:

https://help.aliyun.com/document_detail/117295.html

資料內建DataX 按小時/天同步資料到 ADB for PG:

https://help.aliyun.com/document_detail/57681.html

ADB for PG OSS 外部表文檔:

https://help.aliyun.com/document_detail/35457.html

ETL作業排程:

通過Dataworks 進行ADB for PG作業排程:

https://yq.aliyun.com/articles/699601

PostGIS 進行地理資訊分析

https://help.aliyun.com/document_detail/127419.html

社群文檔:

ADB for PG 社群官方手冊:

http://greenplum.org/docs/

MADlib SQL機器學習庫:

http://madlib.apache.org/documentation.html

最佳實踐:

資料傾斜的監測和實踐:

https://github.com/digoal/blog/blob/master/201708/20170821_02.md

負載管理(資源隊列管理):

https://github.com/digoal/blog/blob/master/201708/20170821_01.md

社群:

AnalyticDB for PG 線上技術支援釘釘群,包括 線上技術專家支援,新特性釋出,優惠活動釋出。【強烈推薦!】

AnalyticDB for PostgreSQL 實時資料倉庫上手指南