隻需五步！将資料倉庫從 Redshift遷移到阿裡雲AnalyticDB for PG

阿裡雲AnalyticDB for PostgreSQL（以下簡稱 ADB PG，即原HybridDB for PostgreSQL）為基于PostgreSQL核心的MPP架構的實時資料倉庫服務，可以支援複雜ETL任務，也支援高性能線上查詢，同阿裡雲生态緊密結合。

AWS 的Redshift同樣為基于PostgreSQL核心引擎的MPP資料倉庫伺服器，在AWS被廣泛作為資料倉庫使用。ADB PG和Redshift從架構到文法上同Redshift高度相容。本文重點介紹兩個數倉平台如何進行遷移。

産品架構比較

阿裡雲AnalyticDB for PostgreSQL最新版本 6.0 基于PostgreSQL 9.4建構，Redshift 基于PostgreSQL 8.2版本，相對ADB PG的功能要更加全面，且全面相容PostgreSQL生态的工具，包括PostGIS，MADlib等擴充分析。Redshift 隻支援列存表，而不支援PostgreSQL原生的行存表，而ADB PG即保留了PostgreSQL行存表支援，實作高吞吐的資料更新操作，也支援面向OLAP大表聚合操作的列存表。

AnalyticDB for PG 與 Redshift的比較

關鍵文法比較及遷移

阿裡雲AnalyticDB for PostgreSQL與AWS Redshift都基于單機PostgreSQL核心引擎，故文法高度相容，部分文法描述略有差異如下。

DDL建表文法差異

文法指南

ADB PG建表指南??

https://help.aliyun.com/document_detail/118150.html

Redshift建表指南??

https://docs.aws.amazon.com/redshift/latest/dg/r_CREATE_TABLE_NEW.html

DDL轉換示例1

Redshift 建表語句，包含分布鍵DISTKEY和排序列：

CREATE TABLE schema1.table1(
    filed1 VARCHAR(100) ENCODE lzo,
    filed2 INTEGER DISTKEY,
    filed3 INTEGER,
    filed4 BIGINT ENCODE lzo,
    filed5 INTEGER,)
INTERLEAVED SORTKEY (
    filed1,
    filed2);
               

ADB PG建表語句：

*請左右滑動閱覽

CREATE TABLE schema1.table1
(
    filed1 VARCHAR(100) ,
    filed3 INTEGER,
    filed5 INTEGER
)
WITH(APPENDONLY=true,ORIENTATION=column,COMPRESSTYPE=zlib)
DISTRIBUTED BY (filed2)
SORTKEY
(
    filed1,
    filed2
)
           

DDL轉換示例2

Redshift 建表語句，包含ENCODE和SORTKEY選項：

CREATE TABLE schema2.table2
(
    filed1 VARCHAR(50) ENCODE lzo,
    filed2 VARCHAR(50) ENCODE lzo,
    filed3 VARCHAR(20) ENCODE lzo,
)
DISTSTYLE EVEN
INTERLEAVED SORTKEY
(
    filed1
);             

CREATE TABLE schema2.table2(
    filed1 VARCHAR(50),
    filed2 VARCHAR(50),
    filed3 VARCHAR(20))
WITH(APPENDONLY=true, ORIENTATION=column, COMPRESSTYPE=zlib)
DISTRIBUTED randomly
SORTKEY
(
    filed1
);   
           

資料遷移

Redshift和ADB PG均支援從雲存儲的告訴并行資料導入和導出。從Redshift遷移資料到AnalyticDB for PostgreSQL包含如下步驟：

• 資源和環境準備，執行操作前需提前準備Amazon Redshift、Amazon S3（Amazon Simple Storage Service）、AnalyticDB for PostgreSQL和阿裡雲對象存儲服務（OSS）的相關資源。
• 将Redshift的資料導入到Amazon S3中。
• 使用OSSImport将Amazon S3中CSV格式的資料檔案導入到OSS。
• 在目标AnalyticDB for PostgreSQL中建立和源Redshift對應的對象，包括模式（Schema）、表（Table）、視圖（View）和函數（Function）。
• 使用OSS外部表将資料導入到AnalyticDB for PostgreSQL。

整體遷移路徑如下：

??

AnalyticDB for PostgreSQL 6.0

正式商業化！

首月體驗僅需1元

快來體驗吧

https://mp.weixinbridge.com/mp/wapredirect?url=https%3A%2F%2Fpromotion.aliyun.com%2Fntms%2Fact%2Fadbrdsdatawarnhouseshangyehua.html%3Fwh_ttid%3Dpc