流資料同步DataConnector測試整理

概述

DataHub DataConnector是把DataHub服務中的流式資料同步到其他雲産品中的功能，目前支援将Topic中的資料實時/準實時同步到MaxCompute(ODPS)、OSS、ElasticSearch、RDS Mysql、ADS、TableStore中。使用者隻需要向DataHub中寫入一次資料，并在DataHub服務中配置好同步功能，便可以在各個雲産品中使用這份資料。本文主要将各類資料源配置的狀況做個總結，算是對 官方文檔 的補充。

注意

1. 目前所有DataConnector均僅支援同一Region的雲服務之間同步資料，不支援同步資料到跨Region的服務。
2. DataConnector所配置的目标服務Endpoint需要填寫相應的内網域名（經典網絡），不支援使用公網域名同步。
3. 資料同步目前僅支援at least once語義，在網絡服務異常等小機率場景下可能會導緻目的端的資料産生重複，需要做去重處理。

測試

同步到MySQL資料庫

1、建立Topic：

2、MySQL中建立表

CREATE TABLE `tabletest` (
  `id` bigint(11) DEFAULT NULL,
  `name` varchar(32) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8           

3、VPC模式參數擷取

4、白名單配置

100.104.136.0/24           

注意：這個可能會變化，具體可以查閱官方文檔或提工單咨詢阿裡雲客服。

5、連接配接配置

6、配置結果

同步到odps

1、odps建表SQL：

create table table_datahub(f1 string, f2 string, f3 double) partitioned by (ds string, hh string, mm string);           

2、配置截圖：

3、效果：

同步到oss

1、oss參數擷取

2、配置DataConnector

3、效果

參考連結

流資料同步DataConnector