流数据同步DataConnector测试整理

概述

DataHub DataConnector是把DataHub服务中的流式数据同步到其他云产品中的功能，目前支持将Topic中的数据实时/准实时同步到MaxCompute(ODPS)、OSS、ElasticSearch、RDS Mysql、ADS、TableStore中。用户只需要向DataHub中写入一次数据，并在DataHub服务中配置好同步功能，便可以在各个云产品中使用这份数据。本文主要将各类数据源配置的状况做个总结，算是对 官方文档 的补充。

注意

1. 目前所有DataConnector均仅支持同一Region的云服务之间同步数据，不支持同步数据到跨Region的服务。
2. DataConnector所配置的目标服务Endpoint需要填写相应的内网域名（经典网络），不支持使用公网域名同步。
3. 数据同步目前仅支持at least once语义，在网络服务异常等小概率场景下可能会导致目的端的数据产生重复，需要做去重处理。

测试

同步到MySQL数据库

1、创建Topic：

2、MySQL中创建表

CREATE TABLE `tabletest` (
  `id` bigint(11) DEFAULT NULL,
  `name` varchar(32) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8           

3、VPC模式参数获取

4、白名单配置

100.104.136.0/24           

注意：这个可能会变化，具体可以查阅官方文档或提工单咨询阿里云客服。

5、连接配置

6、配置结果

同步到odps

1、odps建表SQL：

create table table_datahub(f1 string, f2 string, f3 double) partitioned by (ds string, hh string, mm string);           

2、配置截图：

3、效果：

同步到oss

1、oss参数获取

2、配置DataConnector

3、效果

参考链接

流数据同步DataConnector