天天看点

从 OSS 装载数据到 PostgreSQLoss_fdwoss_fdw 参数用例oss_fdw 使用注意id 和 key 隐藏参考链接

在阿里云上,支持通过 oss_fdw 并行装载数据到 postgresql 和 ppas 中

oss_fdw 和其他 fdw 的接口一样,提供对外部数据源 oss 的数据封装,用户可以使用 oss_fdw 像一张表一样读取 oss 上的存放的文件。

和其他 fdw 一样,oss_fdw 提供独有的数个参数用于连接和解析 oss 上的文件数据。

和 oss 相关参数有

需要注意

其他参数

oss_fdw 打开了 oss 到 postgresql 和 ppas 的数据通道,用户可以把数据放到廉价的oss中,再导入到 postgresql 或 ppas 中。

create server中的id和key信息如果不做任何处理,那么用户将可以 select * from pg_foreign_server看到明文信息,这样将会暴露用户的id和key。

为了对id和key隐藏,我们通过对id和key进行对称加密实现(不同的实例使用不同的秘钥,最大限度保护用户信息),但是不能使用类似gp那样,增加一个数据类型,因为会不兼容老实例。

最终的加密后的信息如下:

加密后的信息将会以md5开头(总长度为len%8==3),这样导出之后再导入不会再次加密,但是用户不能创建md5开头的key和id

<a href="https://help.aliyun.com/document_detail/oss/user_guide/oss_concept/endpoint.html?spm=5176.2060224.101.6.7dajen">oss endpiint 信息</a>

[oss help 页面] [2]

[postgresql create foreign table 手册] [3]