在阿裡雲上,支援通過 oss_fdw 并行裝載資料到 postgresql 和 ppas 中
oss_fdw 和其他 fdw 的接口一樣,提供對外部資料源 oss 的資料封裝,使用者可以使用 oss_fdw 像一張表一樣讀取 oss 上的存放的檔案。
和其他 fdw 一樣,oss_fdw 提供獨有的數個參數用于連接配接和解析 oss 上的檔案資料。
和 oss 相關參數有
需要注意
其他參數
oss_fdw 打開了 oss 到 postgresql 和 ppas 的資料通道,使用者可以把資料放到廉價的oss中,再導入到 postgresql 或 ppas 中。
create server中的id和key資訊如果不做任何處理,那麼使用者将可以 select * from pg_foreign_server看到明文資訊,這樣将會暴露使用者的id和key。
為了對id和key隐藏,我們通過對id和key進行對稱加密實作(不同的執行個體使用不同的秘鑰,最大限度保護使用者資訊),但是不能使用類似gp那樣,增加一個資料類型,因為會不相容老執行個體。
最終的加密後的資訊如下:
加密後的資訊将會以md5開頭(總長度為len%8==3),這樣導出之後再導入不會再次加密,但是使用者不能建立md5開頭的key和id
<a href="https://help.aliyun.com/document_detail/oss/user_guide/oss_concept/endpoint.html?spm=5176.2060224.101.6.7dajen">oss endpiint 資訊</a>
[oss help 頁面] [2]
[postgresql create foreign table 手冊] [3]