天天看點

從 OSS 裝載資料到 PostgreSQLoss_fdwoss_fdw 參數用例oss_fdw 使用注意id 和 key 隐藏參考連結

在阿裡雲上,支援通過 oss_fdw 并行裝載資料到 postgresql 和 ppas 中

oss_fdw 和其他 fdw 的接口一樣,提供對外部資料源 oss 的資料封裝,使用者可以使用 oss_fdw 像一張表一樣讀取 oss 上的存放的檔案。

和其他 fdw 一樣,oss_fdw 提供獨有的數個參數用于連接配接和解析 oss 上的檔案資料。

和 oss 相關參數有

需要注意

其他參數

oss_fdw 打開了 oss 到 postgresql 和 ppas 的資料通道,使用者可以把資料放到廉價的oss中,再導入到 postgresql 或 ppas 中。

create server中的id和key資訊如果不做任何處理,那麼使用者将可以 select * from pg_foreign_server看到明文資訊,這樣将會暴露使用者的id和key。

為了對id和key隐藏,我們通過對id和key進行對稱加密實作(不同的執行個體使用不同的秘鑰,最大限度保護使用者資訊),但是不能使用類似gp那樣,增加一個資料類型,因為會不相容老執行個體。

最終的加密後的資訊如下:

加密後的資訊将會以md5開頭(總長度為len%8==3),這樣導出之後再導入不會再次加密,但是使用者不能建立md5開頭的key和id

<a href="https://help.aliyun.com/document_detail/oss/user_guide/oss_concept/endpoint.html?spm=5176.2060224.101.6.7dajen">oss endpiint 資訊</a>

[oss help 頁面] [2]

[postgresql create foreign table 手冊] [3]