天天看點

基于FT的FDLOAD(gpload)的資料遷移編排注意事項

基于FT的FDLOAD(gpload)的資料遷移編排注意事項

FT:什麼叫做千萬級别的資料遷移工具啊,面對疾風吧!

FT是一個非常高效的ETL工具。相比熟知的KETTLE,他的優點在于: 内置fdload,實作秒級千萬級别資料傳輸(全量愛好者狂笑) 有資料管道的服務,可以實作批量建表、抽取,及CDC增量抽取
後面我會單獨再寫一篇FT(ETL工具)、FD(GP)的騷操作,讓我們見證強大與高效

gpload的本質還是外部表加載,速度這麼快,肯定是要一次性把資料填入到記憶體,再讀取的。

是以不可以同時執行太多gpload的任務,同時執行時:要保證

記憶體給夠(自行百度jdk1.8記憶體修改)

單個任務的單次加載行數不要太大

同時執行的任務要限制

保證“真”串行,避免假串行

在FT伺服器(linux)上,到FT安裝目錄

按 i 輸入,将

換成

注意:這個檔案按行讀取,是以不要寫在一行

在FT中,

基于FT的FDLOAD(gpload)的資料遷移編排注意事項

其中,修改臨時檔案條數限制即可實作

在FT中,我們可以使用“執行任務”元件封裝任務。例如:

基于FT的FDLOAD(gpload)的資料遷移編排注意事項

在“執行的任務”處可以選擇封裝的任務,在此處選擇的将并行執行。

基于FT的FDLOAD(gpload)的資料遷移編排注意事項

勾選“等待任務完成”,可以實作真正串行:即執行完第一個“執行任務”元件才執行下一個。

本文來自部落格園,作者:拼命十三郎,轉載請注明原文連結:https://www.cnblogs.com/shixiu/p/15344613.html