
FT:什麼叫做千萬級别的資料遷移工具啊,面對疾風吧!
FT是一個非常高效的ETL工具。相比熟知的KETTLE,他的優點在于: 内置fdload,實作秒級千萬級别資料傳輸(全量愛好者狂笑) 有資料管道的服務,可以實作批量建表、抽取,及CDC增量抽取
後面我會單獨再寫一篇FT(ETL工具)、FD(GP)的騷操作,讓我們見證強大與高效
gpload的本質還是外部表加載,速度這麼快,肯定是要一次性把資料填入到記憶體,再讀取的。
是以不可以同時執行太多gpload的任務,同時執行時:要保證
記憶體給夠(自行百度jdk1.8記憶體修改)
單個任務的單次加載行數不要太大
同時執行的任務要限制
保證“真”串行,避免假串行
在FT伺服器(linux)上,到FT安裝目錄
按 i 輸入,将
換成
注意:這個檔案按行讀取,是以不要寫在一行
在FT中,
其中,修改臨時檔案條數限制即可實作
在FT中,我們可以使用“執行任務”元件封裝任務。例如:
在“執行的任務”處可以選擇封裝的任務,在此處選擇的将并行執行。
勾選“等待任務完成”,可以實作真正串行:即執行完第一個“執行任務”元件才執行下一個。
本文來自部落格園,作者:拼命十三郎,轉載請注明原文連結:https://www.cnblogs.com/shixiu/p/15344613.html