天天看點

快速将檔案切割為多個小檔案

背景:

從dw那邊拿到一個9kw行記錄的資料庫primary_key的csv檔案,需要導入到mysql中,然後由業務上通過程式去進行消費及一系列的下遊業務邏輯的處理。

目前難點在于如果把這個9kw的大的csv導入到資料庫中,如果使用load data這種方式,勢必會比較慢,因為load data這是單線程操作。

比較好的思路是先将這個大的csv檔案拆分成n個小的csv檔案,然後開多個screen去并發往資料庫裡面導入。

将大的csv拆分為n個小的csv,推薦使用下面的方法:

然後開多個screen ,使用 load data infile 方式導入到mysql中。 達到提速的目的。