背景:
從dw那邊拿到一個9kw行記錄的資料庫primary_key的csv檔案,需要導入到mysql中,然後由業務上通過程式去進行消費及一系列的下遊業務邏輯的處理。
目前難點在于如果把這個9kw的大的csv導入到資料庫中,如果使用load data這種方式,勢必會比較慢,因為load data這是單線程操作。
比較好的思路是先将這個大的csv檔案拆分成n個小的csv檔案,然後開多個screen去并發往資料庫裡面導入。
将大的csv拆分為n個小的csv,推薦使用下面的方法:
然後開多個screen ,使用 load data infile 方式導入到mysql中。 達到提速的目的。