天天看點

linux下使用split 來分割大檔案

平常都是使用ssh來進行遠端操作和傳輸檔案 , 這個工具可以很友善的實作我們所需要的功能,一直使用正常,沒遇到什麼問題,今天因為需要傳一個412M的檔案 , 無論如何也傳不過來, 一直系統報錯。無奈之下GOOGLE了一下,發現可以使用split指令來切割檔案,以友善進行檔案傳輸。  

[root@localhost database]# ls -lh gkdb.db

-r--r--r-- 1 root root 411M Jul 23 17:20 gkdb.db

将将這個276M檔案分割成20M的小檔案,檔案分割操作如下:

[root@localhost database]# split -b 20m gkdb.db gkdb_pack_

split 是命今。

-B 20M 是指将每個分卷檔案最大20M 。

gkdb.db 需要分割的檔案。 

gkdb_pack_ 是指分割後的檔案開頭, 分割後後的檔案名一般為 gkdb_pack_aa、gkdb_pack_ab、gkdb_pack_ac依次類推。 

顯示分割後的檔案名及大小

[root@localhost database]# ll -lh gkdb_pack_a*

-rw-r--r-- 1 root root 20M Jul 27 16:09 gkdb_pack_aa

-rw-r--r-- 1 root root 20M Jul 27 16:09 gkdb_pack_ab

-rw-r--r-- 1 root root 20M Jul 27 16:09 gkdb_pack_ac

-rw-r--r-- 1 root root 20M Jul 27 16:09 gkdb_pack_ad

-rw-r--r-- 1 root root 20M Jul 27 16:09 gkdb_pack_ae

-rw-r--r-- 1 root root 20M Jul 27 16:09 gkdb_pack_af

-rw-r--r-- 1 root root 20M Jul 27 16:09 gkdb_pack_ag

-rw-r--r-- 1 root root 20M Jul 27 16:09 gkdb_pack_ah

-rw-r--r-- 1 root root 20M Jul 27 16:09 gkdb_pack_ai

-rw-r--r-- 1 root root 20M Jul 27 16:09 gkdb_pack_aj

-rw-r--r-- 1 root root 20M Jul 27 16:09 gkdb_pack_ak

-rw-r--r-- 1 root root 20M Jul 27 16:09 gkdb_pack_al

-rw-r--r-- 1 root root 20M Jul 27 16:09 gkdb_pack_am

-rw-r--r-- 1 root root 20M Jul 27 16:09 gkdb_pack_an

-rw-r--r-- 1 root root 20M Jul 27 16:09 gkdb_pack_ao

-rw-r--r-- 1 root root 20M Jul 27 16:10 gkdb_pack_ap

-rw-r--r-- 1 root root 20M Jul 27 16:10 gkdb_pack_aq

-rw-r--r-- 1 root root 20M Jul 27 16:10 gkdb_pack_ar

-rw-r--r-- 1 root root 20M Jul 27 16:10 gkdb_pack_as

-rw-r--r-- 1 root root 20M Jul 27 16:10 gkdb_pack_at

-rw-r--r-- 1 root root 11M Jul 27 16:10 gkdb_pack_au

最下面的那個檔案是剩餘的檔案。 20*20+11=411MB

合并檔案

[root@localhost database]# cat gkdb_pack_*>gkdb.tar.gz

組裝前群組裝後的MD5值都是一樣的,不信的話可以使用md5sum指令來檢測一下。

如果要分割的是一個文本檔案,比如有好幾千行,當然每行的字元數是不等的,想要以行數為分割,比如每100行生成1個檔案,隻需要 -l 參數,如下:

[root@pps public_rw]# split -l 100 test.txt

其實,如果不加任何參數,預設情況下是以1000行大小來分割的。

本文轉自東方之子736651CTO部落格,原文連結: http://blog.51cto.com/ecloud/1365948,如需轉載請自行聯系原作者

繼續閱讀