【使用linux 并發指令parallel 加快處理文本檔案】-原來是坑爹啊。

如何利用多核cpu來加速你的linux指令 — awk, sed, bzip2, grep, wc等

<a target="_blank" href="http://www.oschina.net/news/45477/use-cpu-cores-linux-commands">http://www.oschina.net/news/45477/use-cpu-cores-linux-commands</a>

系統使用的是redhat 5

parallel的官網：

<a target="_blank" href="http://www.gnu.org/software/parallel/">http://www.gnu.org/software/parallel/</a>

需要使用opensuse的源進行安裝

<a target="_blank" href="http://software.opensuse.org/download.html?project=home%3atange&amp;package=parallel">http://software.opensuse.org/download.html?project=home%3atange&amp;package=parallel</a>

對于 centos centos-6，請以 根使用者 root 運作下面指令：

對于 centos centos-5，請以 根使用者 root 運作下面指令：

經測試wc -l 指令 發現在cpu數量是4的時候并沒有提高計算時間，反而慢了。

計算1g檔案行數，用wc-l花費 1s而使用 parallel後花費 10s

對于200mb的檔案也是10倍的關系。

理論和實際使用還是有差别啊。在4cup的機器上面測試一點 優勢也沒有啊。

基本上要慢個 10倍以上啊。看來要處理大檔案，還是hadoop比較靠譜啊。