shell快速遷移海量檔案

業務需求1：需要把一個目錄下的1000多萬個檔案遷移到遠端機器

思路：用wget來把檔案一個一個的遷移過去，因為檔案數量比較大，如果一下在循環操作，會非常慢。是以分批操作，采用化整為零的方法。

<code>#! /bin/sh</code>

<code>home=</code><code>/usr/local/www/skate/image63delback</code>

<code>cd</code> <code>$home</code>

<code>    </code><code>if</code> <code>[ `</code><code>pwd</code><code>` == $home ];</code><code>then</code>

<code>a=</code><code>"1 1000000 2000000 3000000 4000000 5000000 6000000 7000000 8000000 9000000"</code>

<code>    </code><code>for</code> <code>b </code><code>in</code> <code>$a</code>

<code>       </code><code>do</code>

<code>c=`</code><code>expr</code> <code>$b + 100000`</code>

<code>    </code><code>for</code> <code>loop </code><code>in</code> <code>`</code><code>sed</code> <code>-n </code><code>"$b,$c"</code><code>p $1`</code>

<code>path=`</code><code>echo</code> <code>$loop | </code><code>awk</code> <code>-F </code><code>"/"</code> <code>'{print $1"/"$2"/"$3"/"$4}'</code><code>`</code>

<code>        </code><code>mkdir</code> <code>-p $path</code>

<code>       </code><code>/usr/bin/wget</code> <code>http:</code><code>//172</code><code>.16.111.163/$loop -P $path</code>

<code>       </code><code>echo</code> <code>$loop &gt;&gt; $1.log</code>

<code>    </code><code>done</code>

<code>done</code>

<code>fi</code>

業務需求2：需要把A目錄下的1000多萬個小檔案分批遷移到B目錄，每次1000個，30分鐘一次，mv之前需确認B目錄為空。

思路：使用python的shutil子產品，也用shell，大概思路與上文一般。

<code># -*- coding: utf-8 -*- </code>

<code>import</code> <code>os </code>

<code>import</code> <code>shutil</code>

<code>def</code> <code>Test1(rootDir): </code>

<code>    </code><code>list_dirs </code><code>=</code> <code>os.walk(rootDir) </code>

<code>    </code><code>count</code><code>=</code><code>0</code>

<code>    </code><code>for</code> <code>root, dirs, files </code><code>in</code> <code>list_dirs: </code>

<code>        </code><code>for</code> <code>d </code><code>in</code> <code>dirs: </code>

<code>            </code><code>print</code> <code>os.path.join(root, d)      </code>

<code>        </code><code>if</code> <code>os.listdir(</code><code>"/data/file/S10032666/"</code><code>):</code>

<code>            </code><code>print</code> <code>"目錄非空，請清空檔案。"</code>

<code>            </code><code>return</code> <code>0</code>

<code>        </code><code>else</code><code>:</code>

<code>            </code><code>for</code> <code>f </code><code>in</code> <code>files: </code>

<code>                </code><code>if</code> <code>count &lt; </code><code>1000</code><code>:</code>

<code>                    </code><code>count</code><code>=</code><code>count </code><code>+</code><code>1</code>

<code>                    </code><code>f </code><code>=</code> <code>os.path.join(root, f)</code>

<code>                    </code><code>shutil.move(f,</code><code>"/data/file/S10032666/"</code><code>)</code>

<code>                    </code><code>print</code> <code>os.path.join(root, f) </code>

<code>                </code><code>else</code><code>:</code>

<code>                    </code><code>return</code> <code>0</code>

<code>Test1(</code><code>"/data/S10032666_bak/"</code><code>)</code>

轉載位址:http://strongit.blog.51cto.com/10020534/1812396

      本文轉自027ryan  51CTO部落格，原文連結：，http://blog.51cto.com/ucode/1828661如需轉載請自行聯系原作者