shell快速迁移海量文件

业务需求1：需要把一个目录下的1000多万个文件迁移到远程机器

思路：用wget来把文件一个一个的迁移过去，因为文件数量比较大，如果一下在循环操作，会非常慢。所以分批操作，采用化整为零的方法。

<code>#! /bin/sh</code>

<code>home=</code><code>/usr/local/www/skate/image63delback</code>

<code>cd</code> <code>$home</code>

<code>    </code><code>if</code> <code>[ `</code><code>pwd</code><code>` == $home ];</code><code>then</code>

<code>a=</code><code>"1 1000000 2000000 3000000 4000000 5000000 6000000 7000000 8000000 9000000"</code>

<code>    </code><code>for</code> <code>b </code><code>in</code> <code>$a</code>

<code>       </code><code>do</code>

<code>c=`</code><code>expr</code> <code>$b + 100000`</code>

<code>    </code><code>for</code> <code>loop </code><code>in</code> <code>`</code><code>sed</code> <code>-n </code><code>"$b,$c"</code><code>p $1`</code>

<code>path=`</code><code>echo</code> <code>$loop | </code><code>awk</code> <code>-F </code><code>"/"</code> <code>'{print $1"/"$2"/"$3"/"$4}'</code><code>`</code>

<code>        </code><code>mkdir</code> <code>-p $path</code>

<code>       </code><code>/usr/bin/wget</code> <code>http:</code><code>//172</code><code>.16.111.163/$loop -P $path</code>

<code>       </code><code>echo</code> <code>$loop &gt;&gt; $1.log</code>

<code>    </code><code>done</code>

<code>done</code>

<code>fi</code>

业务需求2：需要把A目录下的1000多万个小文件分批迁移到B目录，每次1000个，30分钟一次，mv之前需确认B目录为空。

思路：使用python的shutil模块，也用shell，大概思路与上文一般。

<code># -*- coding: utf-8 -*- </code>

<code>import</code> <code>os </code>

<code>import</code> <code>shutil</code>

<code>def</code> <code>Test1(rootDir): </code>

<code>    </code><code>list_dirs </code><code>=</code> <code>os.walk(rootDir) </code>

<code>    </code><code>count</code><code>=</code><code>0</code>

<code>    </code><code>for</code> <code>root, dirs, files </code><code>in</code> <code>list_dirs: </code>

<code>        </code><code>for</code> <code>d </code><code>in</code> <code>dirs: </code>

<code>            </code><code>print</code> <code>os.path.join(root, d)      </code>

<code>        </code><code>if</code> <code>os.listdir(</code><code>"/data/file/S10032666/"</code><code>):</code>

<code>            </code><code>print</code> <code>"目录非空，请清空文件。"</code>

<code>            </code><code>return</code> <code>0</code>

<code>        </code><code>else</code><code>:</code>

<code>            </code><code>for</code> <code>f </code><code>in</code> <code>files: </code>

<code>                </code><code>if</code> <code>count &lt; </code><code>1000</code><code>:</code>

<code>                    </code><code>count</code><code>=</code><code>count </code><code>+</code><code>1</code>

<code>                    </code><code>f </code><code>=</code> <code>os.path.join(root, f)</code>

<code>                    </code><code>shutil.move(f,</code><code>"/data/file/S10032666/"</code><code>)</code>

<code>                    </code><code>print</code> <code>os.path.join(root, f) </code>

<code>                </code><code>else</code><code>:</code>

<code>                    </code><code>return</code> <code>0</code>

<code>Test1(</code><code>"/data/S10032666_bak/"</code><code>)</code>

转载地址:http://strongit.blog.51cto.com/10020534/1812396

      本文转自027ryan  51CTO博客，原文链接：，http://blog.51cto.com/ucode/1828661如需转载请自行联系原作者