shell模拟多程序（1）

場景：

由于需要把http://x.x.x.x//VipProcessData/BasicObject/下的所有内容同步到遠端另一個機器。BasicObject/目錄下有9個目錄每個目錄下有200~1000個檔案不等 檔案小的幾十k大的幾百兆 總計270G

測試wget   xxxxxxx 隻有1M/s的速度 如果同時啟動n個wget  xxxxx基本能打到nM/s的速度。

由于"AreaObject  ClassObject  FullTextObject  FundObject  MediaObject  OrganObject“幾個子目錄下檔案總計都不大 加起來也隻有4~5G 是以這幾個目錄使用

wget -m -np  -c -nH  http://x.x.x.x/VipProcessData/BasicObject/$name/ ;下載下傳

而其他幾個目錄 先把檔案整理成url清單 然後以

wget -c -i /url1的方式來下載下傳。

shell 以

{}&來模拟一個程序

是以：

可以看出 腳本先後同時啟動n個程序，待程序全部結束後再啟動n個程序。缺點，不能保障n個程序每次都能同時或者接近同時完成。是以實際上 上述腳本理論上最大的下載下傳速度是6m/s （最開始同時啟動了6個程序）之後就再也沒有過同時達到6m/s的下載下傳速度了。

目錄周遊