Linux rsync資料同步指令解析

rsync指令

rsync有六種不同的工作模式：

1)拷貝本地檔案。當SRC和DES路徑資訊都不包含有單個冒号”:”分隔符時就啟動這種工作模式。

    rsync -a /data /backup

2)使用一個遠端shell程式(如rsh、ssh)來實作将本地機器的内容拷貝到遠端機器。當DST路徑位址包含單個冒号”:”分隔符時啟動該模式。

    rsync -avz *.c foo:src

3)使用一個遠端shell程式(如rsh、ssh)來實作将遠端機器的内容拷貝到本地機器。當SRC位址路徑包含單個冒号”:”分隔符時啟動該模式。

    rsync -avz foo:src/bar /data

4)從遠端rsync伺服器中拷貝檔案到本地機。當SRC路徑資訊包含”::”分隔符時啟動該模式。

    rsync -av [email protected]::www /databack

5)從本地機器拷貝檔案到遠端rsync伺服器中。當DST路徑資訊包含”::”分隔符時啟動該模式。

    rsync -av /databack [email protected]::www

6)列遠端機的檔案清單。這類似于rsync傳輸，不過隻要在指令中省略掉本地機資訊即可。

    rsync -v rsync://192.168.1.2/www

rsync參數的具體解釋如下：

-v, --verbose 詳細模式輸出

-q, --quiet 精簡輸出模式

-c, --checksum 打開校驗開關，強制對檔案傳輸進行校驗

-a, --archive 歸檔模式，表示以遞歸方式傳輸檔案，并保持所有檔案屬性，等于-rlptgoD

-r, --recursive 對子目錄以遞歸模式處理

-R, --relative 使用相對路徑資訊

-b, --backup 建立備份，也就是對于目的已經存在有同樣的檔案名時，将老的檔案重新命名為~filename。可以使用--suffix選項來指定不同的備份檔案字首。

--backup-dir 将備份檔案(如~filename)存放在在目錄下。

-suffix=SUFFIX 定義備份檔案字首

-u, --update 僅僅進行更新，也就是跳過所有已經存在于DST，并且檔案時間晚于要備份的檔案。(不覆寫更新的檔案)

-l, --links 保留軟鍊結

-L, --copy-links 想對待正常檔案一樣處理軟鍊結

--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的鍊結

--safe-links 忽略指向SRC路徑目錄樹以外的鍊結

-H, --hard-links 保留硬鍊結

-p, --perms 保持檔案權限

-o, --owner 保持檔案屬主資訊

-g, --group 保持檔案屬組資訊

-D, --devices 保持裝置檔案資訊

-t, --times 保持檔案時間資訊

-S, --sparse 對稀疏檔案進行特殊處理以節省DST的空間

-n, --dry-run現實哪些檔案将被傳輸

-W, --whole-file 拷貝檔案，不進行增量檢測

-x, --one-file-system 不要跨越檔案系統邊界

-B, --block-size=SIZE 檢驗算法使用的塊尺寸，預設是700位元組

-e, --rsh=COMMAND 指定使用rsh、ssh方式進行資料同步

--rsync-path=PATH 指定遠端伺服器上的rsync指令所在路徑資訊

-C, --cvs-exclude 使用和CVS一樣的方法自動忽略檔案，用來排除那些不希望傳輸的檔案

--existing 僅僅更新那些已經存在于DST的檔案，而不備份那些新建立的檔案

--delete 删除那些DST中SRC沒有的檔案

--delete-excluded 同樣删除接收端那些被該選項指定排除的檔案

--delete-after 傳輸結束以後再删除

--ignore-errors 及時出現IO錯誤也進行删除

--max-delete=NUM 最多删除NUM個檔案

--partial 保留那些因故沒有完全傳輸的檔案，以是加快随後的再次傳輸

--force 強制删除目錄，即使不為空

--numeric-ids 不将數字的使用者群組ID比對為使用者名群組名

--timeout=TIME IP逾時時間，機關為秒

-I, --ignore-times 不跳過那些有同樣的時間和長度的檔案

--size-only 當決定是否要備份檔案時，僅僅察看檔案大小而不考慮檔案時間

--modify-window=NUM 決定檔案是否時間相同時使用的時間戳視窗，預設為0

-T --temp-dir=DIR 在DIR中建立臨時檔案

--compare-dest=DIR 同樣比較DIR中的檔案來決定是否需要備份

-P 等同于 --partial

--progress 顯示備份過程

-z, --compress 對備份的檔案在傳輸時進行壓縮處理

--exclude=PATTERN 指定排除不需要傳輸的檔案模式

--include=PATTERN 指定不排除而需要傳輸的檔案模式

--exclude-from=FILE 排除FILE中指定模式的檔案

--include-from=FILE 不排除FILE指定模式比對的檔案

--version 列印版本資訊

--address 綁定到特定的位址

--config=FILE 指定其他的配置檔案，不使用預設的rsyncd.conf檔案

--port=PORT 指定其他的rsync服務端口

--blocking-io 對遠端shell使用阻塞IO

-stats 給出某些檔案的傳輸狀态

--log-format=formAT 指定日志檔案格式

--password-file=FILE 從FILE中得到密碼

--bwlimit=KBPS 限制I/O帶寬，KBytes per second

-h, --help 顯示幫助資訊

一般都使用azv選項（如果windows與linux同步不建議使用這個參數）

rsync資料同步執行個體

用指令直接同步

rsync -vzrtopg --progress -e ssh --delete [email protected]:/www/* /databack/www

這是直接用-e ssh 同步資料，可以直接将資料同步過來任何機器都不用設定為伺服器端

sync -avpz -e ssh 192.168.1.100:/ `find /home -name "*.sh"` /backupdir 

這條指令會找到/home 及其子目錄下，所有的*.sh檔案，并将備分到/backupdir這個目錄

rsync無密碼服務端同步配置

服務端：vim /etc/rsyncd.conf

#This is the rsync daemon configuration 

#global settings 

pid file = /var/run/rsyncd.pid

port = 873lock file = /var/run/rsyncd.lock

log file = /var/log/rsync.log

gid = root

uid = root

#module settings 

[data]

path = /web/rsync/data

use chroot = no

max connections = 15read only = yeswrite only = no

list = no

ignore errors = yes

timeout = 120

/usr/bin/rsync --daemonmkdir -p /web/rsync/data

用戶端

rsync -avz --progress [email protected]::data /home/hadoop/data

限制流量同步

rsync -avz --bwlimit=100 --progress [email protected]::data /home/hadoop/data

rsync有密碼服務端同步配置  

vim /etc/rsyncd.conf

[auth_data]

path = /web/rsync/auth_data

timeout = 120auth users = hadoop

secrets file = /etc/rsyncd.passwd

echo "hadoop:password123" > /etc/rsyncd.passwd chmod 600 /etc/rsyncd.passwdmkdir -p /web/rsync/auth_data

echo "password123" > /home/hadoop/rsyncd.passwd chmod 600 /home/hadoop/rsyncd.passwd 

rsync -avz --progress  --password-file=/home/hadoop/rsyncd.passwd [email protected]::auth_data /home/hadoop/auth_data

寫入同步配置

[write_data]

path = /web/rsync/write_data

max connections = 15read only = no

mkdir -p /web/rsync/write_data

echo "123" > /home/hadoop/write_file

export RSYNC_PASSWORD="password123"rsync -avz --progress --delete /home/hadoop/write_file [email protected]::write_data 

限定IP或者網段同步配置

secrets file = /etc/rsyncd.passwdhosts allow = 192.168.1.3  192.168.1.0/24

本文轉自super李導51CTO部落格，原文連結：http://blog.51cto.com/superleedo/1888060 ，如需轉載請自行聯系原作者