Rsync的配置與使用

一.介紹 (不想看直接可以跳過)

Rsync 是一個遠端資料同步工具，可通過 LAN/WAN 快速同步多台主機間的檔案。 Rsync 本來是用以取代 rcp 的一個工具，它目前由  rsync.samba.org 維護。 Rsync 使用所謂的“ Rsync 演算法 ”來使本地和遠端兩個主機之間的檔案達到同步，這個算法隻傳送兩個檔案的不同部分，而不是每次都整份傳送，是以速度相當快。運作 Rsync server 的機器也叫 backup server ，一個 Rsync server 可同時備份多個 client 的資料；也可以多個 Rsync server 備份一個 client 的資料。 

Rsync 可以搭配 rsh 或 ssh 甚至使用 daemon 模式。 Rsync server 會打開一個 873 的服務通道 (port) ，等待對方 Rsync 連接配接。連接配接時， Rsync server 會檢查密碼是否相符，若通過密碼查核，則可以開始進行檔案傳輸。第一次連通完成時，會把整份檔案傳輸一次，下一次就隻傳送二個檔案之間不同的部份。 

Rsync 支援大多數的類 Unix 系統，無論是 Linux 、 Solaris 還是 BSD 上都經過了良好的測試。此外，它在 windows 平台下也有相應的版本，比較知名的有 cwRsync 和 Sync2NAS 。 

Rsync 的基本特點如下： 

1. 可以鏡像儲存整個目錄樹和檔案系統； 

2. 可以很容易做到保持原來檔案的權限、時間、軟硬連結等； 

3. 無須特殊權限即可安裝； 

4. 優化的流程，檔案傳輸效率高； 

5. 可以使用 rcp 、 ssh 等方式來傳輸檔案，當然也可以通過直接的 socket 連接配接； 

6. 支援匿名傳輸。

核心算法介紹：

假定在名為α和β的兩台計算機之間同步相似的檔案 A 與 B ，其中α對檔案 A 擁有通路權，β對檔案 B 擁有通路權。并且假定主機α與β之間的網絡帶寬很小。那麼 rsync 算法将通過下面的五個步驟來完成： 

1. β将檔案 B 分割成一組不重疊的固定大小為 S 位元組的資料塊。最後一塊可能會比 S  小。 

2. β對每一個分割好的資料塊執行兩種校驗：一種是 32 位的滾動弱校驗，另一種是 128 位的 MD4 強校驗。 

3. β将這些校驗結果發給α。 

4. α通過搜尋檔案 A 的所有大小為 S 的資料塊 ( 偏移量可以任選，不一定非要是 S 的倍數 ) ，來尋找與檔案 B 的某一塊有着相同的弱校驗碼和強校驗碼的資料塊。這項工作可以借助滾動校驗的特性很快完成。 

5. α發給β一串指令來生成檔案 A 在β上的備份。這裡的每一條指令要麼是對檔案 B 經擁有某一個資料塊而不須重傳的證明，要麼是一個資料塊，這個資料塊肯定是沒有與檔案 B 的任何一個資料塊比對上的。

指令： 

rsync 的指令格式可以為以下六種：

　　rsync [OPTION]... SRC DEST

　　rsync [OPTION]... SRC [USER@]HOST:DEST

　　rsync [OPTION]... [USER@]HOST:SRC DEST

　　rsync [OPTION]... [USER@]HOST::SRC DEST

　　rsync [OPTION]... SRC [USER@]HOST::DEST

　　rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]

　　對應于以上六種指令格式， rsync 有六種不同的工作模式：

　　1) 拷貝本地檔案。當 SRC 和 DES 路徑資訊都不包含有單個冒号 ":" 分隔符時就啟動這種工作模式。

　　2) 使用一個遠端 shell 程式 ( 如 rsh 、 ssh) 來實作将本地機器的内容拷貝到遠端機器。當 DST 路徑位址包含單個冒号 ":" 分隔符時啟動該模式。

　　3) 使用一個遠端 shell 程式 ( 如 rsh 、 ssh) 來實作将遠端機器的内容拷貝到本地機器。當 SRC 位址路徑包含單個冒号 ":" 分隔符時啟動該模式。

　　4) 從遠端 rsync 伺服器中拷貝檔案到本地機。當 SRC 路徑資訊包含 "::" 分隔符時啟動該模式。

　　5) 從本地機器拷貝檔案到遠端 rsync 伺服器中。當 DST 路徑資訊包含 "::" 分隔符時啟動該模式。

　　6) 列遠端機的檔案清單。這類似于 rsync 傳輸，不過隻要在指令中省略掉本地機資訊即可。

二.安裝

1. 從原始網站下載下傳： [url]http://rsync.samba.org/ftp/rsync/[/url]  (http://rsync.samba.org/ftp/rsync/rsync-3.0.7.tar.gz目前是這個版本)

windows版本：

對于client 和 server都是windows的，那麼可以直接安裝如上2個，然後可以通過建 windows的任務，實作定時處理，可以參考：

http://blog.csdn.net/daizhj/archive/2009/11/03/4765280.aspx

2.[root@localhost bin]#./configure

[root@localhost bin]#make

[root@localhost bin]#make install 

這裡可能會有權限問題，切換到root使用者

Rsync配置

/etc/rsyncd.conf  (預設是沒有的，可以手工建立)

#全局選項

strict modes =yes                        #是否檢查密碼檔案的權限

port = 873                               #預設端口873

log file = /var/log/rsyncd.log           #日志記錄檔案     原文中有的，我沒有使用，日志檔案 

pid file = /usr/local/rsync/rsyncd.pid   #運作程序的ID寫到哪裡    原文中有的，我沒有使用，日志檔案 

#子產品選項

[test]                                   # 這裡是認證的子產品名，在client端需要指定

max connections = 5                      #用戶端最大連接配接數,預設0(沒限制)

         uid = root                      #指定該子產品傳輸檔案時守護程序應該具有的uid 

         gid = root                      #指定該子產品傳輸檔案時守護程序應該具有的gid 

          path = /home/admin/testrsync   # 需要做備份的目錄

          ignore errors                  # 可以忽略一些無關的IO錯誤

          read only = no                 #no用戶端可上傳檔案,yes隻讀

          write only = no                #no用戶端可下載下傳檔案,yes不能下載下傳

          hosts allow = *                #充許任何主機連接配接

          hosts deny = 10.5.3.77         #禁止指定的主機連接配接

          auth users = root              # 認證的使用者名，如果沒有這行，則表明是匿名

          secrets file = /home/admin/security/rsync.pass    # 指定認證密碼檔案位置

生成rsync密碼檔案

在server端生成一個密碼檔案/home/admin/security/rsync.pass 

       vi rsync.pass

        root:hell05a

注意：密碼檔案的權限，是由rsyncd.conf裡的參數

strict modes =yes/no 來決定

Rsync 的啟動

 rsycn 的啟動方式有多種，我們在這裡介紹以下幾種：

●. 守護程序方式：(我現在隻使用這個)

/usr/local/bin/rsync --daemon

驗證啟動是否成功

 ps -aux |grep rsync

 root       59120  0.0  0.2  1460   972  ??  Ss    5:20PM   0:00.00  /usr/local/rsync/bin/rsync –daemon

netstat -an |grep 873

tcp4       0      0  *.873                  *.*                    LISTEN

結束程序：kill -9 pid的值 

kill -15 程序名

三.用戶端通路：（用戶端也需要安裝 rsync,如果是windows，安裝cwrsync）

執行個體示範使用：

cd /usr/local/rsync/bin     // rsync 安裝目錄下下載下傳檔案

下載下傳檔案：

./rsync  -vzrtopg --progress --delete  [email protected]::backup  /home/admin/getfile

上傳檔案：

/usr/bin/rsync -vzrtopg --progress /home/admin/getfile  [email protected]::backup

Rsync 同步參數說明

-vzrtopg裡的v是verbose，z是壓縮，r是recursive，topg都是保持檔案原有屬性如屬主、時間的參數。

--progress是指顯示出詳細的進度情況

--delete是指如果伺服器端删除了這一檔案,那麼用戶端也相應把檔案删除

[email protected]中的root是指定密碼檔案中的使用者名,xxx為ip位址

backup 是指在rsyncd.conf裡定義的子產品名

/home/admin/getfile 是指本地要備份目錄

可能出現的問題：

@ERROR: auth failed on module backup

rsync error: error starting client-server protocol (code 5) at main.c(1506) [Receiver=3.0.7]

那估計是密碼檔案沒有設定權限哦：  chmod 600 /home/admin/security/rsync.pass 

應該差不多就可以了。

(2)打開rsync服務

#chkconfig xinetd on

#chkconfig rsync on

(4)啟動基于xinetd程序的rsync服務t

#/etc/init.d/xinetd start

3、配置windows的rsync用戶端 

(1)安裝client端的rsync包

(2)打開cmd,執行同步計劃：

cd C:\Program Files\cwRsync\bin

下載下傳同步 (把伺服器上的東東下載下傳目前目錄)

rsync -vzrtopg --progress --delete [email protected]::backup  ./ff

(此時須輸入root使用者的密碼，就可進行同步了。)

上傳同步 (把本地東東上傳到伺服器)

rsync -vzrtopg --progress ./get/  [email protected]::backup

參數說明

-v, --verbose  詳細模式輸出

-q, --quiet 精簡輸出模式

-c, --checksum 打開校驗開關，強制對檔案傳輸進行校驗

-a, --archive 歸檔模式，表示以遞歸方式傳輸檔案，并保持所有檔案屬性，等于-rlptgoD

-r, --recursive 對子目錄以遞歸模式處理

-R, --relative 使用相對路徑資訊

-b, --backup 建立備份，也就是對于目的已經存在有同樣的檔案名時，将老的檔案重新命名為~filename。可以使用--suffix選項來指定不同的備份檔案字首。

--backup-dir 将備份檔案(如~filename)存放在在目錄下。

-suffix=SUFFIX 定義備份檔案字首

-u, --update 僅僅進行更新，也就是跳過所有已經存在于DST，并且檔案時間晚于要備份的檔案。(不覆寫更新的檔案)

-l, --links 保留軟鍊結

-L, --copy-links 想對待正常檔案一樣處理軟鍊結

--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的鍊結

--safe-links 忽略指向SRC路徑目錄樹以外的鍊結

-H, --hard-links 保留硬鍊結     -p, --perms 保持檔案權限

-o, --owner 保持檔案屬主資訊     -g, --group 保持檔案屬組資訊

-D, --devices 保持裝置檔案資訊    -t, --times 保持檔案時間資訊

-S, --sparse 對稀疏檔案進行特殊處理以節省DST的空間

-n, --dry-run現實哪些檔案将被傳輸

-W, --whole-file 拷貝檔案，不進行增量檢測

-x, --one-file-system 不要跨越檔案系統邊界

-B, --block-size=SIZE 檢驗算法使用的塊尺寸，預設是700位元組

-e, --rsh=COMMAND 指定使用rsh、ssh方式進行資料同步

--rsync-path=PATH 指定遠端伺服器上的rsync指令所在路徑資訊

-C, --cvs-exclude 使用和CVS一樣的方法自動忽略檔案，用來排除那些不希望傳輸的檔案

--existing 僅僅更新那些已經存在于DST的檔案，而不備份那些新建立的檔案

--delete 删除那些DST中SRC沒有的檔案

--delete-excluded 同樣删除接收端那些被該選項指定排除的檔案

--delete-after 傳輸結束以後再删除

--ignore-errors 及時出現IO錯誤也進行删除

--max-delete=NUM 最多删除NUM個檔案

--partial 保留那些因故沒有完全傳輸的檔案，以是加快随後的再次傳輸

--force 強制删除目錄，即使不為空

--numeric-ids 不将數字的使用者群組ID比對為使用者名群組名

--timeout=TIME IP逾時時間，機關為秒

-I, --ignore-times 不跳過那些有同樣的時間和長度的檔案

--size-only 當決定是否要備份檔案時，僅僅察看檔案大小而不考慮檔案時間

--modify-window=NUM 決定檔案是否時間相同時使用的時間戳視窗，預設為0

-T --temp-dir=DIR 在DIR中建立臨時檔案

--compare-dest=DIR 同樣比較DIR中的檔案來決定是否需要備份

-P 等同于 --partial

--progress 顯示備份過程

-z, --compress 對備份的檔案在傳輸時進行壓縮處理

--exclude=PATTERN 指定排除不需要傳輸的檔案模式

--include=PATTERN 指定不排除而需要傳輸的檔案模式

--exclude-from=FILE 排除FILE中指定模式的檔案

--include-from=FILE 不排除FILE指定模式比對的檔案

--version 列印版本資訊

--address 綁定到特定的位址

--config=FILE 指定其他的配置檔案，不使用預設的rsyncd.conf檔案

--port=PORT 指定其他的rsync服務端口

--blocking-io 對遠端shell使用阻塞IO

-stats 給出某些檔案的傳輸狀态

--progress 在傳輸時現實傳輸過程

--log-format=formAT 指定日志檔案格式

--password-file=FILE 從FILE中得到密碼

--bwlimit=KBPS 限制I/O帶寬，KBytes per second      -h, --help 顯示幫助資訊

一定要配置和關閉linux的防火牆

windows

下載下傳 cwRsync

secrets.txt内容為：

123456

存放secrets.txt的盤格式為NTFS

進入cmd

修改密碼檔案權限為目前使用者專屬，不然無法使用。

cacls d：\secrets.txt /t /e /c /r everyone

Cacls d：\secrets.txt /t /e /c /g administrator:f

cd d：\cwRsync\bin

rsync -vzrtopg --progress --delete backup@ip::pic /cygdrive/d/pic --password-file=/cygdrive/d/secrets.txt

本文轉自holy2009 51CTO部落格，原文連結:http://blog.51cto.com/holy2010/548969