rsync伺服器架設(資料同步|檔案增量備份)

參考網址：RSync實作檔案備份同步

我們在使用伺服器釋出我們的網站的時候，通常要考慮到檔案的備份，而檔案的備份比較高效的備份是增加備份，rsync軟體就是這樣的一個工具。為了實作多個伺服器負載均衡，我們需要這幾個伺服器之間進行資料同步，而rsync軟體也能勝任，下面我們來介紹如何架設rsync伺服器來達到檔案增量備份和資料同步的功能。

什麼是rsync

rsync 是一個快速增量檔案傳輸工具，它可以用于在同一主機備份内部的備分，我們還可以把它作為不同主機網絡備份工具之用。本文主要講述的是如何自架rsync伺服器，以實作檔案傳輸、備份和鏡像。相對tar和wget來說，

rsync 也有其自身的優點，比如速度快、安全、高效。

rsync的安裝

在CentOS伺服器，我們可以執行以下指令安裝

1. yum install rsync

對于debian、ubuntu伺服器，則是以下指令

1. sudo apt-get  install  rsync

rsync伺服器的配置檔案rsyncd.conf

下面我們将涉及到三個檔案 rsyncd.conf，rsyncd.secrets 和rsyncd.motd。

rsyncd.conf 是rsync伺服器主要配置檔案。

rsyncd.secrets是登入rsync伺服器的密碼檔案。

rsyncd.motd是定義rysnc 伺服器資訊的，也就是使用者登入資訊。

下面我們分别建立這三個檔案。

1. mkdir /etc/rsyncd

注：在/etc目錄下建立一個rsyncd的目錄，我們用來存放rsyncd.conf 和rsyncd.secrets檔案；

1. touch /etc/rsyncd/rsyncd.conf

注：建立rsyncd.conf ，這是rsync伺服器的配置檔案；

1. touch /etc/rsyncd/rsyncd.secrets

注：建立rsyncd.secrets ，這是使用者密碼檔案；

1. chmod 600 /etc/rsyncd/rsyncd.secrets

注：為了密碼的安全性，我們把權限設為600；

1. touch /etc/rsyncd/rsyncd.motd

注：建立rsyncd.motd檔案，這是定義伺服器資訊的檔案。

下一就是我們修改 rsyncd.conf 和rsyncd.secrets 和rsyncd.motd 檔案的時候了。

rsyncd.conf檔案内容：

1. # Minimal configuration file for rsync daemon
2. # See rsync(1) and rsyncd.conf(5) man pages for help
3. # This line is required by the /etc/init.d/rsyncd script
4. pid file = /var/run/rsyncd.pid   
5. port = 873
6. address = 192.168.1.171 
7. #uid = nobody
8. #gid = nobody   
9. uid = root   
10. gid = root   
11. use chroot = yes 
12. read only = no 
13. #limit access to private LANs
14. hosts allow=192.168.1.0/255.255.255.0 10.0.1.0/255.255.255.0 
15. hosts deny=*
16. max connections = 5
17. motd file = /etc/rsyncd/rsyncd.motd
18. #This will give you a separate log file
19. #log file = /var/log/rsync.log
20. #This will log every file transferred - up to 85,000+ per user, per sync
21. #transfer logging = yes
22. log format = %t %a %m %f %b
23. syslog facility = local3
24. timeout = 300
25. [linuxsirhome]   
26. path = /home   
27. list=yes
28. ignore errors
29. auth users = linuxsir
30. secrets file = /etc/rsyncd/rsyncd.secrets 
31. comment = linuxsir home 
32. exclude =   beinan/  samba/     
33. [beinan]
34. path = /opt
35. list=no
36. ignore errors
37. comment = optdir   
38. auth users = beinan
39. secrets file = /etc/rsyncd/rsyncd.secrets

密碼檔案：/etc/rsyncd/rsyncd.secrets的内容格式；

1. 使用者名:密碼
2. linuxsir:222222
3. beinan:333333

注： linuxsir是系統使用者，這裡的密碼值得注意，為了安全，你不能把系統使用者的密碼寫在這裡。比如你的系統使用者 linuxsir 密碼是 abcdefg ，為了安全，你可以讓rsync 中的linuxsir 為 222222 。這和samba的使用者認證的密碼原理是差不多的；

rsyncd.motd 檔案;

它是定義rysnc 伺服器資訊的，也就是使用者登入資訊。比如讓使用者知道這個伺服器是誰提供的等；類似ftp伺服器登入時，我們所看到的 linuxsir.org ftp ……。 當然這在全局定義變量時，并不是必須的，你可以用#号注掉，或删除；我在這裡寫了一個 rsyncd.motd的内容為：

1. +++++++++++++++++++++++++++
2. + linuxsir.org  rsync  2002-2007 +
3. +++++++++++++++++++++++++++

rsyncd.conf檔案代碼說明

1. pid file = /var/run/rsyncd.pid

注：告訴程序寫到 /var/run/rsyncd.pid 檔案中；

1. port = 873

注：指定運作端口，預設是873，您可以自己指定；

1. address = 192.168.1.171

注：指定伺服器IP位址；

1. uid = nobody
2. gid = nobdoy

注：伺服器端傳輸檔案時，要發哪個使用者和使用者組來執行，預設是nobody。 如果用nobody 使用者和使用者組，可能遇到權限問題，有些檔案從伺服器上拉不下來。是以我就偷懶，為了友善，用了root 。不過您可以在定義要同步的目錄時定義的子產品中指定使用者來解決權限的問題。

1. use chroot = yes

用chroot，在傳輸檔案之前，伺服器守護程式在将chroot 到檔案系統中的目錄中，這樣做的好處是可能保護系統被安裝漏洞侵襲的可能。缺點是需要超級使用者權限。另外對符号連結檔案，将會排除在外。也就是說，你在rsync伺服器上，如果有符号連結，你在備份伺服器上運作用戶端的同步資料時，隻會把符号連結名同步下來，并不會同步符号連結的内容；這個需要自己來嘗試；

1. read only = yes

注：read only 是隻讀選擇，也就是說，不讓用戶端上傳檔案到伺服器上。還有一個 write only選項，自己嘗試是做什麼用的吧；

1. #limit access to private LANs
2. hosts allow=192.168.1.0/255.255.255.0 10.0.1.0/255.255.255.0

注：在您可以指定單個IP，也可以指定整個網段，能提高安全性。格式是ip 與ip 之間、ip和網段之間、網段和網段之間要用空格隔開；

1. max connections = 5

注：用戶端最多連接配接數；

1. motd file = /etc/rsyncd/rsyncd.motd

注：motd file 是定義伺服器資訊的，要自己寫 rsyncd.motd 檔案内容。當使用者登入時會看到這個資訊。

1. log file = /var/log/rsync.log

注：rsync 伺服器的日志；

1. transfer logging = yes

注：這是傳輸檔案的日志；

1. [linuxsirhome]

注：子產品，它為我們提供了一個連結的名字，連結到哪呢，在本子產品中，連結到了/home目錄；要用[name] 形式；

1. path = /home

注：指定檔案目錄所在位置，這是必須指定的；

1. auth users = linuxsir

注：認證使用者是linuxsir ，是必須在 伺服器上存在的使用者；

1. list=yes

注：list 意思是把rsync 伺服器上提供同步資料的目錄在伺服器上子產品是否顯示列出來。預設是yes 。如果你不想列出來，就no ；如果是no是比較安全的，至少别人不知道你的伺服器上提供了哪些目錄。你自己知道就行了；

1. ignore errors

注：忽略IO錯誤，詳細的請查文檔；

1. secrets file = /etc/rsyncd/rsyncd.secrets

注：密碼存在哪個檔案；

1. comment = linuxsir home  data

注：注釋可以自己定義，寫什麼都行，寫點相關的内容就行；

1. exclude =   beinan/   samba/

注：exclude 是排除的意思，也就是說，要把/home目錄下的beinan和samba 排除在外； beinan/和samba/目錄之間有空格分開 ；

啟動rsync 伺服器及防火牆的設定

啟動rsync伺服器

啟動rsync 伺服器相當簡單，–daemon 是讓rsync 以伺服器模式運作；

1. /usr/bin/rsync --daemon  --config=/etc/rsyncd/rsyncd.conf

rsync伺服器和防火牆

Linux 防火牆是用iptables，是以我們至少在伺服器端要讓你所定義的rsync 伺服器端口通過，用戶端上也應該讓通過。

1. iptables -A INPUT -p tcp -m state --state NEW  -m tcp --dport 873 -j ACCEPT

檢視一下防火牆是不是打開了 873端口；

1. iptables -L

通過rsync用戶端來同步資料

1. rsync -avzP [email protected]::linuxsirhome   linuxsirhome

Password: 這裡要輸入linuxsir的密碼，是伺服器端提供的，在前面的例子中，我們用的是 222222，輸入的密碼并不顯示出來；輸好後就回車；

注： 這個指令的意思就是說，用linuxsir 使用者登入到伺服器上，把linuxsirhome資料，同步到本地目錄linuxsirhome上。當然本地的目錄是可以你自己定義的，比如 linuxsir也是可以的；當你在用戶端上，目前操作的目錄下沒有linuxsirhome這個目錄時，系統會自動為你建立一個；當存在linuxsirhome這個目錄中，你要注意它的寫權限。

說明：

-a 參數，相當于-rlptgoD，-r 是遞歸 -l 是連結檔案，意思是拷貝連結檔案；-p 表示保持檔案原有權限；-t 保持檔案原有時間；-g 保持檔案原有使用者組；-o 保持檔案原有屬主；-D 相當于塊裝置檔案；

-z 傳輸時壓縮；

-P 傳輸進度；

-v 傳輸時的進度等資訊，和-P有點關系，自己試試。可以看文檔；

1. rsync -avzP  --delete [email protected]::linuxsirhome   linuxsirhome

這回我們引入一個 –delete 選項，表示用戶端上的資料要與伺服器端完全一緻，如果 linuxsirhome目錄中有伺服器上不存在的檔案，則删除。最終目的是讓linuxsirhome目錄上的資料完全與伺服器上保持一緻；用的時候要小心點，最好不要把已經有重要數所據的目錄，當做本地更新目錄，否則會把你的資料全部删除；

1. rsync -avzP  --delete  --password-file=rsync.password  [email protected]::linuxsirhome   linuxsirhome

這次我們加了一個選項 –password-file=rsync.password ，這是當我們以linuxsir使用者登入rsync伺服器同步資料時，密碼将讀取 rsync.password 這個檔案。這個檔案内容隻是linuxsir使用者的密碼。我們要如下做；

1. touch rsync.password
2. chmod 600 rsync.password
3. echo "222222"> rsync.password
4. rsync -avzP  --delete  --password-file=rsync.password  [email protected]::linuxsirhome   linuxsirhome

注： 這樣就不需要密碼了；其實這是比較重要的，因為伺服器通過crond 計劃任務還是有必要的；

讓rsync 用戶端自動與伺服器同步資料

編輯crontab

crontab -e

加入如下代碼：

1. 10 0 * * * rsync -avzP  --delete  --password-file=rsync.password  [email protected]::linuxsirhome   linuxsirhome

表示每天0點10分執行後面的指令。更多crontab用法請參考

########################################################################

rsync的完整參數說明：

-v, --verbose 詳細模式輸出

-q, --quiet 精簡輸出模式

-c, --checksum 打開校驗開關，強制對檔案傳輸進行校驗

-a, --archive 歸檔模式，表示以遞歸方式傳輸檔案，并保持所有檔案屬性，等于-rlptgoD

-r, --recursive 對子目錄以遞歸模式處理

-R, --relative 使用相對路徑資訊

-b, --backup 建立備份，也就是對于目的已經存在有同樣的檔案名時，将老的檔案重新命名為~filename。可以使用--suffix選項來指定不同的備份檔案字首。

--backup-dir 将備份檔案(如~filename)存放在在目錄下。

-suffix=SUFFIX 定義備份檔案字首

-u, --update 僅僅進行更新，也就是跳過所有已經存在于DST，并且檔案時間晚于要備份的檔案。(不覆寫更新的檔案)

-l, --links 保留軟鍊結

-L, --copy-links 想對待正常檔案一樣處理軟鍊結

--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的鍊結

--safe-links 忽略指向SRC路徑目錄樹以外的鍊結

-H, --hard-links 保留硬鍊結

-p, --perms 保持檔案權限

-o, --owner 保持檔案屬主資訊

-g, --group 保持檔案屬組資訊

-D, --devices 保持裝置檔案資訊

-t, --times 保持檔案時間資訊

-S, --sparse 對稀疏檔案進行特殊處理以節省DST的空間

-n, --dry-run現實哪些檔案将被傳輸

-W, --whole-file 拷貝檔案，不進行增量檢測

-x, --one-file-system 不要跨越檔案系統邊界

-B, --block-size=SIZE 檢驗算法使用的塊尺寸，預設是700位元組

-e, --rsh=COMMAND 指定使用rsh、ssh方式進行資料同步

--rsync-path=PATH 指定遠端伺服器上的rsync指令所在路徑資訊

-C, --cvs-exclude 使用和CVS一樣的方法自動忽略檔案，用來排除那些不希望傳輸的檔案

--existing 僅僅更新那些已經存在于DST的檔案，而不備份那些新建立的檔案

--delete 删除那些DST中SRC沒有的檔案

--delete-excluded 同樣删除接收端那些被該選項指定排除的檔案

--delete-after 傳輸結束以後再删除

--ignore-errors 及時出現IO錯誤也進行删除

--max-delete=NUM 最多删除NUM個檔案

--partial 保留那些因故沒有完全傳輸的檔案，以是加快随後的再次傳輸

--force 強制删除目錄，即使不為空

--numeric-ids 不将數字的使用者群組ID比對為使用者名群組名

--timeout=TIME IP逾時時間，機關為秒

-I, --ignore-times 不跳過那些有同樣的時間和長度的檔案

--size-only 當決定是否要備份檔案時，僅僅察看檔案大小而不考慮檔案時間

--modify-window=NUM 決定檔案是否時間相同時使用的時間戳視窗，預設為0

-T --temp-dir=DIR 在DIR中建立臨時檔案

--compare-dest=DIR 同樣比較DIR中的檔案來決定是否需要備份

-P 等同于 --partial

--progress 顯示備份過程

-z, --compress 對備份的檔案在傳輸時進行壓縮處理

--exclude=PATTERN 指定排除不需要傳輸的檔案模式

--include=PATTERN 指定不排除而需要傳輸的檔案模式

--exclude-from=FILE 排除FILE中指定模式的檔案

--include-from=FILE 不排除FILE指定模式比對的檔案

--version 列印版本資訊

--address 綁定到特定的位址

--config=FILE 指定其他的配置檔案，不使用預設的rsyncd.conf檔案

--port=PORT 指定其他的rsync服務端口

--blocking-io 對遠端shell使用阻塞IO

-stats 給出某些檔案的傳輸狀态

--progress 在傳輸時現實傳輸過程

--log-format=formAT 指定日志檔案格式

--password-file=FILE 從FILE中得到密碼

--bwlimit=KBPS 限制I/O帶寬，KBytes per second

-h, --help 顯示幫助資訊

要排除同步某個目錄時，為rsync添加--exculde=PATTERN參數，注意，路徑是相對路徑，具體檢視man rsync。

要排除某個目錄的事件監聽的處理時，為inotifywait添加--exclude或--excludei參數，具體檢視man inotifywait。