如果隻對經常改動的目錄進行同步,也可以忽略這個問題,如果每次改動的目錄多較大,那麼就要用到inotify了,Inotify是一種強大的、細粒度的、異步的檔案系統事件監控機制,Linux核心從2.6.13起,加入了對Inotify的支援,通過Inotify可以監控檔案系統中的添加、删除、修改、移動等各種事件,但inotify隻提供了C語言接口,不友善調用,是以我們需要先安裝inotify-tools
系統環境
CentOS_5.7-x86_64
更新源伺服器:192.168.9.227
目的伺服器:192.168.9.226 192.168.9.228 ...
目的伺服器配置
192.168.9.226 192.168.9.228(rsync服務端):
檢查rsync是否安裝
rpm -qa|grep rsync
如果沒有發裝,執以下指令進行安裝
yum -y install rsync
定義rsync配置檔案/etc/rsyncd.conf
192.168.9.226:
cat >> /etc/rsyncd.conf << EOF
uid = nobody
gid = nobody
use chroot = no
max connections = 100
timeout = 600
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/log/rsyncd.log
[web1]
path = /data/www1/
ignore errors
read only = no
list = no
hosts allow = 192.168.9.0/255.255.255.0
auth users = www1
secrets file = /etc/www1.pwd
EOF
192.168.9.228:
[web2]
path = /data/www2/
auth users = www2
secrets file = /etc/www2.pwd
rsyncd.conf配置檔案詳解
uid = nobody //運作RSYNC守護程序的使用者
gid = nobody //運作RSYNC守護程序的組
use chroot = 0 //不使用chroot
max connections = 0 // 最大連接配接數,0為不限制
port = 873 //預設端口873
下面這些檔案是安裝完RSYNC服務後自動生成的檔案
pid file = /var/run/rsyncd.pid //pid檔案的存放位置
lock file = /var/run/rsync.lock //鎖檔案的存放位置.指定支援max connections參數的鎖檔案,預設值是/var/run/rsyncd.lock.
log file = /var/log/rsyncd.log //日志記錄檔案的存放位置
Timeout = 300 通過該選項可以覆寫客戶指定的IP逾時時間.通過該選項可以確定rsync伺服器不會永遠等待一個崩潰的用戶端.逾時機關為秒鐘,0表示沒有逾時定義,這也是預設值.對于匿名rsync伺服器來說,一個理想的數字是600.
Log format = %t %a %m %f %b 通過該選項使用者在使用transfer logging可以自己定制日志檔案的字段.其格式是一個包含格式定義符的字元串,可以使用的格式定義符如下所示:
%h 遠端主機名
%a 遠端IP位址
%l 檔案長度字元數
%p 該次rsync會話的程序id
%o 操作類型:" send" 或" recv"
%f 檔案名
%P 子產品路徑
%m 子產品名
%t 目前時間
%u 認證的使用者名(匿名時是null)
%b 實際傳輸的位元組數
%c 當發送檔案時,該字段記錄該檔案的校驗碼
預設log格式為:" %o %h [%a] %m (%u) %f %l" ,一般來說,在每行的頭上會添加" %t [%p] " .在源代碼中同時釋出有一個叫rsyncstats的perl腳本程式來統計這種格式的日志檔案.
#transfer logging = yes
使rsync伺服器使用ftp格式的檔案來記錄下載下傳和上載操作在自己單獨的日志中.
syslog facility = local3 指定rsync發送日志消息給syslog時的消息級别,常見的消息級别是:uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7.預設值是daemon.
子產品參數 [web1] //這裡是認證的子產品名,在client端需要指定
path = /data/www1/ //需要做鏡像的目錄,不可缺少!
comment = backup web //這個子產品的注釋資訊
ignore errors //可以忽略一些無關的IO錯誤
read only = yes //該選項設定是否允許客戶上載檔案.如果為true那麼任何上載請求都會失敗,如果為false并且伺服器目錄讀寫權限允許那麼上載是允許的.預設值為true.
list = no //不允許列檔案
auth users = bak //認證的使用者名,如果沒有這行則表明是匿名,此使用者與系統無關 該選項指定由空格或逗号分隔的使用者名清單,隻有這些使用者才允許連接配接該子產品.這裡的使用者和系統使用者沒有任何關系.如果" auth users" 被設定,那麼用戶端發出對該子產品的連接配接請求以後會被rsync請求challenged進行驗證身份這裡使用的challenge/response認證協定.使用者的名和密碼以明文方式存放在" secrets file" 選項指定的檔案中.預設情況下無需密碼就可以連接配接子產品(也就是匿名方式).
secrets file = /etc/www1.pwd //密碼和使用者名對比表,密碼檔案自己生成 該選項指定一個包含定義使用者名:密碼對的檔案.隻有在" auth users" 被定義時,該檔案才有作用.檔案每行包含一個username:passwd對.一般來說密碼最好不要超過8個字元.沒有預設的secures file名,需要限式指定一個(例如:/etc/www1.pwd).注意:該檔案的權限一定要是600,否則用戶端将不能連接配接伺服器.
hosts allow = 192.168.9.0/255.255.255.0 //允許主機或網段
該選項指定哪些IP的客戶允許連接配接該子產品.客戶模式定義可以是以下形式:
單個IP位址,例如:192.168.9.227
整個網段,例如:192.168.9.0/24,也可以是192.168.9.0/255.255.255.0
多個IP或網段需要用空格隔開,“*”則表示所有,預設是允許所有主機連接配接.
hosts deny = 0.0.0.0/0 //禁止主機
建立認證檔案/etc/www1.pwd
此檔案須與配置檔案中指定檔案名保持一緻
此處格式為:username:password,安全問題,并不建議實際使用中使用root使用者
echo "www1:741852" >> /etc/www1.pwd
echo "www2:951753" >> /etc/www2.pwd
并且我們需要設定此檔案的權限為600
chmod 600 /etc/www1.pwd
chmod 600 /etc/www2.pwd
chmod 600 /etc/rsyncd.conf
建立motd檔案(可有可無)
rsyncd.motd記錄了rsync服務的歡迎資訊,你可以在其中輸入任何文本資訊,如:
echo "Welcome to use the rsync services!" >> /var/rsyncd.motd
啟動rsync
/usr/bin/rsync --daemon
echo "/usr/bin/rsync --daemon" >> /etc/rc.local
更新源伺服器配置
192.168.9.227 (rsync用戶端)
inotify
可以監視的檔案系統事件包括
IN_ACCESS,即檔案被通路
IN_MODIFY,檔案被 write
IN_ATTRIB,檔案屬性被修改,如 chmod、chown、touch 等
IN_CLOSE_WRITE,可寫檔案被 close
IN_CLOSE_NOWRITE,不可寫檔案被 close
IN_OPEN,檔案被 open
IN_MOVED_FROM,檔案被移走,如 mv
IN_MOVED_TO,檔案被移來,如 mv、cp
IN_CREATE,建立新檔案
IN_DELETE,檔案被删除,如 rm
IN_DELETE_SELF,自删除,即一個可執行檔案在執行時删除自己
IN_MOVE_SELF,自移動,即一個可執行檔案在執行時移動自己
IN_UNMOUNT,宿主檔案系統被 umount
IN_CLOSE,檔案被關閉,等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)
IN_MOVE,檔案被移動,等同于(IN_MOVED_FROM | IN_MOVED_TO)
注:上面所說的檔案也包括目錄。
安裝inotify-tools
在安裝inotify-tools前請先确認你的linux核心是否打到了2.6.13,并且在編譯時開啟了CONFIG_INOTIFY選項,也可以通過以下指令檢測
ls /proc/sys/fs/inotify
如果有 max_queued_events,max_user_instances,max_user_watches 三項就說明支援
wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
tar xvf inotify-tools-3.14.tar.gz
cd inotify-tools-3.14
./configure
make;make install
編寫rsync監控腳本
vi /root/rsync.sh
#!/bin/bash
host1=192.168.9.226
host2=192.168.9.228
src=/data/www/
des1=web1
des2=web2
user1=www1
user2=www2
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' \
-e modify,delete,create,attrib \
${src} \
| while read file
do
rsync -vzrtopg --delete --progress ${src} ${user1}@${host1}::${des1} --password-file=/etc/www1.pwd &&
rsync -vzrtopg --delete --progress ${src} ${user2}@${host2}::${des2} --password-file=/etc/www2.pwd &&
echo "${files} was rsynced" >> /tmp/rsync.log 2>&1
echo "---------------------------------------------------------------------------"
done
-m, 即--monitor,表示始終保持事件監聽狀态。
-r, 即--recursive,表示遞歸查詢目錄。
-q, 即--quiet,表示列印出監控事件。
-e, 即--event,通過此參數可以指定要監控的事件,常見的事件有modify、delete、create、attrib等
--timefmt:指定時間的輸出格式
--format:指定變化檔案的詳細資訊
建立認證檔案 (rsync用戶端認證檔案隻用加入密碼)
echo "741852" >> /etc/www1.pwd
echo "951753" >> /etc/www2.pwd
/bin/sh -n /root/rsync.sh //文法檢查
chmod +x /root/rsync.sh
nohup sh /root/rsync.sh &
echo "nohup sh /root/rsync.sh &" >> /etc/rc.local
同步測試
在更新源伺服器上建立一個檔案,運作以下的指令,看檔案是否可以正常同步,看有無報錯資訊
rsync -vzrtopg --delete --progress /data/www1/ [email protected]::web1 --password-file=/etc/www1.pwd
将要更新的檔案送出到更新源伺服器中,這樣就通過inotify+rsync批量的将更新檔案同步到所有的目的伺服器中,相當友善快捷.