rsync+inotify實作多台伺服器之間資料實時同步

一、前言

可以配置SSH信任，做信任後，同步就不需要密碼檔案了

1、rsync

如果你man一下sync的話，就會發現：sync-flush file system buffers，它是一個把緩沖區中的資料同步到檔案系統中的一個指令；而rsync其實就是remote rsync，它是一個遠端同步工具，兼具cp和scp的功能，rsync指令的使用幾乎和scp是一樣一樣的。rsync是通過超級守護程序xinetd進行觸發同步的。

1）優點：與cp和scp相比來說，rsync更快，更安全，支援增量備份。rsync在資料同步的過程中，不像cp一樣全部都拷貝，而是先去比對特征碼，隻有不一樣的才會去拷貝，如果一樣了，就不需再做多餘操作。通過使用rsync+crontab可以解決對實時性要求不是太高的場景。

2）缺點：在這個大資料年代，如果你的資料量非常大，你每做一次任務計劃，rsync都會先去周遊目标目錄，把所有資料做一次特征碼比對，然後進行差量傳輸，這個過程會是很漫長的，對于那些要求實時性更新比較高的企業來說，無疑是一場噩夢。但是如果能夠出現一個工具能夠實時的去監控我們的檔案系統，隻有在資料改變時才會觸發它去同步，那該有多好啊！為了滿足廣大需求者的心聲rsync+inotify組合就出現了

2、inotify

Inotify 是一種強大的、細粒度的、異步的檔案系統事件監控機制，linux核心從2.6.13起，加入了Inotify支援，通過Inotify可以監控檔案系統中添加、***，修改、移動等各種細微事件，利用這個核心接口，第三方軟體就可以監控檔案系統下檔案的各種變化情況，而inotify-tools就是這樣的一個第三方軟體。

3、rsync+inotify 之推薦理由

1）伺服器性能：rsync+crontab會定時去檢查是否有檔案更新，這勢必會造成伺服器性能下降；而rsync+inotify組合是觸發式更新，隻有在資料檔案有變化時，才會去更新，是以相對前者而言，是提高了伺服器性能

2）資料實時性：rsync+crontab是周期性任務計劃，不能保證資料的實時性；rsync+inotify組合是觸發式更新，隻要有資料變化，就立刻同步更新

二、系統平台環境

1、作業系統：CentOS6.4-X86_64

2、rsync用戶端（rsync+inotify）：172.16.150.150

3、rsync服務端：172.16.251.93，172.16.251.194

三、實驗拓撲

四、配置rsync服務端（172.16.251.93、172.16.251.194）

1、配置rsync服務端：172.16.251.93

1）檢查系統是否已經安裝rsync和xinetd超級守護程序，CentOS6.4預設已經安裝rsync，但未安裝xinetd

<code>[root@nmshuishui www]</code><code># rpm -qa | grep rsync</code>

<code>rsync</code><code>-3.0.6-9.el6.x86_64</code>

<code>yum -y </code><code>install</code> <code>xinetd </code><code>rsync</code>

2）為rsync服務提供配置檔案

vim /etc/rsyncd.conf

<code>#Global Settings 全局配置</code>

<code>uid = nobody </code><code>#運作rsync的使用者</code>

<code>gid = nobody </code><code>#運作rsync的使用者組</code>

<code>use chroot = no </code><code>#是否讓程序離開工作目錄</code>

<code>max connections = 5 </code><code>#最大并發連接配接數，0為不限制</code>

<code>timeout = 600 </code><code>#逾時時間</code>

<code>pid </code><code>file</code> <code>= </code><code>/var/run/rsyncd</code><code>.pid </code><code>#指定rsync的pid存放路徑</code>

<code>lockfile = </code><code>/var/run/rsyncd</code><code>.lock </code><code>#指定rsync的鎖檔案存放路徑</code>

<code>log </code><code>file</code> <code>= </code><code>/var/log/rsyncd</code><code>.log </code><code>#指定rsync的日志存放路徑</code>

<code>#子產品配置</code>

<code>path = </code><code>/var/www</code> <code>#認證的子產品名,在client端需要指定</code>

<code>ignore errors = </code><code>yes</code> <code>#忽略一些無關的I/O錯誤</code>

<code>read</code> <code>only = no </code><code>#用戶端是否能拉（PULL）</code>

<code>write only = no </code><code>#用戶端是否能推（PUSH）</code>

<code>hosts allow = 172.16.150.150 </code><code>#白名單，可以通路此子產品的主機</code>

<code>hosts deny = * </code><code>#黑名單，*表示任何主機</code>

<code>list = </code><code>yes</code> <code>#用戶端請求是否可以列出子產品清單</code>

<code>uid = root </code><code>#以root的身份去擷取檔案</code>

<code>auth </code><code>users</code> <code>= web </code><code>#認證此子產品的使用者名</code>

<code>secrets </code><code>file</code> <code>= </code><code>/etc/web</code><code>.</code><code>passwd</code> <code>#指定存放“使用者名：密碼”格式的檔案</code>

<code>#一種更簡便的寫法</code>

<code>#Global Settings </code>

<code>hosts allow = 10.10.64.218 10.10.1.10 59.108.99.178</code>

<code>max connections = 10</code>

<code>pid </code><code>file</code> <code>= </code><code>/var/run/rsyncd</code><code>.pid</code>

<code>lockfile = </code><code>/var/run/rsyncd</code><code>.lock</code>

<code>log </code><code>file</code> <code>= </code><code>/var/log/rsyncd</code><code>.log</code>

<code>read</code> <code>only = </code><code>yes</code> <code>#如果要寫入此子產品，則 read only = no</code>

<code>auth </code><code>users</code> <code>= www</code>

<code>secrets </code><code>file</code> <code>= </code><code>/etc/rsyncd</code><code>.secret</code>

<code>auth </code><code>users</code> <code>= opt</code>

3）建立同步目錄

<code>[root@nmshuishui ~]</code><code># mkdir /var/www</code>

4）配置rsync認證檔案/etc/web.passwd

<code>[root@nmshuishui ~]</code><code># echo "web:web" > /etc/web.passwd</code>

<code>[root@nmshuishui ~]</code><code># cat /etc/web.passwd</code>

5)修改/etc/web.passwd（服務端）的權限為600，且屬主必須為root

用戶端的密碼檔案的屬主可以不為root，需為目前登入系統使用者，權限也為600。有時候會遇到在伺服器上隻有普通使用者權限的情況，那就不能在/etc/下建立密碼檔案了，可以建立在此登入使用者的家目錄下，一樣解決問題

<code>[root@nmshuishui ~]</code><code># chmod 600 /etc/web.passwd</code>

<code>[root@nmshuishui ~]</code><code># ll /etc/web.passwd</code>

<code>-rw------- 1 root root 10 Mar 27 22:31 </code><code>/etc/web</code><code>.</code><code>passwd</code>

6）配置服務能夠啟動

<code>[root@nmshuishui ~]</code><code># chkconfig rsync on</code>

<code>[root@nmshuishui ~]</code><code># service xinetd start</code>

<code>Starting xinetd: [ OK ]</code>

7）檢查873端口是否成功監聽

8）檢查rsync運作狀态

<code>[root@nmshuishui ~]</code><code># chkconfig --list</code>

2、配置rsync服務端：172.16.251.194

步驟同上

1）檢查系統是否已經安裝rsync和xinetd超級守護程序

2）為rsync服務提供配置檔案

vim /etc/rsyncd.conf

<code>#Global Settings</code>

<code>uid = nobody</code>

<code>gid = nobody</code>

<code>use chroot = no</code>

<code>max connections = 5</code>

<code>timeout = 600</code>

<code>ignore errors = </code><code>yes</code>

<code>write only = no</code>

<code>hosts allow = 172.16.150.150</code>

<code>hosts deny = *</code>

<code>auth </code><code>users</code> <code>= web</code>

<code>secrets </code><code>file</code> <code>= </code><code>/etc/web</code><code>.</code><code>passwd</code>

3）建立同步目錄

<code>[root@shuishui www]</code><code># mkdir /var/www</code>

<code>[root@shuishui ~]</code><code># echo "web:web" > /etc/web.passwd</code>

<code>[root@shuishui ~]</code><code># cat /etc/web.passwd</code>

5)修改/etc/web.passwd的權限為600

<code>[root@shuishui ~]</code><code># chmod 600 /etc/web.passwd</code>

<code>[root@shuishui ~]</code><code># ll /etc/web.passwd</code>

<code>-rw------- 1 root root 10 Mar 29 15:21 </code><code>/etc/web</code><code>.</code><code>passwd</code>

五、配置rsync用戶端（172.16.150.150）

1、設定 rsync 用戶端的密碼檔案，用戶端隻需要設定 rsync 同步的密碼即可，不用設定使用者名（預設已經安裝了rsync）

<code>[root@shuishui ~]</code><code># echo web > /etc/web.passwd</code>

2、修改/etc/web.passwd的權限為600，用戶端密碼檔案屬主.屬組為登入系統的目前使用者

<code>[root@shuishui www]</code><code># chmod 600 /etc/web.passwd</code>

<code>[root@shuishui www]</code><code># ll /etc/web.passwd</code>

<code>-rw------- 1 root root 10 Mar 26 21:28 </code><code>/etc/web</code><code>.</code><code>passwd</code>

3、安裝inotify-tools

<code># tar xf inotify-tools-3.13.tar.gz</code>

<code># cd inotify-tools-3.13</code>

<code># ./configure</code>

<code># make && make install</code>

4、在172.16.150.150上測試下能否同步檔案

不管是推還是拉，推、拉操作都是在rsync用戶端執行的

<code>[root@shuishui www]</code><code># rsync -vzrtopg --delete --password-file=/etc/web.passwd /etc/fstab [email protected]::web1 #PUSH</code>

<code>[root@shuishui www]</code><code># rsync -vzrtopg --delete --password-file=/etc/web.passwd [email protected]::web1/123 /var/www/ #PULL</code>

上面這個指令行中-vzrtopg裡的v是verbose，z是壓縮，r是recursive，topg都是保持檔案原有屬性如屬主、時間的參數

1）第1條是是從rsync用戶端（172.16.150.150）上傳檔案到rsync服務端（172.16.251.93），這裡必須要指定密碼檔案

2）第2條是從rsync服務端（172.16.251.93）下載下傳檔案到rsync用戶端（172.16.150.150）

3）以上兩條說明了，rsync服務端和用戶端是可用的；經測試，另一台rsync服務端也可用，不再貼圖了。接下來的任務就是編寫服務腳本了，能夠讓rsync用戶端自動監測目錄的變動情況，并自動同步到rsync服務端，完全實作自動化。

5、排除檔案及目錄

<code>rsync</code> <code>-vzrtopg --delete --password-</code><code>file</code><code>=</code><code>/etc/web</code><code>.</code><code>passwd</code> <code>--exclude=</code><code>"logs/nginx.log"</code> <code>[email protected]::web1</code><code>/123</code> <code>/var/www/</code>

<code>rsync</code> <code>-vzrtopg --delete --password-</code><code>file</code><code>=</code><code>/etc/web</code><code>.</code><code>passwd</code> <code>--exclude=</code><code>"logs"</code> <code>[email protected]::web1</code><code>/123</code> <code>/var/www/</code>

六、編寫rsync腳本，實作資料實時同步

1、在rsync用戶端（172.16.150.150）編寫rsync腳本

vim /var/www/rsync.sh

<code>/usr/local/bin/inotifywait</code> <code>-mrq --timefmt </code><code>'%d/%m/%y %H:%M'</code> <code>--</code><code>format</code> <code>'%T %w %f'</code> <code>-e modify,delete,create,attrib $src | </code><code>while</code> <code>read</code> <code>file</code> <code>DATE TIME DIR;</code>

<code>/usr/bin/rsync</code> <code>-vzrtopg --delete --progress $src $user1@$host1::$des1 --password-</code><code>file</code><code>=</code><code>/etc/web</code><code>.</code><code>passwd</code>

<code>/usr/bin/rsync</code> <code>-vzrtopg --delete --progress $src $user2@$host2::$des2 --password-</code><code>file</code><code>=</code><code>/etc/web</code><code>.</code><code>passwd</code>

<code>echo</code> <code>"${files} was rsynced"</code> <code>>> </code><code>/var/log/rsync</code><code>.log 2>&1</code>

2、給rsync.sh執行權限

<code>[root@shuishui www]</code><code># chmod +x rsync.sh</code>

<code>[root@shuishui www]</code><code># ll rsync.sh</code>

<code>-rwxr-xr-x 1 root root 523 Mar 27 00:46 </code><code>rsync</code><code>.sh</code>

3、把腳本加入到開機自動啟動檔案

<code>[root@shuishui www]</code><code># echo "/var/www/rsync.sh &" >> /etc/rc.local</code>

4、同步測試

在測試之前，為了示範效果的明顯，我先把兩台rsync服務端的/var/www/下的所有檔案都清除掉，讓其把持一個空目錄，然後重新開機下rsync用戶端，開機後，在rsync用戶端的/var/www目錄中，建立一個檔案，看其是否能夠成功監控并自動同步

1）rsync服務端（172.16.251.93，172.16.251.194）/var/www目錄下都空；rsync用戶端（172.16.150.150）/var/www目錄下非空

2）開機在rsync用戶端（172.16.150.150）/var/www目錄下touch一個6

3）檢視rsync服務端（172.16.251.93）是否同步成功

4）檢視rsync服務端（172.16.251.194）是否同步成功

七、rsync報錯

1、rsync: chgrp "/." (in res_hk) failed: Operation not permitted (1)

解決辦法：需要加一個 --no-group

<code>rsync</code> <code>-vzrtopg --no-group --delete --password-</code><code>file</code><code>=</code><code>/etc/rsync</code><code>.vietnam </code><code>/root/config/</code> <code>[email protected]::res_hk</code>

本文轉自 nmshuishui 51CTO部落格，原文連結：http://blog.51cto.com/nmshuishui/1387048，如需轉載請自行聯系原作者

rsync+inotify實作多台伺服器之間資料實時同步

繼續閱讀

測試基礎第一課

github 如何和 xcode 聯系起來

[轉]Top 20 Programming Lessons I've Learned in 20 Years

Linux系統指令行整理

Windows指令行使用Git下的Curl指令

科研項目管理平台

WIN10下指令行禁用編輯模式

Eclipse搭建Web Service服務

web service 的簡單實作

Web Service 應用執行個體

Web Service開發實戰

更改LYNC SIP位址

終端環境之tmux

lvm建立、擴容

HBuilder開發App Step1——環境搭建，HelloMUI 以及真機調試

27 Best Free Eclipse Plug-ins for Java Developer to be ProductiveCode Quality PluginsText Editor PluginsDependency ManagementVersion Control Integration PluginsFramework Development Continuous Integration Related PluginsOther Utility Plugins