一、rsync的優(yōu)點(diǎn)與不足

 與傳統(tǒng)的cp、tar備份方式相比，rsync具有安全性高、備份迅速、支持增量備份等優(yōu)點(diǎn)，通過rsync可以解決對實(shí)時(shí)性要求不高的數(shù)據(jù)備份需求，例如定期的備份文件服務(wù)器數(shù)據(jù)到遠(yuǎn)端服務(wù)器，對本地磁盤定期做數(shù)據(jù)鏡像等。
 隨著應(yīng)用系統(tǒng)規(guī)模的不斷擴(kuò)大，對數(shù)據(jù)的安全性和可靠性也提出的更好的要求，rsync在高端業(yè)務(wù)系統(tǒng)中也逐漸暴露出了很多不足，首先，rsync同步數(shù)據(jù)時(shí)，需要掃描所有文件后進(jìn)行比對，進(jìn)行差量傳輸。如果文件數(shù)量達(dá)到了百萬甚至千萬量級，掃描所有文件將是非常耗時(shí)的。而且正在發(fā)生變化的往往是其中很少的一部分，這是非常低效的方式。其次，rsync不能實(shí)時(shí)的去監(jiān)測、同步數(shù)據(jù)，雖然它可以通過linux守護(hù)進(jìn)程的方式進(jìn)行觸發(fā)同步，但是兩次觸發(fā)動(dòng)作一定會有時(shí)間差，這樣就導(dǎo)致了服務(wù)端和客戶端數(shù)據(jù)可能出現(xiàn)不一致，無法在應(yīng)用故障時(shí)完全的恢復(fù)數(shù)據(jù)。基于以上原因，rsync+inotify組合出現(xiàn)了！

二、 初識inotify

 Inotify 是一種強(qiáng)大的、細(xì)粒度的、異步的文件系統(tǒng)事件監(jiān)控機(jī)制，linux內(nèi)核從2.6.13起，加入了Inotify支持，通過Inotify可以監(jiān)控文件系統(tǒng)中添加、刪除，修改、移動(dòng)等各種細(xì)微事件，利用這個(gè)內(nèi)核接口，第三方軟件就可以監(jiān)控文件系統(tǒng)下文件的各種變化情況，而inotify-tools就是這樣的一個(gè)第三方軟件。
在上面章節(jié)中，我們講到，rsync可以實(shí)現(xiàn)觸發(fā)式的文件同步，但是通過crontab守護(hù)進(jìn)程方式進(jìn)行觸發(fā)，同步的數(shù)據(jù)和實(shí)際數(shù)據(jù)會有差異，而inotify可以監(jiān)控文件系統(tǒng)的各種變化，當(dāng)文件有任何變動(dòng)時(shí)，就觸發(fā)rsync同步，這樣剛好解決了同步數(shù)據(jù)的實(shí)時(shí)性問題。

三、 安裝inotify工具inotify-tools

 由于inotify特性需要Linux內(nèi)核的支持，在安裝inotify-tools前要先確認(rèn)Linux系統(tǒng)內(nèi)核是否達(dá)到了2.6.13以上，如果Linux內(nèi)核低于2.6.13版本，就需要重新編譯內(nèi)核加入inotify的支持，也可以用如下方法判斷，內(nèi)核是否支持inotify：
[root@localhost webdata]# uname -r
2.6.18-164.11.1.el5PAE
[root@localhost webdata]# ll /proc/sys/fs/inotify
總計(jì) 0
-rw-r--r-- 1 root root 0 04-13 19:56 max_queued_events
-rw-r--r-- 1 root root 0 04-13 19:56 max_user_instances
-rw-r--r-- 1 root root 0 04-13 19:56 max_user_watches
如果有上面三項(xiàng)輸出，表示系統(tǒng)已經(jīng)默認(rèn)支持inotify，接著就可以開始安裝inotify-tools了。
可以到http://inotify-tools.sourceforge.net/下載相應(yīng)的inotify-tools版本，然后開始編譯安裝：
[root@localhost  ~]# tar zxvf inotify-tools-3.14.tar.gz
root@localhost  ~]# cd inotify-tools-3.14
[root@localhost inotify-tools-3.14]# ./configure
[root@localhost inotify-tools-3.14]# make
[root@localhost inotify-tools-3.14]# make install
[root@localhost inotify-tools-3.14]# ll /usr/local/bin/inotifywa*
-rwxr-xr-x 1 root root 37264 04-14 13:42 /usr/local/bin/inotifywait
-rwxr-xr-x 1 root root 35438 04-14 13:42 /usr/local/bin/inotifywatch
inotify-tools安裝完成后，會生成inotifywait和inotifywatch兩個(gè)指令，其中，inotifywait用于等待文件或文件集上的一個(gè)特定事件，它可以監(jiān)控任何文件和目錄設(shè)置，并且可以遞歸地監(jiān)控整個(gè)目錄樹。
inotifywatch用于收集被監(jiān)控的文件系統(tǒng)統(tǒng)計(jì)數(shù)據(jù)，包括每個(gè)inotify事件發(fā)生多少次等信息。

四、 inotify相關(guān)參數(shù)

inotify定義了下列的接口參數(shù)，可以用來限制inotify消耗kernel memory的大小。由于這些參數(shù)都是內(nèi)存參數(shù)，因此，可以根據(jù)應(yīng)用需求，實(shí)時(shí)的調(diào)節(jié)其大小。下面分別做簡單介紹。
    /proc/sys/fs/inotify/max_queued_evnets    
       表示調(diào)用inotify_init時(shí)分配給inotify instance中可排隊(duì)的event的數(shù)目的最大值，超出這個(gè)值的事件被丟棄，但會觸發(fā)IN_Q_OVERFLOW事件。
    /proc/sys/fs/inotify/max_user_instances
        表示每一個(gè)real user ID可創(chuàng)建的inotify instatnces的數(shù)量上限。
    /proc/sys/fs/inotify/max_user_watches
        表示每個(gè)inotify instatnces可監(jiān)控的最大目錄數(shù)量。如果監(jiān)控的文件數(shù)目巨大，需要根據(jù)情況，適當(dāng)增加此值的大小，例如：
echo 30000000 > /proc/sys/fs/inotify/max_user_watches

五、 inotifywait相關(guān)參數(shù)

Inotifywait是一個(gè)監(jiān)控等待事件，可以配合shell腳本使用它，下面介紹一下常用的一些參數(shù)：
 -m， 即--monitor，表示始終保持事件監(jiān)聽狀態(tài)。
 -r， 即--recursive，表示遞歸查詢目錄。
 -q， 即--quiet，表示打印出監(jiān)控事件。
 -e， 即--event，通過此參數(shù)可以指定要監(jiān)控的事件，常見的事件有modify、delete、create、attrib等。
更詳細(xì)的請參看man  inotifywait。

六、 rsync+inotify企業(yè)應(yīng)用案例

 案例描述

這是一個(gè)CMS內(nèi)容發(fā)布系統(tǒng)，后端采用負(fù)載均衡集群部署方案，有一個(gè)負(fù)載調(diào)度節(jié)點(diǎn)和三個(gè)服務(wù)節(jié)點(diǎn)以及一個(gè)內(nèi)容發(fā)布節(jié)點(diǎn)構(gòu)成，內(nèi)容發(fā)布節(jié)點(diǎn)負(fù)責(zé)將用戶發(fā)布的數(shù)據(jù)生成靜態(tài)頁面，同時(shí)將靜態(tài)網(wǎng)頁傳輸?shù)饺_服務(wù)節(jié)點(diǎn)，而負(fù)載調(diào)度節(jié)點(diǎn)負(fù)責(zé)將用戶請求根據(jù)負(fù)載算法調(diào)度到相應(yīng)的服務(wù)節(jié)點(diǎn)，實(shí)現(xiàn)用戶訪問。用戶要求在前端訪問到的網(wǎng)頁數(shù)據(jù)始終是最新的、一致的。

解決方案

為了保證用戶訪問到的數(shù)據(jù)一致性和實(shí)時(shí)性，必須保證三個(gè)服務(wù)節(jié)點(diǎn)與內(nèi)容發(fā)布節(jié)點(diǎn)的數(shù)據(jù)始終是一致的，這就需要通過文件同步工具來實(shí)現(xiàn)，這里采用rsync，同時(shí)又要保證數(shù)據(jù)是實(shí)時(shí)的，這就需要inotify，即：使用inotify監(jiān)視內(nèi)容發(fā)布節(jié)點(diǎn)文件的變化，如果文件有變動(dòng)，那么就啟動(dòng)rsync，將文件實(shí)時(shí)同步到三個(gè)服務(wù)節(jié)點(diǎn)。

系統(tǒng)環(huán)境

這里所有服務(wù)器均采用Linux操作系統(tǒng)，系統(tǒng)內(nèi)核版本與節(jié)點(diǎn)信息如表1 所示：

表1

1 安裝rsync與inotify-tools

inotify-tools是用來監(jiān)控文件系統(tǒng)變化的工具，因此必須安裝在內(nèi)容發(fā)布節(jié)點(diǎn)，服務(wù)節(jié)點(diǎn)無需安裝inotify-tools，另外需要在web1、web2、web3、webserver節(jié)點(diǎn)上安裝rsync，由于安裝非常簡單，這里不在講述。
在這個(gè)案例中，內(nèi)容發(fā)布節(jié)點(diǎn)（即server）充當(dāng)了rsync客戶端的角色，而三個(gè)服務(wù)節(jié)點(diǎn)充當(dāng)了rsync服務(wù)器端的角色，整個(gè)數(shù)據(jù)同步的過程，其實(shí)就是一個(gè)從客戶端向服務(wù)端推送數(shù)據(jù)的過程。這點(diǎn)與上面我們講述的案例剛好相反。

2 在三個(gè)服務(wù)節(jié)點(diǎn)配置rsync

 這里給出三個(gè)服務(wù)節(jié)點(diǎn)的rsync配置文件，以供參考，讀者可根據(jù)實(shí)際情況自行修改。

Web1節(jié)點(diǎn)rsyncd.conf配置如下：

在三臺服務(wù)節(jié)點(diǎn)rsyncd.conf文件配置完成后，依次啟動(dòng)rsync守護(hù)進(jìn)程，接著將rsync服務(wù)加入到自啟動(dòng)文件中：
echo  “/usr/local/bin/rsync --daemon” >>/etc/rc.local
到此為止，三個(gè)web服務(wù)節(jié)點(diǎn)已經(jīng)配置完成。

3 配置內(nèi)容發(fā)布節(jié)點(diǎn)

 配置內(nèi)容發(fā)布節(jié)點(diǎn)的主要工作是將生成的靜態(tài)網(wǎng)頁實(shí)時(shí)的同步到集群中三個(gè)服務(wù)節(jié)點(diǎn)，這個(gè)過程可以通過一個(gè)shell腳本來完成，腳本內(nèi)容大致如下：
#!/bin/bash
host1=192.168.12.131
host2=192.168.12.132
host3=192.168.12.133
src=/web/wwwroot/
dst1=web1
dst2=web2
dst3=web3
user1=web1user
user2=web3user
user3=web3user
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib  $src \
| while read files
        do
        /usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/server.pass $src $user1@$host1::$dst1
  /usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/server.pass $src $user2@$host2::$dst2
  /usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/server.pass $src $user3@$host3::$dst3
                echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
         done

腳本相關(guān)解釋如下：

--timefmt：指定時(shí)間的輸出格式。
--format：指定變化文件的詳細(xì)信息。
這兩個(gè)參數(shù)一般配合使用，通過指定輸出格式，輸出類似與：
15/04/10 00:29 /web/wwwroot/ixdba.shDELETE,ISDIR was rsynced
15/04/10 00:30 /web/wwwroot/index.htmlMODIFY was rsynced
15/04/10 00:31 /web/wwwroot/pcre-8.02.tar.gzCREATE was rsynced
這個(gè)腳本的作用就是通過inotify監(jiān)控文件目錄的變化，進(jìn)而觸發(fā)rsync進(jìn)行同步操作，由于這個(gè)過程是一種主動(dòng)觸發(fā)操作，通過系統(tǒng)內(nèi)核完成的，所以，比起那些遍歷整個(gè)目錄的掃描方式，效率要高很多。
有時(shí)會遇到這樣的情況：向inotify監(jiān)控的目錄（這里是/web/wwwroot/）寫入一個(gè)很大文件時(shí)，由于寫入這個(gè)大文件需要一段時(shí)間，此時(shí)inotify就會持續(xù)不停的輸出該文件被更新的信息， 這樣就會持續(xù)不停的觸發(fā)rsync去執(zhí)行同步操作，占用了大量系統(tǒng)資源，那么針對這種情況，最理想的做法是等待文件寫完后再去觸發(fā)rsync同步。 在這種情況下，可以修改inotify的監(jiān)控事件，即：“-e close_write,delete,create,attrib”。
接著，將這個(gè)腳本命名為inotifyrsync.sh，放到/web/wwwroot目錄下，然后給定可執(zhí)行權(quán)限，放到后臺運(yùn)行：
chmod 755 /web/wwwroot/inotifyrsync.sh
/web/wwwroot/inotifyrsync.sh &
最后，將此腳本加入系統(tǒng)自啟動(dòng)文件：
echo  “/web/wwwroot/inotifyrsync.sh &”>>/etc/rc.local
這樣就完成了內(nèi)容發(fā)布節(jié)點(diǎn)的所有配置工作。

4 測試rsync+inotify實(shí)時(shí)同步功能

 所有配置完成后，可以在網(wǎng)頁發(fā)布節(jié)點(diǎn)的/web/wwwroot目錄下添加、刪除或者修改某個(gè)文件，然后到三個(gè)服務(wù)節(jié)點(diǎn)對應(yīng)的目錄查看文件是否跟隨網(wǎng)頁發(fā)布節(jié)點(diǎn)的/web/wwwroot目錄下文件發(fā)生變化，如果你看到三個(gè)服務(wù)節(jié)點(diǎn)對應(yīng)的目錄文件跟著內(nèi)容發(fā)布節(jié)點(diǎn)目錄文件同步變化，那么我們這個(gè)業(yè)務(wù)系統(tǒng)就配置成功了。

最新評論