Linux下sersync數(shù)據(jù)實(shí)時(shí)同步
sersync其實(shí)是利用inotify和rsync兩種軟件技術(shù)來(lái)實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)同步功能的,inotify是用于監(jiān)聽(tīng)sersync所在服務(wù)器上的文件變化,結(jié)合rsync軟件來(lái)進(jìn)行數(shù)據(jù)同步,將數(shù)據(jù)實(shí)時(shí)同步給客戶端服務(wù)器。
工作過(guò)程:在同步主服務(wù)器上開(kāi)啟sersync,負(fù)責(zé)監(jiān)聽(tīng)文件系統(tǒng)的變化,然后調(diào)用rsync命令把更新的文件同步到目標(biāo)服務(wù)器上,主服務(wù)器上安裝sersync軟件,目標(biāo)服務(wù)器上安裝rsync服務(wù)。
1、客戶端配置
[root@localhost2 ~]# cat /etc/rsyncd.conf ##created by cai at 2018-2-24 uid=rsync gid=rsync use chroot = no max connections = 200 timeout = 300 pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.lock log file = /var/log/rsyncd.log [data] path = /data/ ignore errors read only = false list = false hosts allow = 192.168.181.128:52000/24 hosts deny = 0.0.0.0/32 auth users = rsync_body secrets file = /etc/rsync.password [root@localhost2 ~]# ls -ld /data/ drwxrwxrwx. 3 rsync rsync 4096 Feb 24 16:58 /data/ [root@localhost2 ~]# cat /etc/rsync.password rsync_body:admin [root@localhost2 ~]# ls -ld /etc/rsync.password -rw-------. 1 root root 17 Feb 24 16:26 /etc/rsync.password #600權(quán)限 [root@localhost2 ~]# netstat -lntup| grep "rsync" tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 1497/rsync tcp 0 0 :::873 :::* LISTEN 1497/rsync
2、主服務(wù)器配置
[root@localhost1 ~]# cat /etc/rsync.password admin [root@localhost1 ~]# ls -ld /etc/rsync.password -rw------- 1 root root 6 Feb 24 03:54 /etc/rsync.password
3、安裝sersync服務(wù)
采用inotify來(lái)對(duì)文件進(jìn)行監(jiān)控,當(dāng)監(jiān)控到文件有文件發(fā)生改變的時(shí)候,就會(huì)調(diào)用rsync實(shí)現(xiàn)觸發(fā)式實(shí)時(shí)同步!
安裝sersync(注意sersync是工作在rsync的源服務(wù)器上,也就是客戶端上)
[root@salt-client01 ~]# cd /usr/local/src/ [root@salt-client01 src]# tar -zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/local/ GNU-Linux-x86/ GNU-Linux-x86/sersync2 GNU-Linux-x86/confxml.xml [root@salt-client01 src]# cd /usr/local/ [root@salt-client01 local]# mv GNU-Linux-x86 sersync [root@salt-client01 local]# cd sersync/ [root@salt-client01 sersync]# mkdir conf bin log [root@salt-client01sersync]# mv confxml.xml conf [root@salt-client01sersync]# mv sersync2 bin/sersync
修改配置文件
***********************************30行開(kāi)始****************************** <commonParams params="-artuz"/> #-artuz為rsync同步時(shí)的參數(shù) <authstart="true" users="rsync的虛擬用戶名(rsync_backup)" passwordfile="rsync的密碼文件"/> <userDefinedPort start="true"port="873"/><!-- port=874 --> <timeout start="false" time="100"/><!--timeout=100 --> <sshstart="false"/> ************************************第36行*********************************** <failLogpath="自己定義的log文件夾(/usr/local/sersync/log)rsync_fail_log.sh" timeToExecute="60"/><!--defaultevery 60mins execute once--> ******************************************************************************* *注:若有多個(gè)目錄備份可以穿件多個(gè)配置文件在啟動(dòng)時(shí)的-o參數(shù)中添加即可 [root@salt-client01 conf]# diff confxml.xml confxml.xml.bak 24,25c24,25 < <localpath watch="/data/"> #data就是本地需要同步的文件夾到服務(wù)器端的目錄 < <remote ip="192.168.91.166" name="data"/> #data (server的模塊名)是rsync 服務(wù)端的文件夾,也就是推送到服務(wù)器端的目標(biāo)文件夾,可以配置多個(gè), --- > <localpath watch="/opt/tongbu"> > <remote ip="127.0.0.1" name="tongbu1"/> 31c31 < <auth start="true" users="rsync_body" passwordfile="/etc/rsync.password"/> #true 才能生效,rsync_body同步時(shí)候虛擬賬號(hào),后面是密碼文件 --- > <auth start="false" users="root" passwordfile="/etc/rsync.pas"/> 33c33 < <timeout start="true" time="100"/><!-- timeout=100 --> #true 才能生效 --- > <timeout start="false" time="100"/><!-- timeout=100 --> 36c36 < <failLog path="/usr/local/sersync/log/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once--> #檢測(cè)rsync進(jìn)程判斷,沒(méi)有自動(dòng)啟 --- > <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default evePry 60mins execute once-->
啟動(dòng)sersync
[root@salt-client01 src]# echo 'export PATH=$PATH:/usr/local/sersync/bin'>>/etc/profile #聲明環(huán)境變量 [root@salt-client01 src]# source /etc/profile [root@salt-client01 src]# sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml #啟動(dòng) set the system param execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events parse the command param option: -r rsync all the local files to the remote servers before the sersync work option: -d run as a daemon option: -o config xml name: /usr/local/sersync/conf/confxml.xml daemon thread num: 10 parse xml config file host ip : localhost host port: 8008 daemon start,sersync run behind the console use rsync password-file : user is rsync_body passwordfile is /etc/rsync.password config xml parse success please set /etc/rsyncd.conf max connections=0 Manually sersync working thread 12 = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads) Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads) please according your cpu ,use -n param to adjust the cpu rate ------------------------------------------ rsync the directory recursivly to the remote servers once working please wait... execute command: cd /data && rsync -artuz -R --delete ./ --timeout=100 rsync_body@192.168.91.166::data --password-file=/etc/rsync.password >/dev/null 2>&1 run the sersync: watch path is: /data #此時(shí)可以看出sersync已經(jīng)啟動(dòng)成功了 #檢測(cè)腳本 [root@salt-client01 log]# pwd /usr/local/sersync/log [root@salt-client01 log]# vim rsync_fail_log.sh [root@salt-client01 log]# chmod +x rsync_fail_log.sh [root@salt-client01 ~]# cat /usr/local/sersync/log/rsync_fail_log.sh #!/bin/bash #Purpose: Check sersync whether it is alive #Author: cai meng zhi SERSYNC="/usr/local/sersync/bin/sersync2" CONF_FILE="/usr/local/sersync/conf/confxml.xml" STATUS=$(ps aux |grep 'sersync2'|grep -v 'grep'|wc -l) if [ $STATUS -eq 0 ]; then $SERSYNC -d -r -o $CONF_FILE & else exit 0; fi 腳本寫(xiě)好以后,添加到計(jì)劃任務(wù)中去 */1 * * * * /bin/bash /usr/local/sersync/log/rsync_fail_log.sh > /dev/null 2>&1 測(cè)試同步: 客戶端新增文件 [root@salt-client01 data]# cp /etc/passwd 192.168.91.156.passwd [root@salt-client01 data]# ll total 4 -rw-r--r-- 1 root root 1928 Nov 10 18:15 192.168.91.156.passwd -rw-r--r-- 1 root root 0 Nov 10 17:27 3 服務(wù)端檢測(cè) [root@salt-master data]# cd /data/ [root@salt-master data]# ll total 8 -rw-r--r-- 1 root root 1928 Nov 10 18:15 192.168.91.156.passwd #說(shuō)明已經(jīng)同步過(guò)來(lái)了 -rw-r--r-- 1 root root 0 Nov 10 17:27 3 drwxr-xr-x 2 root root 4096 Nov 10 17:27 data 客戶端測(cè)試刪除 [root@salt-client01 data]# rm rf 192.168.91.156.passwd rm: cannot remove `rf': No such file or directory rm: remove regular file `192.168.91.156.passwd'? y [root@salt-client01 data]# ll total 0 -rw-r--r-- 1 root root 0 Nov 10 17:27 3 [root@salt-client01 data]# 服務(wù)器端: [root@salt-master data]# ll total 4 -rw-r--r-- 1 root root 0 Nov 10 17:27 3 #說(shuō)明已經(jīng)刪除掉了 drwxr-xr-x 2 root root 4096 Nov 10 17:27 data
4、常見(jiàn)錯(cuò)誤匯總
錯(cuò)誤一: @ERROR: auth failed on module xxxxx rsync: connection unexpectedly closed(90 bytes read so far) rsync error: error in rsync protocoldata stream (code 12) at io.c(150) 說(shuō)明:這是因?yàn)槊艽a設(shè)置錯(cuò)了,無(wú)法登入成功,檢查一下rsync.pwd,看客服是否匹配。還有服務(wù)器端沒(méi)啟動(dòng)rsync 服務(wù)也會(huì)出現(xiàn)這種情況。 錯(cuò)誤二: password file must not beother-accessible continuing without password file Password: 說(shuō)明:這是因?yàn)閞syncd.pwdrsyncd.sec的權(quán)限不對(duì),應(yīng)該設(shè)置為600。如:chmod600 rsyncd.pwd 錯(cuò)誤三: @ERROR: chroot failed rsync: connection unexpectedly closed(75 bytes read so far) rsync error: error in rsync protocoldata stream (code 12) at io.c(150) 說(shuō)明:這是因?yàn)槟阍?rsync.conf中設(shè)置的 path 路徑不存在,要新建目錄才能開(kāi)啟同步 錯(cuò)誤四: rsync: failed to connect to218.107.243.2: No route to host (113) rsync error: error in socket IO (code10) at clientserver.c(104) [receiver=2.6.9] 說(shuō)明:防火墻問(wèn)題導(dǎo)致,這個(gè)最好先徹底關(guān)閉防火墻,排錯(cuò)的基本法就是這樣,無(wú)論是S還是C,還有ignore errors選項(xiàng)問(wèn)題也會(huì)導(dǎo)致 錯(cuò)誤五: @ERROR: access denied to www fromunknown (192.168.1.123) rsync: connection unexpectedly closed(0 bytes received so far) [receiver] rsync error: error in rsync protocoldata stream (code 12) at io.c(359) 說(shuō)明:此問(wèn)題很明顯,是配置選項(xiàng)hostallow的問(wèn)題,初學(xué)者喜歡一個(gè)允許段做成一個(gè)配置,然后模塊又是同一個(gè),致使導(dǎo)致 錯(cuò)誤六: rsync error: received SIGINT,SIGTERM, or SIGHUP (code 20) at rsync.c(244) [generator=2.6.9] rsync error: received SIGUSR1 (code19) at main.c(1182) [receiver=2.6.9] 說(shuō)明:導(dǎo)致此問(wèn)題多半是服務(wù)端服務(wù)沒(méi)有被正常啟動(dòng),到服務(wù)器上去查查服務(wù)是否有啟動(dòng),然后查看下 /var/run/rsync.pid 文件是否存在,最干脆的方法是殺死已經(jīng)啟動(dòng)了服務(wù),然后再次啟動(dòng)服務(wù)或者讓腳本加入系統(tǒng)啟動(dòng)服務(wù)級(jí)別然后shutdown -r now服務(wù)器 錯(cuò)誤七: rsync: read error: Connection resetby peer (104) rsync error: error in rsync protocoldata stream (code 12) at io.c(604) [sender=2.6.9] 說(shuō)明:原數(shù)據(jù)目錄里沒(méi)有數(shù)據(jù)存在
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
詳解xshell遠(yuǎn)程連接自動(dòng)斷開(kāi)的問(wèn)題解決辦法
這篇文章主要介紹了詳解xshell遠(yuǎn)程連接自動(dòng)斷開(kāi)的問(wèn)題解決辦法,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-07-07關(guān)于Linux命令行下的數(shù)學(xué)運(yùn)算示例詳解
在Linux中直接使用數(shù)學(xué)運(yùn)算符進(jìn)行數(shù)學(xué)運(yùn)算往往得不到我們想要的計(jì)算結(jié)果。要在Shell中進(jìn)行數(shù)學(xué)運(yùn)算,我們需要借助點(diǎn)小手段。下面這篇文章主要給大家介紹了關(guān)于Linux命令行下的數(shù)學(xué)運(yùn)算的相關(guān)資料,需要的朋友可以參考下2018-05-05linux中g(shù)rep命令使用實(shí)戰(zhàn)詳解
這篇文章主要介紹了linux中g(shù)rep命令使用實(shí)戰(zhàn)詳解的相關(guān)資料,需要的朋友可以參考下2023-02-02在Linux系統(tǒng)中使用Vim讀寫(xiě)遠(yuǎn)程文件的命令詳解
這篇文章主要介紹了在Linux系統(tǒng)中使用Vim讀寫(xiě)遠(yuǎn)程文件的相關(guān)知識(shí),本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-07-07如何監(jiān)控 Linux 服務(wù)器狀態(tài)的方法
這篇文章主要介紹了如何監(jiān)控 Linux 服務(wù)器狀態(tài)的方法,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-06-06