1. 主從集群架構(gòu)

共包含三個節(jié)點(diǎn)，一個主節(jié)點(diǎn)，兩個從節(jié)點(diǎn)。這里我們會在同一臺虛擬機(jī)中開啟3個redis實(shí)例，模擬主從集群，信息如下：

注：192.168.150.101 為redis所在虛擬機(jī)或者服務(wù)器的 ip 。

1.1 準(zhǔn)備實(shí)例和配置

要在同一臺虛擬機(jī)開啟3個實(shí)例，必須準(zhǔn)備三份不同的配置文件和目錄，配置文件所在目錄也就是工作目錄。1）創(chuàng)建目錄我們創(chuàng)建三個文件夾，名字分別叫7001、7002、7003：

# 進(jìn)入/tmp目錄
cd /tmp
# 創(chuàng)建目錄
mkdir 7001 7002 7003

如下圖：

2）恢復(fù)原始配置

修改redis-6.2.4/redis.conf文件，將其中的持久化模式改為默認(rèn)的RDB模式，AOF保持關(guān)閉狀態(tài)。

# 開啟RDB
# save ""
save 3600 1
save 300 100
save 60 10000
# 關(guān)閉AOF
appendonly no

3）拷貝配置文件到每個實(shí)例目錄

然后將redis-6.2.4/redis.conf文件拷貝到三個目錄中（在/tmp目錄執(zhí)行下列命令）：

# 方式一：逐個拷貝
cp redis-6.2.4/redis.conf 7001
cp redis-6.2.4/redis.conf 7002
cp redis-6.2.4/redis.conf 7003
# 方式二：管道組合命令，一鍵拷貝
echo 7001 7002 7003 | xargs -t -n 1 cp redis-6.2.4/redis.conf

4）修改每個實(shí)例的端口、工作目錄

修改每個文件夾內(nèi)的配置文件，將端口分別修改為7001、7002、7003，將rdb文件保存位置都修改為自己所在目錄（在/tmp目錄執(zhí)行下列命令）：

sed -i -e 's/6379/7001/g' -e 's/dir .\//dir \/tmp\/7001\//g' 7001/redis.conf
sed -i -e 's/6379/7002/g' -e 's/dir .\//dir \/tmp\/7002\//g' 7002/redis.conf
sed -i -e 's/6379/7003/g' -e 's/dir .\//dir \/tmp\/7003\//g' 7003/redis.conf

注意上面的命可能不會改成功！

5）修改每個實(shí)例的聲明IP

虛擬機(jī)本身有多個IP，為了避免將來混亂，我們需要在redis.conf文件中指定每一個實(shí)例的綁定ip信息，格式如下：

# redis實(shí)例的聲明 IP
replica-announce-ip 192.168.150.101

每個目錄都要改，我們一鍵完成修改（在/tmp目錄執(zhí)行下列命令）：

# 逐一執(zhí)行
sed -i '1a replica-announce-ip 192.168.150.101' 7001/redis.conf
sed -i '1a replica-announce-ip 192.168.150.101' 7002/redis.conf
sed -i '1a replica-announce-ip 192.168.150.101' 7003/redis.conf
# 或者一鍵修改
printf '%s\n' 7001 7002 7003 | xargs -I{} -t sed -i '1a replica-announce-ip 192.168.150.101' {}/redis.conf

1.2 啟動

為了方便查看日志，我們打開3個ssh窗口，分別啟動3個redis實(shí)例，啟動命令：

# 第1個
redis-server 7001/redis.conf
# 第2個
redis-server 7002/redis.conf
# 第3個
redis-server 7003/redis.conf

啟動后：

如果要一鍵停止，可以運(yùn)行下面命令：

printf '%s\n' 7001 7002 7003 | xargs -I{} -t redis-cli -p {} shutdown

1.3 開啟主從關(guān)系

現(xiàn)在三個實(shí)例還沒有任何關(guān)系，要配置主從可以使用replicaof 或者 slaveof（5.0以前）命令。有臨時和永久兩種模式：

• 修改配置文件（永久生效）
  • 在redis.conf中添加一行配置：slaveof <masterip> <masterport>
• 使用redis-cli客戶端連接到redis服務(wù)，執(zhí)行slaveof命令（重啟后失效）：

slaveof <masterip> <masterport>

注意：在5.0以后新增命令replicaof，與salveof效果一致。

這里我們?yōu)榱搜菔痉奖悖褂梅绞蕉?/p>

通過redis-cli命令連接7002，執(zhí)行下面命令：

# 連接 7002
redis-cli -p 7002
# 執(zhí)行slaveof
slaveof 192.168.150.101 7001

通過redis-cli命令連接7003，執(zhí)行下面命令：

# 連接 7003
redis-cli -p 7003
# 執(zhí)行slaveof
slaveof 192.168.150.101 7001

然后連接 7001節(jié)點(diǎn)，查看集群狀態(tài)：

# 連接 7001
redis-cli -p 7001
# 查看狀態(tài)
info replication

結(jié)果：

1.4 測試

執(zhí)行下列操作以測試：

• 利用redis-cli連接7001，執(zhí)行set num 123
• 利用redis-cli連接7002，執(zhí)行g(shù)et num，再執(zhí)行set num 666
• 利用redis-cli連接7003，執(zhí)行g(shù)et num，再執(zhí)行set num 888

可以發(fā)現(xiàn)，只有在7001這個master節(jié)點(diǎn)上可以執(zhí)行寫操作，7002 和 7003 這兩個 slave 節(jié)點(diǎn)只能執(zhí)行讀操作。

2. 主從同步原理

2.1 全量同步

主從第一次建立連接時，會執(zhí)行全量同步，將 master 節(jié)點(diǎn)的所有數(shù)據(jù)都拷貝給 slave 節(jié)點(diǎn)，流程：

這里有一個問題，master如何得知salve是第一次來連接呢？？有幾個概念，可以作為判斷依據(jù)：

• Replication Id：簡稱replid，是數(shù)據(jù)集的標(biāo)記，id一致則說明是同一數(shù)據(jù)集。每一個 master 都有唯一的 replid，slave 則會繼承 master 節(jié)點(diǎn)的 replid
• offset：偏移量，隨著記錄在repl_baklog中的數(shù)據(jù)增多而逐漸增大。slave完成同步時也會記錄當(dāng)前同步的offset。如果slave的offset小于master的offset，說明slave數(shù)據(jù)落后于master，需要更新。

因此slave做數(shù)據(jù)同步，必須向master聲明自己的replication id 和offset，master才可以判斷到底需要同步哪些數(shù)據(jù)。

因?yàn)閟lave原本也是一個master，有自己的replid和offset，當(dāng)?shù)谝淮巫兂蓅lave，與master建立連接時，發(fā)送的replid和offset是自己的replid和offset。master判斷發(fā)現(xiàn)slave發(fā)送來的replid與自己的不一致，說明這是一個全新的slave，就知道要做全量同步了。

master會將自己的replid和offset都發(fā)送給這個slave，slave保存這些信息。以后slave的replid就與master一致了。

因此，master判斷一個節(jié)點(diǎn)是否是第一次同步的依據(jù)，就是看replid是否一致。

如圖：

完整流程描述：

• slave節(jié)點(diǎn)請求增量同步
• master節(jié)點(diǎn)判斷replid，發(fā)現(xiàn)不一致，拒絕增量同步
• master將完整內(nèi)存數(shù)據(jù)生成RDB，發(fā)送RDB到slave
• slave清空本地數(shù)據(jù)，加載master的RDB
• master將RDB期間的命令記錄在repl_baklog，并持續(xù)將log中的命令發(fā)送給slave
• slave執(zhí)行接收到的命令，保持與master之間的同步

2.2 增量同步

全量同步需要先做RDB，然后將RDB文件通過網(wǎng)絡(luò)傳輸個slave，成本太高了。因此除了第一次做全量同步，其它大多數(shù)時候slave與master都是做增量同步。

什么是增量同步？就是只更新slave與master存在差異的部分?jǐn)?shù)據(jù)。如圖：

那么 master 怎么知道 slave 與自己的數(shù)據(jù)差異在哪里呢?

repl_backlog原理

master怎么知道slave與自己的數(shù)據(jù)差異在哪里呢?

這就要說到全量同步時的repl_baklog文件了。

這個文件是一個固定大小的數(shù)組，只不過數(shù)組是環(huán)形，也就是說角標(biāo)到達(dá)數(shù)組末尾后，會再次從0開始讀寫，這樣數(shù)組頭部的數(shù)據(jù)就會被覆蓋。

repl_baklog中會記錄Redis處理過的命令日志及offset，包括master當(dāng)前的offset，和slave已經(jīng)拷貝到的offset：

slave與master的offset之間的差異，就是salve需要增量拷貝的數(shù)據(jù)了。

隨著不斷有數(shù)據(jù)寫入，master的offset逐漸變大，slave也不斷的拷貝，追趕master的offset：

直到數(shù)組被填滿：

此時，如果有新的數(shù)據(jù)寫入，就會覆蓋數(shù)組中的舊數(shù)據(jù)。不過，舊的數(shù)據(jù)只要是綠色的，說明是已經(jīng)被同步到slave的數(shù)據(jù)，即便被覆蓋了也沒什么影響。因?yàn)槲赐降膬H僅是紅色部分。

但是，如果slave出現(xiàn)網(wǎng)絡(luò)阻塞，導(dǎo)致master的offset遠(yuǎn)遠(yuǎn)超過了slave的offset：

如果master繼續(xù)寫入新數(shù)據(jù)，其offset就會覆蓋舊的數(shù)據(jù)，直到將slave現(xiàn)在的offset也覆蓋：

棕色框中的紅色部分，就是尚未同步，但是卻已經(jīng)被覆蓋的數(shù)據(jù)。此時如果slave恢復(fù)，需要同步，卻發(fā)現(xiàn)自己的offset都沒有了，無法完成增量同步了。只能做全量同步。

2.3 主從同步優(yōu)化

主從同步可以保證主從數(shù)據(jù)的一致性，非常重要。

可以從以下幾個方面來優(yōu)化Redis主從就集群：

• 在master中配置repl-diskless-sync yes啟用無磁盤復(fù)制，避免全量同步時的磁盤IO（適用于網(wǎng)絡(luò)好、磁盤慢 的場景）。
• Redis單節(jié)點(diǎn)上的內(nèi)存占用不要太大，減少RDB導(dǎo)致的過多磁盤IO。
• 適當(dāng)提高 repl_baklog 的大小，發(fā)現(xiàn) slave 宕機(jī)時盡快實(shí)現(xiàn)故障恢復(fù)，盡可能避免全量同步。
• 限制一個master上的slave節(jié)點(diǎn)數(shù)量，如果實(shí)在是太多slave，則可以采用主-從-從鏈?zhǔn)浇Y(jié)構(gòu)，減少master壓力。

主從從架構(gòu)圖：

小結(jié)

簡述全量同步和增量同步區(qū)別？

全量同步：master將完整內(nèi)存數(shù)據(jù)生成RDB，發(fā)送RDB到slave。后續(xù)命令則記錄在repl_baklog，逐個發(fā)送給slave。增量同步：slave提交自己的offset到master，master獲取repl_baklog中從offset之后的命令給slave

什么時候執(zhí)行全量同步？

slave節(jié)點(diǎn)第一次連接master節(jié)點(diǎn)時slave節(jié)點(diǎn)斷開時間太久，repl_baklog中的offset已經(jīng)被覆蓋時

什么時候執(zhí)行增量同步？

slave節(jié)點(diǎn)斷開又恢復(fù)，并且在repl_baklog中能找到offset時

以上就是Redis 搭建主從集群的操作指南的詳細(xì)內(nèi)容，更多關(guān)于Redis搭建主從集群的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論