1. 主從集群架構(gòu)

共包含三個(gè)節(jié)點(diǎn)，一個(gè)主節(jié)點(diǎn)，兩個(gè)從節(jié)點(diǎn)。這里我們會(huì)在同一臺(tái)虛擬機(jī)中開(kāi)啟3個(gè)redis實(shí)例，模擬主從集群，信息如下：

注：192.168.150.101 為redis所在虛擬機(jī)或者服務(wù)器的 ip 。

1.1 準(zhǔn)備實(shí)例和配置

要在同一臺(tái)虛擬機(jī)開(kāi)啟3個(gè)實(shí)例，必須準(zhǔn)備三份不同的配置文件和目錄，配置文件所在目錄也就是工作目錄。1）創(chuàng)建目錄我們創(chuàng)建三個(gè)文件夾，名字分別叫7001、7002、7003：

# 進(jìn)入/tmp目錄
cd /tmp
# 創(chuàng)建目錄
mkdir 7001 7002 7003

如下圖：

2）恢復(fù)原始配置

修改redis-6.2.4/redis.conf文件，將其中的持久化模式改為默認(rèn)的RDB模式，AOF保持關(guān)閉狀態(tài)。

# 開(kāi)啟RDB
# save ""
save 3600 1
save 300 100
save 60 10000
# 關(guān)閉AOF
appendonly no

3）拷貝配置文件到每個(gè)實(shí)例目錄

然后將redis-6.2.4/redis.conf文件拷貝到三個(gè)目錄中（在/tmp目錄執(zhí)行下列命令）：

# 方式一：逐個(gè)拷貝
cp redis-6.2.4/redis.conf 7001
cp redis-6.2.4/redis.conf 7002
cp redis-6.2.4/redis.conf 7003
# 方式二：管道組合命令，一鍵拷貝
echo 7001 7002 7003 | xargs -t -n 1 cp redis-6.2.4/redis.conf

4）修改每個(gè)實(shí)例的端口、工作目錄

修改每個(gè)文件夾內(nèi)的配置文件，將端口分別修改為7001、7002、7003，將rdb文件保存位置都修改為自己所在目錄（在/tmp目錄執(zhí)行下列命令）：

sed -i -e 's/6379/7001/g' -e 's/dir .\//dir \/tmp\/7001\//g' 7001/redis.conf
sed -i -e 's/6379/7002/g' -e 's/dir .\//dir \/tmp\/7002\//g' 7002/redis.conf
sed -i -e 's/6379/7003/g' -e 's/dir .\//dir \/tmp\/7003\//g' 7003/redis.conf

注意上面的命可能不會(huì)改成功！

5）修改每個(gè)實(shí)例的聲明IP

虛擬機(jī)本身有多個(gè)IP，為了避免將來(lái)混亂，我們需要在redis.conf文件中指定每一個(gè)實(shí)例的綁定ip信息，格式如下：

# redis實(shí)例的聲明 IP
replica-announce-ip 192.168.150.101

每個(gè)目錄都要改，我們一鍵完成修改（在/tmp目錄執(zhí)行下列命令）：

# 逐一執(zhí)行
sed -i '1a replica-announce-ip 192.168.150.101' 7001/redis.conf
sed -i '1a replica-announce-ip 192.168.150.101' 7002/redis.conf
sed -i '1a replica-announce-ip 192.168.150.101' 7003/redis.conf
# 或者一鍵修改
printf '%s\n' 7001 7002 7003 | xargs -I{} -t sed -i '1a replica-announce-ip 192.168.150.101' {}/redis.conf

1.2 啟動(dòng)

為了方便查看日志，我們打開(kāi)3個(gè)ssh窗口，分別啟動(dòng)3個(gè)redis實(shí)例，啟動(dòng)命令：

# 第1個(gè)
redis-server 7001/redis.conf
# 第2個(gè)
redis-server 7002/redis.conf
# 第3個(gè)
redis-server 7003/redis.conf

啟動(dòng)后：

如果要一鍵停止，可以運(yùn)行下面命令：

printf '%s\n' 7001 7002 7003 | xargs -I{} -t redis-cli -p {} shutdown

1.3 開(kāi)啟主從關(guān)系

現(xiàn)在三個(gè)實(shí)例還沒(méi)有任何關(guān)系，要配置主從可以使用replicaof 或者 slaveof（5.0以前）命令。有臨時(shí)和永久兩種模式：

• 修改配置文件（永久生效）
  • 在redis.conf中添加一行配置：slaveof <masterip> <masterport>
• 使用redis-cli客戶端連接到redis服務(wù)，執(zhí)行slaveof命令（重啟后失效）：

slaveof <masterip> <masterport>

注意：在5.0以后新增命令replicaof，與salveof效果一致。

這里我們?yōu)榱搜菔痉奖悖褂梅绞蕉?/p>

通過(guò)redis-cli命令連接7002，執(zhí)行下面命令：

# 連接 7002
redis-cli -p 7002
# 執(zhí)行slaveof
slaveof 192.168.150.101 7001

通過(guò)redis-cli命令連接7003，執(zhí)行下面命令：

# 連接 7003
redis-cli -p 7003
# 執(zhí)行slaveof
slaveof 192.168.150.101 7001

然后連接 7001節(jié)點(diǎn)，查看集群狀態(tài)：

# 連接 7001
redis-cli -p 7001
# 查看狀態(tài)
info replication

結(jié)果：

1.4 測(cè)試

執(zhí)行下列操作以測(cè)試：

• 利用redis-cli連接7001，執(zhí)行set num 123
• 利用redis-cli連接7002，執(zhí)行g(shù)et num，再執(zhí)行set num 666
• 利用redis-cli連接7003，執(zhí)行g(shù)et num，再執(zhí)行set num 888

可以發(fā)現(xiàn)，只有在7001這個(gè)master節(jié)點(diǎn)上可以執(zhí)行寫操作，7002 和 7003 這兩個(gè) slave 節(jié)點(diǎn)只能執(zhí)行讀操作。

2. 主從同步原理

2.1 全量同步

主從第一次建立連接時(shí)，會(huì)執(zhí)行全量同步，將 master 節(jié)點(diǎn)的所有數(shù)據(jù)都拷貝給 slave 節(jié)點(diǎn)，流程：

這里有一個(gè)問(wèn)題，master如何得知salve是第一次來(lái)連接呢？？有幾個(gè)概念，可以作為判斷依據(jù)：

• Replication Id：簡(jiǎn)稱replid，是數(shù)據(jù)集的標(biāo)記，id一致則說(shuō)明是同一數(shù)據(jù)集。每一個(gè) master 都有唯一的 replid，slave 則會(huì)繼承 master 節(jié)點(diǎn)的 replid
• offset：偏移量，隨著記錄在repl_baklog中的數(shù)據(jù)增多而逐漸增大。slave完成同步時(shí)也會(huì)記錄當(dāng)前同步的offset。如果slave的offset小于master的offset，說(shuō)明slave數(shù)據(jù)落后于master，需要更新。

因此slave做數(shù)據(jù)同步，必須向master聲明自己的replication id 和offset，master才可以判斷到底需要同步哪些數(shù)據(jù)。

因?yàn)閟lave原本也是一個(gè)master，有自己的replid和offset，當(dāng)?shù)谝淮巫兂蓅lave，與master建立連接時(shí)，發(fā)送的replid和offset是自己的replid和offset。master判斷發(fā)現(xiàn)slave發(fā)送來(lái)的replid與自己的不一致，說(shuō)明這是一個(gè)全新的slave，就知道要做全量同步了。

master會(huì)將自己的replid和offset都發(fā)送給這個(gè)slave，slave保存這些信息。以后slave的replid就與master一致了。

因此，master判斷一個(gè)節(jié)點(diǎn)是否是第一次同步的依據(jù)，就是看replid是否一致。

如圖：

完整流程描述：

• slave節(jié)點(diǎn)請(qǐng)求增量同步
• master節(jié)點(diǎn)判斷replid，發(fā)現(xiàn)不一致，拒絕增量同步
• master將完整內(nèi)存數(shù)據(jù)生成RDB，發(fā)送RDB到slave
• slave清空本地?cái)?shù)據(jù)，加載master的RDB
• master將RDB期間的命令記錄在repl_baklog，并持續(xù)將log中的命令發(fā)送給slave
• slave執(zhí)行接收到的命令，保持與master之間的同步

2.2 增量同步

全量同步需要先做RDB，然后將RDB文件通過(guò)網(wǎng)絡(luò)傳輸個(gè)slave，成本太高了。因此除了第一次做全量同步，其它大多數(shù)時(shí)候slave與master都是做增量同步。

什么是增量同步？就是只更新slave與master存在差異的部分?jǐn)?shù)據(jù)。如圖：

那么 master 怎么知道 slave 與自己的數(shù)據(jù)差異在哪里呢?

repl_backlog原理

master怎么知道slave與自己的數(shù)據(jù)差異在哪里呢?

這就要說(shuō)到全量同步時(shí)的repl_baklog文件了。

這個(gè)文件是一個(gè)固定大小的數(shù)組，只不過(guò)數(shù)組是環(huán)形，也就是說(shuō)角標(biāo)到達(dá)數(shù)組末尾后，會(huì)再次從0開(kāi)始讀寫，這樣數(shù)組頭部的數(shù)據(jù)就會(huì)被覆蓋。

repl_baklog中會(huì)記錄Redis處理過(guò)的命令日志及offset，包括master當(dāng)前的offset，和slave已經(jīng)拷貝到的offset：

slave與master的offset之間的差異，就是salve需要增量拷貝的數(shù)據(jù)了。

隨著不斷有數(shù)據(jù)寫入，master的offset逐漸變大，slave也不斷的拷貝，追趕master的offset：

直到數(shù)組被填滿：

此時(shí)，如果有新的數(shù)據(jù)寫入，就會(huì)覆蓋數(shù)組中的舊數(shù)據(jù)。不過(guò)，舊的數(shù)據(jù)只要是綠色的，說(shuō)明是已經(jīng)被同步到slave的數(shù)據(jù)，即便被覆蓋了也沒(méi)什么影響。因?yàn)槲赐降膬H僅是紅色部分。

但是，如果slave出現(xiàn)網(wǎng)絡(luò)阻塞，導(dǎo)致master的offset遠(yuǎn)遠(yuǎn)超過(guò)了slave的offset：

如果master繼續(xù)寫入新數(shù)據(jù)，其offset就會(huì)覆蓋舊的數(shù)據(jù)，直到將slave現(xiàn)在的offset也覆蓋：

棕色框中的紅色部分，就是尚未同步，但是卻已經(jīng)被覆蓋的數(shù)據(jù)。此時(shí)如果slave恢復(fù)，需要同步，卻發(fā)現(xiàn)自己的offset都沒(méi)有了，無(wú)法完成增量同步了。只能做全量同步。

2.3 主從同步優(yōu)化

主從同步可以保證主從數(shù)據(jù)的一致性，非常重要。

可以從以下幾個(gè)方面來(lái)優(yōu)化Redis主從就集群：

• 在master中配置repl-diskless-sync yes啟用無(wú)磁盤復(fù)制，避免全量同步時(shí)的磁盤IO（適用于網(wǎng)絡(luò)好、磁盤慢 的場(chǎng)景）。
• Redis單節(jié)點(diǎn)上的內(nèi)存占用不要太大，減少RDB導(dǎo)致的過(guò)多磁盤IO。
• 適當(dāng)提高 repl_baklog 的大小，發(fā)現(xiàn) slave 宕機(jī)時(shí)盡快實(shí)現(xiàn)故障恢復(fù)，盡可能避免全量同步。
• 限制一個(gè)master上的slave節(jié)點(diǎn)數(shù)量，如果實(shí)在是太多slave，則可以采用主-從-從鏈?zhǔn)浇Y(jié)構(gòu)，減少master壓力。

主從從架構(gòu)圖：

小結(jié)

簡(jiǎn)述全量同步和增量同步區(qū)別？

全量同步：master將完整內(nèi)存數(shù)據(jù)生成RDB，發(fā)送RDB到slave。后續(xù)命令則記錄在repl_baklog，逐個(gè)發(fā)送給slave。增量同步：slave提交自己的offset到master，master獲取repl_baklog中從offset之后的命令給slave

什么時(shí)候執(zhí)行全量同步？

slave節(jié)點(diǎn)第一次連接master節(jié)點(diǎn)時(shí)slave節(jié)點(diǎn)斷開(kāi)時(shí)間太久，repl_baklog中的offset已經(jīng)被覆蓋時(shí)

什么時(shí)候執(zhí)行增量同步？

slave節(jié)點(diǎn)斷開(kāi)又恢復(fù)，并且在repl_baklog中能找到offset時(shí)

以上就是Redis 搭建主從集群的操作指南的詳細(xì)內(nèi)容，更多關(guān)于Redis搭建主從集群的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

最新評(píng)論