腳本之家服務(wù)器常用軟件

快捷導(dǎo)航

redis replication環(huán)形緩沖區(qū)算法詳解

更新時(shí)間：2025年04月08日 09:21:11 作者：學(xué)會(huì)了沒(méi)

這篇文章主要介紹了redis replication環(huán)形緩沖區(qū)算法的使用,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教

一、環(huán)形緩沖區(qū)的作用

增量同步
從節(jié)點(diǎn)斷線重連時(shí)，優(yōu)先嘗試從緩沖區(qū)中恢復(fù)丟失的數(shù)據(jù)，避免全量同步（RDB 傳輸）。
降低網(wǎng)絡(luò)抖動(dòng)影響
在網(wǎng)絡(luò)不穩(wěn)定時(shí)，緩沖區(qū)保留最近的數(shù)據(jù)，提高系統(tǒng)的容錯(cuò)性。
高效內(nèi)存管理
固定大小的環(huán)形結(jié)構(gòu)避免內(nèi)存無(wú)限增長(zhǎng)，舊數(shù)據(jù)會(huì)被新數(shù)據(jù)覆蓋。

在 Redis 的 INFO replication 輸出中，與環(huán)形緩沖區(qū)相關(guān)的字段包括：

字段	作用
repl_backlog_active:1	緩沖區(qū)是否啟用（1=啟用）。
repl_backlog_size:1048576	緩沖區(qū)總大?。J(rèn) 1MB，可配置）。
repl_backlog_first_byte_offset:1	緩沖區(qū)中第一個(gè)字節(jié)對(duì)應(yīng)的全局復(fù)制偏移量（標(biāo)識(shí)緩沖區(qū)的起點(diǎn)）。
repl_backlog_histlen:979768	緩沖區(qū)中實(shí)際存儲(chǔ)的數(shù)據(jù)長(zhǎng)度（從起點(diǎn)到最新數(shù)據(jù)的距離）。
master_repl_offset:979768	主節(jié)點(diǎn)當(dāng)前最新的復(fù)制偏移量（標(biāo)識(shí)數(shù)據(jù)寫(xiě)入進(jìn)度）。

緩沖區(qū)是一個(gè)字符數(shù)組，邏輯上視為環(huán)形（類(lèi)似循環(huán)隊(duì)列）。

通過(guò)兩個(gè)指針隱式管理：

寫(xiě)指針：對(duì)應(yīng) master_repl_offset，表示主節(jié)點(diǎn)最新寫(xiě)入的位置。
起點(diǎn)指針：對(duì)應(yīng) repl_backlog_first_byte_offset，表示緩沖區(qū)中最早數(shù)據(jù)的起始位置。

主節(jié)點(diǎn)每次傳播寫(xiě)命令時(shí)：

將命令追加到緩沖區(qū)。
更新 master_repl_offset（增加命令的字節(jié)長(zhǎng)度）。
如果緩沖區(qū)已滿（repl_backlog_histlen == repl_backlog_size），則覆蓋舊數(shù)據(jù)，并向前移動(dòng)起點(diǎn)指針（repl_backlog_first_byte_offset 遞增）。

觸發(fā)條件：當(dāng) master_repl_offset - repl_backlog_first_byte_offset > repl_backlog_size。
覆蓋行為：新數(shù)據(jù)覆蓋舊數(shù)據(jù)，repl_backlog_first_byte_offset 向前推進(jìn)，確保緩沖區(qū)大小固定。

當(dāng)從節(jié)點(diǎn)重連主節(jié)點(diǎn)時(shí)：

發(fā)送自己的 slave_repl_offset（已復(fù)制的最后偏移量）。

主節(jié)點(diǎn)檢查：

如果 slave_repl_offset 在 [repl_backlog_first_byte_offset, master_repl_offset] 范圍內(nèi)：
增量同步：從緩沖區(qū)中提取 slave_repl_offset + 1 到 master_repl_offset 之間的數(shù)據(jù)發(fā)送給從節(jié)點(diǎn)。
否則：
全量同步：生成 RDB 快照并傳輸全部數(shù)據(jù)。

緩沖區(qū)大小 (repl-backlog-size)

需根據(jù)網(wǎng)絡(luò)環(huán)境和數(shù)據(jù)寫(xiě)入速率調(diào)整。
公式建議：緩沖區(qū)大小 ≥ 斷線最大時(shí)間 × 平均寫(xiě)入速率。
例如：若網(wǎng)絡(luò)最長(zhǎng)可能斷開(kāi) 60 秒，主節(jié)點(diǎn)每秒寫(xiě)入 10KB，則緩沖區(qū)至少設(shè)置為 60s × 10KB = 600KB（實(shí)際建議略大）。

緩沖區(qū)保留時(shí)間 (repl-backlog-ttl)

默認(rèn) 3600 秒（1 小時(shí)），表示主節(jié)點(diǎn)在沒(méi)有從節(jié)點(diǎn)連接時(shí)，保留緩沖區(qū)的時(shí)間。
若所有從節(jié)點(diǎn)長(zhǎng)期斷開(kāi)，超時(shí)后緩沖區(qū)會(huì)被釋放以節(jié)省內(nèi)存。

假設(shè)緩沖區(qū)大小為 1000 字節(jié)，初始狀態(tài)：

repl_backlog_first_byte_offset = 1
master_repl_offset = 1
repl_backlog_histlen = 0

寫(xiě)入 500 字節(jié)數(shù)據(jù)

再寫(xiě)入 600 字節(jié)數(shù)據(jù)

總需空間 500 + 600 = 1100，超過(guò)緩沖區(qū)大?。?000）。
覆蓋舊數(shù)據(jù)，起點(diǎn)指針前進(jìn)到 101（覆蓋前 100 字節(jié)）。
repl_backlog_first_byte_offset = 101，master_repl_offset = 1101，repl_backlog_histlen = 1000。

從節(jié)點(diǎn)斷線重連

Redis 的環(huán)形緩沖區(qū)通過(guò)高效的內(nèi)存管理和偏移量追蹤機(jī)制，顯著提升了主從復(fù)制的健壯性和性能。

合理配置 repl-backlog-size 和監(jiān)控 repl_backlog_histlen 是避免全量同步的關(guān)鍵。

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: