緩沖區(qū)(buffer)，是內(nèi)存空間的一部分。也就是說(shuō)，在內(nèi)存空間中預(yù)留了一定的存儲(chǔ)空間，這些存儲(chǔ)空間用來(lái)緩沖輸入或輸出的數(shù)據(jù)，這部分預(yù)留的空間就叫做緩沖區(qū)。

一、Redis緩沖區(qū)溢出影響

在Redis中，主要有三個(gè)場(chǎng)景用到了緩沖區(qū)的概念。

在客戶(hù)端和服務(wù)器端之間進(jìn)行通信時(shí)，用來(lái)暫存客戶(hù)端發(fā)送的命令數(shù)據(jù)，或者是服務(wù)器端返回給客戶(hù)端的數(shù)據(jù)結(jié)果 在主從節(jié)點(diǎn)間進(jìn)行數(shù)據(jù)同步時(shí)，Redis使用緩沖區(qū)來(lái)暫存主節(jié)點(diǎn)接收的寫(xiě)命令和數(shù)據(jù) 在Redis進(jìn)行AOF持久化的時(shí)候Redis為了避免頻繁寫(xiě)磁盤(pán)同樣用到了緩沖區(qū)的概念

緩沖區(qū)概念最初是操作系統(tǒng)為了緩和 CPU 與 I/O 設(shè)備速度不匹配的矛盾，提高 CPU 和 I/O 設(shè)備的并行性而引入的。

對(duì)于高速設(shè)備與低速設(shè)備的不匹配，勢(shì)必會(huì)讓高速設(shè)備花時(shí)間等待低速設(shè)備。有了緩沖區(qū)的概念就可以很好的解決這個(gè)問(wèn)題。緩沖區(qū)也是生產(chǎn)者消費(fèi)者模式的重要體現(xiàn)。

1、緩沖區(qū)溢出導(dǎo)致網(wǎng)絡(luò)連接關(guān)閉

如果 qubf-free 耗盡，就會(huì)引起客戶(hù)端輸入緩沖區(qū)溢出，Redis 的處理方法就是把客戶(hù)端連接關(guān)閉，導(dǎo)致的結(jié)果就是業(yè)務(wù)程序無(wú)法進(jìn)行數(shù)據(jù)存取。

2、緩沖區(qū)溢出導(dǎo)致命令數(shù)據(jù)丟失或者崩潰

通常情況下，會(huì)有很多的客戶(hù)端連接，當(dāng)客戶(hù)端連接占用的內(nèi)存總量，超過(guò)了 Redis 的 maxmemory 配置時(shí)，就會(huì)觸發(fā) Redis 進(jìn)行數(shù)據(jù)淘汰，影響業(yè)務(wù)程序的訪問(wèn)性能。

甚至多個(gè)客戶(hù)端會(huì)導(dǎo)致 Redis 內(nèi)存占用過(guò)大，也會(huì)導(dǎo)致內(nèi)存溢出問(wèn)題，進(jìn)而引起 Redis 崩潰。

二、客戶(hù)端緩沖區(qū)

客戶(hù)端緩沖區(qū)又有兩個(gè)，輸入緩沖區(qū)和輸出緩沖區(qū)，都是為了解決客戶(hù)端和服務(wù)器端的請(qǐng)求發(fā)送和處理速度不匹配所設(shè)置的。

輸入緩沖區(qū)暫存的是客戶(hù)端發(fā)來(lái)的命令，其常見(jiàn)的溢出原因有兩個(gè)：

寫(xiě)入了BigKey，如一次性寫(xiě)入了百萬(wàn)級(jí)別的哈?；蚣蠑?shù)據(jù)，超過(guò)了緩沖區(qū)的大小 服務(wù)端處理請(qǐng)求的速度過(guò)慢導(dǎo)致阻塞，無(wú)法及時(shí)處理請(qǐng)求，使得客戶(hù)端發(fā)送的請(qǐng)求在緩沖區(qū)內(nèi)越積越多。

輸出緩沖區(qū)暫存的是 Redis 主線程要返回給客戶(hù)端的數(shù)據(jù)。

這個(gè)數(shù)據(jù)，既有簡(jiǎn)單且大小固定的 OK 響應(yīng)（例如，執(zhí)行 SET 命令）或報(bào)錯(cuò)信息，也有大小不固定的、包含具體數(shù)據(jù)的執(zhí)行結(jié)果（例如，執(zhí)行 HGET 命令）

輸出緩沖區(qū)常見(jiàn)的溢出原因有三種：

返回BigKey的大量結(jié)果 執(zhí)行了某些不合理的命令 緩沖區(qū)大小設(shè)置不合理

從輸入和輸出緩沖區(qū)常見(jiàn)導(dǎo)致溢出的原因來(lái)看，BigKey是最可能導(dǎo)致溢出的原因，因此我們應(yīng)該盡量避免使用BigKey。

對(duì)于輸入緩沖區(qū)，因?yàn)闆](méi)有辦法改變其大小(默認(rèn)每個(gè)客戶(hù)端1G)，我們只能通過(guò)控制命令的發(fā)送和處理速度入手，盡量避免阻塞。

對(duì)于輸出緩沖區(qū)則要避免一些返回大量結(jié)果的命令的使用如KEYS，MONITOR等，同時(shí)可以通過(guò)調(diào)整輸出緩沖區(qū)的大小來(lái)避免溢出。

三、復(fù)制緩沖區(qū)

復(fù)制緩沖區(qū)是用于Redis主從節(jié)點(diǎn)之間復(fù)制時(shí)使用的。由于主從節(jié)點(diǎn)間的數(shù)據(jù)復(fù)制包括全量復(fù)制和增量復(fù)制兩種。因此復(fù)制緩沖區(qū)也分為復(fù)制緩沖區(qū)和復(fù)制積壓緩沖區(qū)兩種。

1、復(fù)制緩沖區(qū)

在全量復(fù)制過(guò)程中，主節(jié)點(diǎn)在向從節(jié)點(diǎn)傳輸 RDB 文件的同時(shí)，會(huì)繼續(xù)接收客戶(hù)端發(fā)送的寫(xiě)命令請(qǐng)求。這些寫(xiě)命令就會(huì)先保存在復(fù)制緩沖區(qū)中，等 RDB 文件傳輸完成后，再發(fā)送給從節(jié)點(diǎn)去執(zhí)行。主節(jié)點(diǎn)上會(huì)為每個(gè)從節(jié)點(diǎn)都維護(hù)一個(gè)復(fù)制緩沖區(qū)，來(lái)保證主從節(jié)點(diǎn)間的數(shù)據(jù)同步。

對(duì)于復(fù)制緩沖區(qū)，如果主庫(kù)傳輸 RDB 文件以及從庫(kù)加載 RDB 文件耗時(shí)長(zhǎng)，同時(shí)主庫(kù)接收的寫(xiě)命令操作較多，就會(huì)導(dǎo)致復(fù)制緩沖區(qū)被寫(xiě)滿(mǎn)而溢出。

想要避免復(fù)制緩沖區(qū)溢出，一方面我們可以控制主節(jié)點(diǎn)保存的數(shù)據(jù)量大小，這樣可以讓RDB文件的傳輸以及從庫(kù)加載時(shí)間變快，以避免復(fù)制緩沖區(qū)累積過(guò)多命令。

也可以根據(jù)主節(jié)點(diǎn)的數(shù)據(jù)量大小、主節(jié)點(diǎn)的寫(xiě)負(fù)載壓力和主節(jié)點(diǎn)本身的內(nèi)存大小來(lái)更合理的設(shè)置復(fù)制緩沖區(qū)的大小來(lái)避免溢出，此外，由于主節(jié)點(diǎn)會(huì)為每一個(gè)從節(jié)點(diǎn)設(shè)置一個(gè)復(fù)制緩沖區(qū)，如果集群中的從節(jié)點(diǎn)數(shù)非常多的話，主節(jié)點(diǎn)的內(nèi)存開(kāi)銷(xiāo)就會(huì)非常大，因此我們應(yīng)該盡量避免一個(gè)主節(jié)點(diǎn)有過(guò)多的從節(jié)點(diǎn)。

2、復(fù)制積壓緩沖區(qū)

增量復(fù)制時(shí)，主節(jié)點(diǎn)和從節(jié)點(diǎn)進(jìn)行常規(guī)同步時(shí)，會(huì)把寫(xiě)命令也暫存在復(fù)制積壓緩沖區(qū)中。如果從節(jié)點(diǎn)和主節(jié)點(diǎn)間發(fā)生了網(wǎng)絡(luò)斷連，等從節(jié)點(diǎn)再次連接后，可以從復(fù)制積壓緩沖區(qū)中同步尚未復(fù)制的命令操作。

需要注意的是復(fù)制積壓緩沖區(qū)是一個(gè)大小有限的環(huán)形緩沖區(qū)。

當(dāng)主節(jié)點(diǎn)把復(fù)制積壓緩沖區(qū)寫(xiě)滿(mǎn)后，會(huì)覆蓋緩沖區(qū)中的舊命令數(shù)據(jù)。此時(shí)會(huì)造成主從節(jié)點(diǎn)的數(shù)據(jù)不一致。

針對(duì)這個(gè)問(wèn)題，一般的應(yīng)對(duì)的方法是調(diào)大復(fù)制積壓緩沖區(qū)的大小，這個(gè)大小的計(jì)算方式一般可以使用

緩沖區(qū)大小=（主庫(kù)寫(xiě)入命令速度 * 操作大小 - 主從庫(kù)間網(wǎng)絡(luò)傳輸命令速度 * 操作大?。? 2

如果如果并發(fā)請(qǐng)求量非常大，調(diào)整緩沖區(qū)大小的方式還不能解決，那么可以考慮使用切片集群的方式解決

四、AOF緩沖區(qū)

AOF緩沖區(qū)是Redis在AOF持久化的所設(shè)置的緩沖區(qū)，AOF緩沖區(qū)也有兩種AOF緩沖區(qū)和AOF重寫(xiě)緩沖區(qū)。

1、AOF緩沖區(qū)

我們都知道，即使是固態(tài)硬盤(pán)，它的讀寫(xiě)速度也是與內(nèi)存的讀寫(xiě)速度相差很多的。AOF緩沖區(qū)就主要是Redis用來(lái)解決主進(jìn)程執(zhí)行命令速度與磁盤(pán)寫(xiě)入速度不同步所設(shè)置的，通過(guò)AOF緩沖區(qū)可以有效地避免頻繁對(duì)硬盤(pán)進(jìn)行讀寫(xiě)，進(jìn)而提升性能。Redis在AOF持久化的時(shí)候，會(huì)先把命令寫(xiě)入到AOF緩沖區(qū)，然后通過(guò)回寫(xiě)策略來(lái)寫(xiě)入硬盤(pán)AOF文件。

AOF緩沖區(qū)的溢出可能與磁盤(pán)寫(xiě)入速度有關(guān)系，也可能與AOF回寫(xiě)策略有關(guān)系，當(dāng)大量命令積壓在AOF緩沖區(qū)，超過(guò)其設(shè)置閾值之后，就會(huì)導(dǎo)致緩沖區(qū)溢出，想要避免這個(gè)問(wèn)題，我們可以通過(guò)調(diào)整回寫(xiě)策略，或者調(diào)整AOF緩沖區(qū)大小的方式來(lái)解決。

2、AOF重寫(xiě)緩沖區(qū)

AOF重寫(xiě)緩沖區(qū)是Redis在子進(jìn)程進(jìn)行AOF重寫(xiě)的時(shí)候，父進(jìn)程接受了新的命令，此時(shí)會(huì)把命令寫(xiě)入AOF重寫(xiě)緩沖區(qū)，等到子進(jìn)程重寫(xiě)完成后，把AOF重寫(xiě)緩沖區(qū)命令追加到新的AOF文件中。

 AOF重寫(xiě)緩沖區(qū)的溢出與AOF重寫(xiě)期間主進(jìn)程所處理的命令數(shù)有關(guān)系，當(dāng)AOF重寫(xiě)期間Redis主進(jìn)程處理了大量的命令，這些命令都會(huì)寫(xiě)入AOF重寫(xiě)緩沖區(qū)，當(dāng)超過(guò)設(shè)定閾值之后，就會(huì)導(dǎo)致溢出。

避免AOF重寫(xiě)緩沖區(qū)的溢出我們也可以通過(guò)調(diào)整AOF重寫(xiě)緩沖區(qū)的大小來(lái)解決。

五、總結(jié)

這篇文章總結(jié)了緩沖區(qū)的概念，分析了Redis的三個(gè)緩沖區(qū)，以及可能造成其溢出的原因和解決辦法。

對(duì)于緩沖區(qū)溢出其實(shí)主要有兩種原因，一是緩沖區(qū)大小不夠，二是消費(fèi)者處理的速度太慢，而生產(chǎn)者生產(chǎn)的太快，導(dǎo)致大量?jī)?nèi)容積壓在緩沖區(qū)，進(jìn)而導(dǎo)致溢出。

而解決方案就可以通過(guò)調(diào)整緩沖區(qū)的大小，或者調(diào)整生產(chǎn)者與消費(fèi)者之間生產(chǎn)與處理消息的速度，使其處于一個(gè)相對(duì)平衡的狀態(tài)。

Redis緩沖區(qū)溢出是常見(jiàn)的問(wèn)題，但可以通過(guò)多種方式來(lái)解決。最常見(jiàn)的方法是增加Redis內(nèi)存容量和優(yōu)化緩沖區(qū)刷新策略。同時(shí)，使用更好的硬件設(shè)備和升級(jí)Redis版本也可以幫助解決這個(gè)問(wèn)題。當(dāng)然，預(yù)防比治療更為重要，因此，在使用Redis時(shí)，需要注意數(shù)據(jù)的寫(xiě)入速度和Redis服務(wù)器的配置。只有做好這些預(yù)防工作，才能避免Redis緩沖區(qū)溢出問(wèn)題的出現(xiàn)。

到此這篇關(guān)于Redis緩沖區(qū)溢出及解決方案分享的文章就介紹到這了,更多相關(guān)Redis緩沖區(qū)溢出內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論