快捷導(dǎo)航

詳解如何清理Redis內(nèi)存碎片

更新時(shí)間：2023年04月18日 10:41:59 作者：邴越

操作系統(tǒng)的剩余空間總量足夠，但申請(qǐng)一塊N字節(jié)連續(xù)地址的空間時(shí)，剩余內(nèi)存空間中沒有大小為N字節(jié)的連續(xù)空間，那么這些剩余內(nèi)存空間中，小于N字節(jié)的連續(xù)內(nèi)存空間就是內(nèi)存碎片，本文詳細(xì)介紹了如何清理Redis內(nèi)存碎片，需要的朋友可以參考一下

明明做了數(shù)據(jù)刪除，數(shù)據(jù)量已經(jīng)不大了，為什么使用 top 命令查看時(shí)，還會(huì)發(fā)現(xiàn) Redis 占用了很多內(nèi)存呢？
實(shí)際上，這是因?yàn)?，?dāng)數(shù)據(jù)刪除后，Redis 釋放的內(nèi)存空間會(huì)由內(nèi)存分配器管理，并不會(huì)立即返回給操作系統(tǒng)。

Redis 釋放的內(nèi)存空間可能并不是連續(xù)的，那么，這些不連續(xù)的內(nèi)存空間很有可能處于一種閑置的狀態(tài)。這就會(huì)導(dǎo)致一個(gè)問題：雖然有空閑空間，Redis 卻無法用來保存數(shù)據(jù)，不僅會(huì)減少 Redis 能夠?qū)嶋H保存的數(shù)據(jù)量，還會(huì)降低 Redis 運(yùn)行機(jī)器的成本回報(bào)率。

什么是Redis內(nèi)存碎片？

操作系統(tǒng)的剩余空間總量足夠，但申請(qǐng)一塊N字節(jié)連續(xù)地址的空間時(shí)，剩余內(nèi)存空間中沒有大小為N字節(jié)的連續(xù)空間，那么這些剩余內(nèi)存空間中，小于N字節(jié)的連續(xù)內(nèi)存空間就是內(nèi)存碎片。

Redis內(nèi)存碎片是如何形成的？

內(nèi)存碎片形成有內(nèi)部原因和外部原因：

內(nèi)部原因：內(nèi)存分配器的分配策略決定操作系統(tǒng)無法做到“按需分配”。
- Redis使用libc、jemalloc、tcmalloc多種內(nèi)存分配器來分配內(nèi)存，默認(rèn)使用jemalloc。
- 內(nèi)存分配器是按照固定大小來分配內(nèi)存空間，不是完全按照應(yīng)用程序申請(qǐng)的內(nèi)存大小來分配。
- 以jemalloc為例，是按照一系列固定的大小劃分內(nèi)存空間，例如8字節(jié)、16字節(jié)、32字節(jié)、...、2KB、4KB等。當(dāng)程序申請(qǐng)的內(nèi)存最接近某個(gè)固定值時(shí)，jemalloc就會(huì)給它分配相應(yīng)大小的空間。
外部原因：鍵值對(duì)大小不一樣，并且鍵值對(duì)可以被修改和刪除。
- Redis申請(qǐng)內(nèi)存空間分配時(shí)，對(duì)于大小不一的內(nèi)存空間需求，內(nèi)存分配器按照固定大小分配內(nèi)存空間，分配的內(nèi)存空間一般都會(huì)比申請(qǐng)的內(nèi)存空間大一些，這會(huì)產(chǎn)生一定的內(nèi)存碎片。
- 鍵值對(duì)會(huì)被修改和刪除，會(huì)導(dǎo)致空間的擴(kuò)容和釋放。

如何判斷Redis是否有內(nèi)存碎片？

DAS通過Redis提供的INFO命令，查詢內(nèi)存使用的詳細(xì)信息，命令如下：

INFO memory
# Memory
used_memory:350458970752
used_memory_human:326.39G
used_memory_rss:349066919936
used_memory_rss_human:325.09G
…
mem_fragmentation_ratio:1.00

used_memory：表示Redis為了保存數(shù)據(jù)實(shí)際申請(qǐng)使用的內(nèi)存空間。
used_memory_rss：表示操作系統(tǒng)實(shí)際分配給Redis的物理內(nèi)存空間，其中包含了內(nèi)存空間碎片。
mem_fragmentation_ratio：表示Redis當(dāng)前的內(nèi)存碎片率。計(jì)算公式：mem_fragmentation_ratio=used_memory_rss/used_memory
- mem_fragmentation_ratio大于等于1但小于等于1.5，這種情況是合理的。
- mem_fragmentation_ratio大于1.5，表明內(nèi)存碎片率已經(jīng)超過了50%。

如何清理內(nèi)存碎片？

一個(gè)“簡(jiǎn)單粗暴”的方法是重啟Redis實(shí)例。但是這個(gè)方法會(huì)帶來兩個(gè)后果：

如果Redis中的數(shù)據(jù)沒有持久化，數(shù)據(jù)會(huì)丟失；
即使Redis數(shù)據(jù)持久化了，還需要通過AOF或者RDB來恢復(fù)，恢復(fù)時(shí)長(zhǎng)取決于AOF或RDB的大小。并且如果只有一個(gè)Redis實(shí)例，恢復(fù)階段無法提供服務(wù)。

那有沒有更好的方法呢？有的，從4.0-RC3版本以后，Redis自身提供了一種內(nèi)存碎片自動(dòng)清理的方法。

內(nèi)存碎片自動(dòng)清理

內(nèi)存碎片清理，簡(jiǎn)單來說，就是“搬家讓位，合并空間”。

當(dāng)有數(shù)據(jù)把一塊連續(xù)的內(nèi)存空間分割成好幾塊不連續(xù)的空間時(shí)，操作系統(tǒng)會(huì)把數(shù)據(jù)拷貝到另外，而原來不連續(xù)的內(nèi)存空間就變成連續(xù)的內(nèi)存空間了。

但是碎片清理是有代價(jià)的。操作系統(tǒng)需要把多份數(shù)據(jù)拷貝到新位置，把原有空間釋放出來，這會(huì)帶來時(shí)間開銷。另外在數(shù)據(jù)拷貝時(shí)，會(huì)阻塞Redis，降低性能。

如何緩解這個(gè)問題？

Redis專門為自動(dòng)內(nèi)存碎片清理機(jī)制提供參數(shù)設(shè)置?？梢酝ㄟ^設(shè)置參數(shù)，來控制碎片清理的開始和結(jié)束時(shí)機(jī)，以及占用的CPU比例，從而減少碎片清理對(duì)Redis請(qǐng)求處理的性能影響。

首先，開啟自動(dòng)內(nèi)存碎片清理：

config set activedefrag yes
然后，設(shè)置觸發(fā)內(nèi)存清理的條件：

active-defrag-ignore-bytes 100mb：表示內(nèi)存碎片的字節(jié)數(shù)達(dá)到100MB時(shí)，開始清理；
active-defrag-threshold-lower 10：表示內(nèi)存碎片空間占操作系統(tǒng)分配給Redis的總空間比例達(dá)到10%時(shí)，開始清理。

最后，控制清理操作占用CPU時(shí)間比例的上、下限：

active-defrag-cycle-min 25：表示自動(dòng)清理過程所用CPU時(shí)間的比例不低于25%，保證清理能正常開展；
active-defrag-cycle-max 75：表示自動(dòng)清理過程所用CPU時(shí)間的比例不高于75%，一旦超過，就停止清理，從而避免在清理時(shí)，大量的內(nèi)存拷貝阻塞Redis，導(dǎo)致響應(yīng)延遲升高。

總結(jié)

內(nèi)存碎片自動(dòng)清理涉及內(nèi)存拷貝，這對(duì) Redis 而言，是個(gè)潛在的風(fēng)險(xiǎn)。如果你在實(shí)踐過程中遇到 Redis 性能變慢，記得通過日志看下是否正在進(jìn)行碎片清理。如果 Redis 的確正在清理碎片，那么，我建議你調(diào)小 active-defrag-cycle-max 的值，以減輕對(duì)正常請(qǐng)求處理的影響。

以上就是詳解如何清理Redis內(nèi)存碎片的詳細(xì)內(nèi)容，更多關(guān)于清理Redis內(nèi)存碎片的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章: