詳解如何清理Redis內(nèi)存碎片

更新時間：2023年04月18日 10:41:59 作者：邴越

操作系統(tǒng)的剩余空間總量足夠，但申請一塊N字節(jié)連續(xù)地址的空間時，剩余內(nèi)存空間中沒有大小為N字節(jié)的連續(xù)空間，那么這些剩余內(nèi)存空間中，小于N字節(jié)的連續(xù)內(nèi)存空間就是內(nèi)存碎片，本文詳細介紹了如何清理Redis內(nèi)存碎片，需要的朋友可以參考一下

明明做了數(shù)據(jù)刪除，數(shù)據(jù)量已經(jīng)不大了，為什么使用 top 命令查看時，還會發(fā)現(xiàn) Redis 占用了很多內(nèi)存呢？
實際上，這是因為，當數(shù)據(jù)刪除后，Redis 釋放的內(nèi)存空間會由內(nèi)存分配器管理，并不會立即返回給操作系統(tǒng)。

Redis 釋放的內(nèi)存空間可能并不是連續(xù)的，那么，這些不連續(xù)的內(nèi)存空間很有可能處于一種閑置的狀態(tài)。這就會導致一個問題：雖然有空閑空間，Redis 卻無法用來保存數(shù)據(jù)，不僅會減少 Redis 能夠?qū)嶋H保存的數(shù)據(jù)量，還會降低 Redis 運行機器的成本回報率。

什么是Redis內(nèi)存碎片？

操作系統(tǒng)的剩余空間總量足夠，但申請一塊N字節(jié)連續(xù)地址的空間時，剩余內(nèi)存空間中沒有大小為N字節(jié)的連續(xù)空間，那么這些剩余內(nèi)存空間中，小于N字節(jié)的連續(xù)內(nèi)存空間就是內(nèi)存碎片。

Redis內(nèi)存碎片是如何形成的？

內(nèi)存碎片形成有內(nèi)部原因和外部原因：

內(nèi)部原因：內(nèi)存分配器的分配策略決定操作系統(tǒng)無法做到“按需分配”。
- Redis使用libc、jemalloc、tcmalloc多種內(nèi)存分配器來分配內(nèi)存，默認使用jemalloc。
- 內(nèi)存分配器是按照固定大小來分配內(nèi)存空間，不是完全按照應用程序申請的內(nèi)存大小來分配。
- 以jemalloc為例，是按照一系列固定的大小劃分內(nèi)存空間，例如8字節(jié)、16字節(jié)、32字節(jié)、...、2KB、4KB等。當程序申請的內(nèi)存最接近某個固定值時，jemalloc就會給它分配相應大小的空間。
外部原因：鍵值對大小不一樣，并且鍵值對可以被修改和刪除。
- Redis申請內(nèi)存空間分配時，對于大小不一的內(nèi)存空間需求，內(nèi)存分配器按照固定大小分配內(nèi)存空間，分配的內(nèi)存空間一般都會比申請的內(nèi)存空間大一些，這會產(chǎn)生一定的內(nèi)存碎片。
- 鍵值對會被修改和刪除，會導致空間的擴容和釋放。

如何判斷Redis是否有內(nèi)存碎片？

DAS通過Redis提供的INFO命令，查詢內(nèi)存使用的詳細信息，命令如下：

INFO memory
# Memory
used_memory:350458970752
used_memory_human:326.39G
used_memory_rss:349066919936
used_memory_rss_human:325.09G
…
mem_fragmentation_ratio:1.00

used_memory：表示Redis為了保存數(shù)據(jù)實際申請使用的內(nèi)存空間。
used_memory_rss：表示操作系統(tǒng)實際分配給Redis的物理內(nèi)存空間，其中包含了內(nèi)存空間碎片。
mem_fragmentation_ratio：表示Redis當前的內(nèi)存碎片率。計算公式：mem_fragmentation_ratio=used_memory_rss/used_memory
- mem_fragmentation_ratio大于等于1但小于等于1.5，這種情況是合理的。
- mem_fragmentation_ratio大于1.5，表明內(nèi)存碎片率已經(jīng)超過了50%。

如何清理內(nèi)存碎片？

一個“簡單粗暴”的方法是重啟Redis實例。但是這個方法會帶來兩個后果：

如果Redis中的數(shù)據(jù)沒有持久化，數(shù)據(jù)會丟失；
即使Redis數(shù)據(jù)持久化了，還需要通過AOF或者RDB來恢復，恢復時長取決于AOF或RDB的大小。并且如果只有一個Redis實例，恢復階段無法提供服務。

那有沒有更好的方法呢？有的，從4.0-RC3版本以后，Redis自身提供了一種內(nèi)存碎片自動清理的方法。

內(nèi)存碎片自動清理

內(nèi)存碎片清理，簡單來說，就是“搬家讓位，合并空間”。

當有數(shù)據(jù)把一塊連續(xù)的內(nèi)存空間分割成好幾塊不連續(xù)的空間時，操作系統(tǒng)會把數(shù)據(jù)拷貝到另外，而原來不連續(xù)的內(nèi)存空間就變成連續(xù)的內(nèi)存空間了。

但是碎片清理是有代價的。操作系統(tǒng)需要把多份數(shù)據(jù)拷貝到新位置，把原有空間釋放出來，這會帶來時間開銷。另外在數(shù)據(jù)拷貝時，會阻塞Redis，降低性能。

如何緩解這個問題？

Redis專門為自動內(nèi)存碎片清理機制提供參數(shù)設置?？梢酝ㄟ^設置參數(shù)，來控制碎片清理的開始和結束時機，以及占用的CPU比例，從而減少碎片清理對Redis請求處理的性能影響。

首先，開啟自動內(nèi)存碎片清理：

config set activedefrag yes
然后，設置觸發(fā)內(nèi)存清理的條件：

active-defrag-ignore-bytes 100mb：表示內(nèi)存碎片的字節(jié)數(shù)達到100MB時，開始清理；
active-defrag-threshold-lower 10：表示內(nèi)存碎片空間占操作系統(tǒng)分配給Redis的總空間比例達到10%時，開始清理。

最后，控制清理操作占用CPU時間比例的上、下限：

active-defrag-cycle-min 25：表示自動清理過程所用CPU時間的比例不低于25%，保證清理能正常開展；
active-defrag-cycle-max 75：表示自動清理過程所用CPU時間的比例不高于75%，一旦超過，就停止清理，從而避免在清理時，大量的內(nèi)存拷貝阻塞Redis，導致響應延遲升高。

總結

內(nèi)存碎片自動清理涉及內(nèi)存拷貝，這對 Redis 而言，是個潛在的風險。如果你在實踐過程中遇到 Redis 性能變慢，記得通過日志看下是否正在進行碎片清理。如果 Redis 的確正在清理碎片，那么，我建議你調(diào)小 active-defrag-cycle-max 的值，以減輕對正常請求處理的影響。

以上就是詳解如何清理Redis內(nèi)存碎片的詳細內(nèi)容，更多關于清理Redis內(nèi)存碎片的資料請關注腳本之家其它相關文章！

您可能感興趣的文章: