Redis刪除策略的三種方法及逐出算法
一、前言
在文章開始之前,我先問大家一個(gè)問題:當(dāng)我們使用指令:expire key second
給一個(gè)key設(shè)置過期時(shí)間,過期時(shí)間一到,這個(gè)key對(duì)應(yīng)的過期數(shù)據(jù)
真的被服務(wù)器立即刪除了嗎?答案是并不會(huì)立即刪除。知道了這個(gè)答案,就來看看Redis中如何處理過期的數(shù)據(jù)。
二、Redis中的數(shù)據(jù)特征
Redis是一種內(nèi)存級(jí)數(shù)據(jù)庫,所有數(shù)據(jù)均存放在內(nèi)存中,內(nèi)存中的數(shù)據(jù)可以通過TTL指令獲取其狀態(tài),有三種狀態(tài):
指令結(jié)果 | 狀態(tài) |
---|---|
XX | 具有時(shí)效性的數(shù)據(jù) |
-1 | 永久有效的數(shù)據(jù) |
-2 | 已經(jīng)過期的數(shù)據(jù) 或 被刪除的數(shù)據(jù) 或 未定義的數(shù)據(jù) |
三、時(shí)效性數(shù)據(jù)儲(chǔ)存結(jié)構(gòu)
當(dāng)我們用指令設(shè)置過期數(shù)據(jù)后,數(shù)據(jù)對(duì)應(yīng)的地址會(huì)放在expires空間中,存儲(chǔ)方式是哈希,存儲(chǔ)的value是過期時(shí)間。
四、數(shù)據(jù)刪除策略
數(shù)據(jù)刪除策略目標(biāo):
在內(nèi)存占用與CPU占用之間尋找一種平衡,顧此失彼都會(huì)造成整體redis性能的下降,甚至引發(fā)服務(wù)器宕機(jī)或內(nèi)存泄露
1、定時(shí)刪除
- 創(chuàng)建一個(gè)定時(shí)器,當(dāng)key設(shè)置有過期時(shí)間,且過期時(shí)間到達(dá)時(shí),由定時(shí)器任務(wù)立即執(zhí)行對(duì)鍵的刪除操作
- 優(yōu)點(diǎn):節(jié)約內(nèi)存,到時(shí)就刪除,快速釋放掉不必要的內(nèi)存占用
- 缺點(diǎn):CPU壓力很大,無論CPU此時(shí)負(fù)載量多高,均占用CPU,會(huì)影響redis服務(wù)器響應(yīng)時(shí)間和指令吞吐量
2、惰性刪除
- 數(shù)據(jù)到達(dá)過期時(shí)間,不做處理。等下次訪問該數(shù)據(jù)時(shí),會(huì)調(diào)用
expireIfNeeded()
函數(shù)來判斷該數(shù)據(jù)是否過期: 如果未過期,返回?cái)?shù)據(jù),發(fā)現(xiàn)已過期,刪除,返回不存在 - 優(yōu)點(diǎn):節(jié)約CPU性能,發(fā)現(xiàn)必須刪除的時(shí)候才刪除
- 缺點(diǎn):內(nèi)存壓力很大,出現(xiàn)長(zhǎng)期占用內(nèi)存的數(shù)據(jù)
3、定期刪除
流程分析:
- Redis服務(wù)器啟動(dòng)初始化時(shí),讀取配置server.hz的值,默認(rèn)為10
- 然后每秒鐘執(zhí)行10次
serverCron()
方法,該方法用來檢測(cè)服務(wù)器 serverCron()
方法又會(huì)調(diào)用databasesCron()
方法,該方法是用來遍歷數(shù)據(jù)庫的,redis默認(rèn)有16個(gè)數(shù)據(jù)庫,從第一個(gè)數(shù)據(jù)庫開始databasesCron()
方法又會(huì)調(diào)用activeExpireCycle()
方法,該方法會(huì)對(duì)每一個(gè)expires[*]
逐一進(jìn)行檢測(cè),每次執(zhí)行250ms/server.hz;對(duì)某個(gè)expires[*]
檢測(cè)時(shí),隨機(jī)挑選W個(gè)key檢測(cè)- 如果檢測(cè)到key超時(shí),則刪除key;如果一輪中刪除的key的數(shù)量>W25%,循環(huán)該過程;如果一輪中刪除的key的數(shù)量≤W25%,檢查下一個(gè)
expires[*]
,0-15循環(huán)。其中W取值=ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP屬性值 - 如果activeExpireCycle()執(zhí)行時(shí)間到期,下次從current_db繼續(xù)向下執(zhí)行
- 參數(shù)current_db用于記錄activeExpireCycle() 進(jìn)入哪個(gè)expires[*] 執(zhí)行
總結(jié):
周期性輪詢r(jià)edis庫中的時(shí)效性數(shù)據(jù),采用隨機(jī)抽取的策略,利用過期數(shù)據(jù)占比的方式控制刪除頻度- 內(nèi)存壓力不是很大,長(zhǎng)期占用內(nèi)存的冷數(shù)據(jù)會(huì)被持續(xù)清理
五、刪除策略對(duì)比
定時(shí)刪除 | 節(jié)約內(nèi)存,無占用 | 不分時(shí)段占用CPU資源,頻度高 | 拿時(shí)間換空間 |
---|---|---|---|
惰性刪除 | 內(nèi)存占用嚴(yán)重 | 延時(shí)執(zhí)行,CPU利用率高 | 拿空間換時(shí)間 |
定期刪除 | 內(nèi)存定期隨機(jī)清理 | 每秒花費(fèi)固定的CPU資源維護(hù)內(nèi)存 | 隨機(jī)抽查,重點(diǎn)抽查 |
六、逐出算法
1、概念引入
當(dāng)新數(shù)據(jù)進(jìn)入redis時(shí),如果內(nèi)存不足怎么辦?Redis使用內(nèi)存存儲(chǔ)數(shù)據(jù),在執(zhí)行每一個(gè)命令前,會(huì)調(diào)用freeMemoryIfNeeded()
檢測(cè)內(nèi)存是否充足。如果內(nèi)存不滿足新加入數(shù)據(jù)的最低存儲(chǔ)要求,redis要臨時(shí)刪除一些數(shù)據(jù)為當(dāng)前指令清理存儲(chǔ)空間。清理數(shù)據(jù)的策略稱為逐出算法。
注意:逐出數(shù)據(jù)的過程不是100%能夠清理出足夠的可使用的內(nèi)存空間,如果不成功則反復(fù)執(zhí)行。當(dāng)對(duì)所有數(shù)據(jù)嘗試完畢后,如果不能達(dá)到內(nèi)存清理的要求,將出現(xiàn)錯(cuò)誤信息。
2、八種配置
檢測(cè)易失數(shù)據(jù)(可能會(huì)過期的數(shù)據(jù)集server.db[i].expires
)
volatile-lru | 挑選最近最少使用的數(shù)據(jù)淘汰 |
---|---|
volatile-lfu | 挑選最近使用次數(shù)最少的數(shù)據(jù)淘汰 |
volatile-ttl | 挑選將要過期的數(shù)據(jù)淘汰 |
volatile-random | 任意選擇數(shù)據(jù)淘汰 |
檢測(cè)全庫數(shù)據(jù)(所有數(shù)據(jù)集server.db[i].dict
)
allkeys-lru | 挑選最近最少使用的數(shù)據(jù)淘汰 |
---|---|
allkeys-lfu | 挑選最近使用次數(shù)最少的數(shù)據(jù)淘汰 |
allkeys-random | 任意選擇數(shù)據(jù)淘汰 |
放棄數(shù)據(jù)驅(qū)逐:
no-enviction | 禁止驅(qū)逐數(shù)據(jù)(redis4.0中默認(rèn)策略) |
---|
到此這篇關(guān)于Redis刪除策略的三種方法及逐出算法的文章就介紹到這了,更多相關(guān)Redis刪除策略內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Redis實(shí)現(xiàn)用戶關(guān)注的項(xiàng)目實(shí)踐
本文主要介紹了Redis實(shí)現(xiàn)用戶關(guān)注的項(xiàng)目實(shí)踐,通過使用Redis的set數(shù)據(jù)結(jié)構(gòu)來存儲(chǔ)關(guān)注對(duì)象,方便高效地進(jìn)行添加和取消關(guān)注操作,具有一定的參考價(jià)值,感興趣的可以了解一下2024-02-02讓Redis在你的系統(tǒng)中發(fā)揮更大作用的幾點(diǎn)建議
Redis在很多方面與其他數(shù)據(jù)庫解決方案不同:它使用內(nèi)存提供主存儲(chǔ)支持,而僅使用硬盤做持久性的存儲(chǔ);它的數(shù)據(jù)模型非常獨(dú)特,用的是單線程。另一個(gè)大區(qū)別在于,你可以在開發(fā)環(huán)境中使用Redis的功能,但卻不需要轉(zhuǎn)到Redis2014-06-06Redis為什么默認(rèn)有16個(gè)數(shù)據(jù)庫問題
這篇文章主要介紹了Redis為什么默認(rèn)有16個(gè)數(shù)據(jù)庫問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-02-02Django使用Redis進(jìn)行緩存詳細(xì)步驟
這篇文章主要介紹了Django使用Redis進(jìn)行緩存詳細(xì)流程,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-08-08從MySQL到Redis的簡(jiǎn)單數(shù)據(jù)庫遷移方法
這篇文章主要介紹了從MySQL到Redis的簡(jiǎn)單數(shù)據(jù)庫遷移方法,注意Redis數(shù)據(jù)庫基于內(nèi)存,并不能代替?zhèn)鹘y(tǒng)數(shù)據(jù)庫,需要的朋友可以參考下2015-06-06