Redis刪除策略的三種方法及逐出算法
一、前言
在文章開始之前,我先問大家一個問題:當(dāng)我們使用指令:expire key second
給一個key設(shè)置過期時間,過期時間一到,這個key對應(yīng)的過期數(shù)據(jù)
真的被服務(wù)器立即刪除了嗎?答案是并不會立即刪除。知道了這個答案,就來看看Redis中如何處理過期的數(shù)據(jù)。
二、Redis中的數(shù)據(jù)特征
Redis是一種內(nèi)存級數(shù)據(jù)庫,所有數(shù)據(jù)均存放在內(nèi)存中,內(nèi)存中的數(shù)據(jù)可以通過TTL指令獲取其狀態(tài),有三種狀態(tài):
指令結(jié)果 | 狀態(tài) |
---|---|
XX | 具有時效性的數(shù)據(jù) |
-1 | 永久有效的數(shù)據(jù) |
-2 | 已經(jīng)過期的數(shù)據(jù) 或 被刪除的數(shù)據(jù) 或 未定義的數(shù)據(jù) |
三、時效性數(shù)據(jù)儲存結(jié)構(gòu)
當(dāng)我們用指令設(shè)置過期數(shù)據(jù)后,數(shù)據(jù)對應(yīng)的地址會放在expires空間中,存儲方式是哈希,存儲的value是過期時間。
四、數(shù)據(jù)刪除策略
數(shù)據(jù)刪除策略目標:
在內(nèi)存占用與CPU占用之間尋找一種平衡,顧此失彼都會造成整體redis性能的下降,甚至引發(fā)服務(wù)器宕機或內(nèi)存泄露
1、定時刪除
- 創(chuàng)建一個定時器,當(dāng)key設(shè)置有過期時間,且過期時間到達時,由定時器任務(wù)立即執(zhí)行對鍵的刪除操作
- 優(yōu)點:節(jié)約內(nèi)存,到時就刪除,快速釋放掉不必要的內(nèi)存占用
- 缺點:CPU壓力很大,無論CPU此時負載量多高,均占用CPU,會影響redis服務(wù)器響應(yīng)時間和指令吞吐量
2、惰性刪除
- 數(shù)據(jù)到達過期時間,不做處理。等下次訪問該數(shù)據(jù)時,會調(diào)用
expireIfNeeded()
函數(shù)來判斷該數(shù)據(jù)是否過期: 如果未過期,返回數(shù)據(jù),發(fā)現(xiàn)已過期,刪除,返回不存在 - 優(yōu)點:節(jié)約CPU性能,發(fā)現(xiàn)必須刪除的時候才刪除
- 缺點:內(nèi)存壓力很大,出現(xiàn)長期占用內(nèi)存的數(shù)據(jù)
3、定期刪除
流程分析:
- Redis服務(wù)器啟動初始化時,讀取配置server.hz的值,默認為10
- 然后每秒鐘執(zhí)行10次
serverCron()
方法,該方法用來檢測服務(wù)器 serverCron()
方法又會調(diào)用databasesCron()
方法,該方法是用來遍歷數(shù)據(jù)庫的,redis默認有16個數(shù)據(jù)庫,從第一個數(shù)據(jù)庫開始databasesCron()
方法又會調(diào)用activeExpireCycle()
方法,該方法會對每一個expires[*]
逐一進行檢測,每次執(zhí)行250ms/server.hz;對某個expires[*]
檢測時,隨機挑選W個key檢測- 如果檢測到key超時,則刪除key;如果一輪中刪除的key的數(shù)量>W25%,循環(huán)該過程;如果一輪中刪除的key的數(shù)量≤W25%,檢查下一個
expires[*]
,0-15循環(huán)。其中W取值=ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP屬性值 - 如果activeExpireCycle()執(zhí)行時間到期,下次從current_db繼續(xù)向下執(zhí)行
- 參數(shù)current_db用于記錄activeExpireCycle() 進入哪個expires[*] 執(zhí)行
總結(jié):
周期性輪詢redis庫中的時效性數(shù)據(jù),采用隨機抽取的策略,利用過期數(shù)據(jù)占比的方式控制刪除頻度- 內(nèi)存壓力不是很大,長期占用內(nèi)存的冷數(shù)據(jù)會被持續(xù)清理
五、刪除策略對比
定時刪除 | 節(jié)約內(nèi)存,無占用 | 不分時段占用CPU資源,頻度高 | 拿時間換空間 |
---|---|---|---|
惰性刪除 | 內(nèi)存占用嚴重 | 延時執(zhí)行,CPU利用率高 | 拿空間換時間 |
定期刪除 | 內(nèi)存定期隨機清理 | 每秒花費固定的CPU資源維護內(nèi)存 | 隨機抽查,重點抽查 |
六、逐出算法
1、概念引入
當(dāng)新數(shù)據(jù)進入redis時,如果內(nèi)存不足怎么辦?Redis使用內(nèi)存存儲數(shù)據(jù),在執(zhí)行每一個命令前,會調(diào)用freeMemoryIfNeeded()
檢測內(nèi)存是否充足。如果內(nèi)存不滿足新加入數(shù)據(jù)的最低存儲要求,redis要臨時刪除一些數(shù)據(jù)為當(dāng)前指令清理存儲空間。清理數(shù)據(jù)的策略稱為逐出算法。
注意:逐出數(shù)據(jù)的過程不是100%能夠清理出足夠的可使用的內(nèi)存空間,如果不成功則反復(fù)執(zhí)行。當(dāng)對所有數(shù)據(jù)嘗試完畢后,如果不能達到內(nèi)存清理的要求,將出現(xiàn)錯誤信息。
2、八種配置
檢測易失數(shù)據(jù)(可能會過期的數(shù)據(jù)集server.db[i].expires
)
volatile-lru | 挑選最近最少使用的數(shù)據(jù)淘汰 |
---|---|
volatile-lfu | 挑選最近使用次數(shù)最少的數(shù)據(jù)淘汰 |
volatile-ttl | 挑選將要過期的數(shù)據(jù)淘汰 |
volatile-random | 任意選擇數(shù)據(jù)淘汰 |
檢測全庫數(shù)據(jù)(所有數(shù)據(jù)集server.db[i].dict
)
allkeys-lru | 挑選最近最少使用的數(shù)據(jù)淘汰 |
---|---|
allkeys-lfu | 挑選最近使用次數(shù)最少的數(shù)據(jù)淘汰 |
allkeys-random | 任意選擇數(shù)據(jù)淘汰 |
放棄數(shù)據(jù)驅(qū)逐:
no-enviction | 禁止驅(qū)逐數(shù)據(jù)(redis4.0中默認策略) |
---|
到此這篇關(guān)于Redis刪除策略的三種方法及逐出算法的文章就介紹到這了,更多相關(guān)Redis刪除策略內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
讓Redis在你的系統(tǒng)中發(fā)揮更大作用的幾點建議
Redis在很多方面與其他數(shù)據(jù)庫解決方案不同:它使用內(nèi)存提供主存儲支持,而僅使用硬盤做持久性的存儲;它的數(shù)據(jù)模型非常獨特,用的是單線程。另一個大區(qū)別在于,你可以在開發(fā)環(huán)境中使用Redis的功能,但卻不需要轉(zhuǎn)到Redis2014-06-06從MySQL到Redis的簡單數(shù)據(jù)庫遷移方法
這篇文章主要介紹了從MySQL到Redis的簡單數(shù)據(jù)庫遷移方法,注意Redis數(shù)據(jù)庫基于內(nèi)存,并不能代替?zhèn)鹘y(tǒng)數(shù)據(jù)庫,需要的朋友可以參考下2015-06-06