一、過期策略

1.1、定時(shí)刪除

1.1.1、過期

• Redis 所有的數(shù)據(jù)結(jié)構(gòu)都可以設(shè)置過期時(shí)間，時(shí)間一到，就會(huì)自動(dòng)刪除。
• 但是會(huì)不會(huì)因?yàn)橥粫r(shí)間太多的key 過期，以至于忙不過來。
• 同時(shí)因?yàn)镽edis 是單線程的，刪除的時(shí)間也會(huì)占用線程的處理時(shí)間，如果刪除的大過于繁忙，會(huì)不會(huì)導(dǎo)致線上讀寫指令出現(xiàn)卡頓。

1.1.2、過期的 key 集合

• redis 會(huì)將每個(gè)設(shè)置了過期時(shí)間的key 放入到一個(gè)獨(dú)立的字典中，以后會(huì)定時(shí)遍歷這個(gè)字典來刪除到期的 key。
• 除了定時(shí)遍歷之外，它還會(huì)使用惰性策略來刪除過期的 key，所謂惰性策略就是在客戶端訪問這個(gè) key 的時(shí)候，redis 對(duì) key 的過期時(shí)間進(jìn)行檢查，如果過期了就立即刪除。
• 定時(shí)刪除是集中處理，惰性刪除是零散處理。

1.1.3、定時(shí)掃描策略

Redis 默認(rèn)會(huì)每秒進(jìn)行十次過期掃描，過期掃描不會(huì)遍歷過期字典中所有的 key，而是采用了一種簡(jiǎn)單的貪心策略。

（1）、從過期字典中隨機(jī) 20 個(gè) key;

（2）、刪除這 20 個(gè) key 中已經(jīng)過期的 key;

（3）、 如果過期的 key 比率超過 1/4，那就重復(fù)步驟（1）;

1.1.4、 Redis 中所有的 key 在同一時(shí)間過期了，會(huì)出現(xiàn)怎樣的結(jié)果

• Redis 會(huì)持續(xù)掃描過期字典(循環(huán)多次)，直到過期字典中過期的key 變得稀疏，才會(huì)停止(循環(huán)次數(shù)明顯下降)。
• 這就會(huì)導(dǎo)致線上讀寫請(qǐng)求出現(xiàn)明顯的卡頓現(xiàn)象。導(dǎo)致這種卡頓的另外一種原因是內(nèi)存管理器需要頻繁回收內(nèi)存頁，這也會(huì)產(chǎn)生一定的 CPU 消耗。
• 所以業(yè)務(wù)開發(fā)人員一定要注意過期時(shí)間，如果有大批量的 key 過期，要給過期時(shí)間設(shè)置一個(gè)隨機(jī)范圍，而不能全部在同一時(shí)間過期。

1.1.5、從庫的過期策略

• 從庫不會(huì)進(jìn)行過期掃描，從庫對(duì)過期的處理是被動(dòng)的。主庫在 key 到期時(shí)，會(huì)在 AOF 文件里增加一條 del 指令，同步到所有的從庫，從庫通過執(zhí)行這條 del 指今來刪除過期的 key。
• 因?yàn)橹噶钔绞钱惒竭M(jìn)行的，所以主庫過期的key 的 del 指令沒有及時(shí)同步到從庫的話，會(huì)出現(xiàn)主從數(shù)據(jù)的不一致，主庫沒有的數(shù)據(jù)在從庫里還存在，比如上-節(jié)的集群環(huán)境分布式鎖的算法漏洞就是因?yàn)檫@個(gè)同步延遲產(chǎn)生的。

1.2、惰性刪除

• 所謂惰性策略就是在客戶端訪問這個(gè)kev的時(shí)候，redis對(duì)key的過期時(shí)間進(jìn)行檢查，如果過期了就立即刪除，不會(huì)給你返回任何東西。
• 定期刪除可能會(huì)導(dǎo)致很多過期kev到了時(shí)間并沒有被刪除。所以就有了惰性刪除。假如你的過期 key，靠定期刪除沒有被刪除掉，還停留在內(nèi)存里，除非你的系統(tǒng)去查一下那個(gè) key，才會(huì)被redis給刪除掉。
• 這就是所謂的惰性刪除，即當(dāng)你主動(dòng)去查過期的key時(shí),如果發(fā)現(xiàn)key過期了,就立即進(jìn)行刪除,不返回任何東西

1.3、定時(shí)刪除和惰性刪除的總結(jié)

• 定期刪除是集中處理，惰性刪除是零散處理。

二、緩存淘汰算法

2.1、緩存淘汰算法概述

2.1.1、概述

• 當(dāng) Redis 內(nèi)存超出物理內(nèi)存限制時(shí)，內(nèi)存的數(shù)據(jù)會(huì)開始和磁盤產(chǎn)生頻繁的交換(swap)。
• 交換會(huì)讓 Redis 的性能急劇下降，對(duì)于訪問量比較頻繁的 Redis 來說，這樣龜速的存取效率基本上等于不可用。

2.1.2、maxmemory

• 在生產(chǎn)環(huán)境中我們是不允許 Redis 出現(xiàn)交換行為的，為了限制最大使用內(nèi)存，Redis 提供了配置參數(shù)maxmemory 來限制內(nèi)存超出期望大小。
• 當(dāng)實(shí)際內(nèi)存超出 maxmemory 時(shí)，Redis 提供了幾種可選策略(maxmemory-policy) 來讓用戶自己決定該如何騰出新的空間以繼續(xù)提供讀寫服務(wù)。

2.2、緩存淘汰算法機(jī)制

2.2.1、Noeviction

• noeviction 不會(huì)繼續(xù)服務(wù)寫請(qǐng)求，(DEL 請(qǐng)求可以繼續(xù)服務(wù))，讀請(qǐng)求可以繼續(xù)進(jìn)行。
• 這樣可以保證不會(huì)丟失數(shù)據(jù)，但是會(huì)讓線上的業(yè)務(wù)不能持續(xù)進(jìn)行。這是默認(rèn)的淘汰策略.

2.2.2、volatile-Iru

• volatile-lru 嘗試淘汰設(shè)置了過期時(shí)間的key，最少使用的 key 優(yōu)先被淘汰。
• 沒有設(shè)置過期時(shí)間的 key 不會(huì)被淘汰，這樣可以保證需要持久化的數(shù)據(jù)不會(huì)突然丟失。

2.2.3、volatile-ttl

• voatie-ttl 跟上面一樣，除了淘汰的策略不是 LRU，而是key 的剩余壽命ttl的值，ttl 越小越優(yōu)先被淘汰

2.2.4、volatile-random

• volatile-random 跟上面一樣，不過淘汰的 key 是過期 key 集合中隨機(jī)的 key。

2.2.5、allkeys-lru

• allkeys-lru 區(qū)別于volatile-lru，這個(gè)策略要淘汰的 key 對(duì)象是全體的 key 集合，而不只是過期的 key 集合。
• 這意味著沒有設(shè)置過期時(shí)間的 key 也會(huì)被淘汰。

2.2.6、allkeys-random

• allkeys-random跟上面一樣，不過淘汰的策略是隨機(jī)的 key。

2.3、緩存淘汰算法總結(jié)

• volatile-xxx 策略只會(huì)針對(duì)帶過期時(shí)間的key 進(jìn)行淘汰。
• allkeys-xxx 策略會(huì)對(duì)所有的 key 進(jìn)行淘汰。
• 如果你只是拿 Redis 做緩存，那應(yīng)該使用 allkeys-xxx，客戶端寫緩存時(shí)不必?cái)y帶過期時(shí)間。
• 如果你還想同時(shí)使用 Redis 的持久化功能，那就使用 volatile-xxx 策略，這樣可以保留沒有設(shè)置過期時(shí)間的 key，它們是永久的 key 不會(huì)被LRU 算法淘汰。

2.4、LRU 算法概述

• 實(shí)現(xiàn) LRU 算法除了需要key/value 字典外，還需要附加一個(gè)鏈表，鏈表中的元素按照一定的順序進(jìn)行排列。當(dāng)空間滿的時(shí)候，會(huì)踢掉鏈表尾部的元素。當(dāng)字典的某個(gè)元素被訪問時(shí)，它在鏈表中的位置會(huì)被移動(dòng)到表頭。所以銷表的元素排列順序就是元素最近被訪問的時(shí)間順序。
• 位于鏈表尾部的元素就是不被重用的元素，所以會(huì)被踢掉。位于表頭的元素就是最近剛剛被人用過的元素，所以暫時(shí)不會(huì)被踢。

2.5、近似 LRU 算法概述

• Redis 使用的是一種近似 LRU 算法，它跟 LRU 算法還不太一樣。之所以不使用 LRU 算法，是因?yàn)樾枰拇罅康念~外的內(nèi)存，需要對(duì)現(xiàn)有的數(shù)據(jù)結(jié)構(gòu)進(jìn)行較大的改造。
• 近似LRU 算法則很簡(jiǎn)單，在現(xiàn)有數(shù)據(jù)結(jié)構(gòu)的基礎(chǔ)上使用隨機(jī)采樣法來淘汰元素，能達(dá)到和 LRU 算法非常近似的效果。Redis 為實(shí)現(xiàn)近似LRU 算法，它給每個(gè) key 增加了一個(gè)額外的小字段，這個(gè)字段的長(zhǎng)度是 24 個(gè) bit，也就是最后一次被訪問的時(shí)間戳。
• 當(dāng) Redis 執(zhí)行寫操作時(shí)，發(fā)現(xiàn)內(nèi)存超出maxmemory，就會(huì)執(zhí)行一次 LRU 淘汰算法。這個(gè)算法也很簡(jiǎn)單，就是隨機(jī)采樣出 5可以配置maxmemory-samples) 個(gè) key，然后淘汰掉最舊的 key，如果淘汰后內(nèi)存還是超出maxmemory，那就繼續(xù)隨機(jī)采樣淘汰，直到內(nèi)存低于 maxmemory 為止。

總結(jié)

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評(píng)論