Redis如何高效刪除大key

更新時(shí)間：2024年04月03日 15:55:20 作者：3333333_

這篇文章主要介紹了Redis如何高效刪除大key問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教

大key的刪除問(wèn)題

大key（bigkey）是指 key 的 value 是個(gè)龐然大物，例如 Hashes, Sorted Sets, Lists, Sets，日積月累之后，會(huì)變得非常大，可能幾十上百M(fèi)B，甚至到GB。

如果對(duì)這類大key直接使用 del 命令進(jìn)行刪除，會(huì)導(dǎo)致長(zhǎng)時(shí)間阻塞，甚至崩潰。

因?yàn)?del 命令在刪除集合類型數(shù)據(jù)時(shí)，時(shí)間復(fù)雜度為 O(M)，M 是集合中元素的個(gè)數(shù)。

Redis 是單線程的，單個(gè)命令執(zhí)行時(shí)間過(guò)長(zhǎng)就會(huì)阻塞其他命令，容易引起雪崩。

解決方案

不可靠方案：

空閑時(shí)間刪除，如凌晨3-4點(diǎn)刪除

可靠方案：

漸進(jìn)式刪除
UNLINK (4.0版本以后)

1.漸進(jìn)式刪除

思路：

分批刪除，通過(guò) scan 命令遍歷大key，每次取得少部分元素，對(duì)其刪除，然后再獲取和刪除下一批元素。

示例：

刪除大 Hashes

步驟：

（1）key改名，相當(dāng)于邏輯上把這個(gè)key刪除了，任何redis命令都訪問(wèn)不到這個(gè)key了

（2）小步多批次的刪除

偽代碼：

# key改名
newkey = "gc:hashes:" + redis.INCR( "gc:index" )
redis.RENAME("my.hash.key", newkey)
 
# 每次取出100個(gè)元素刪除
cursor = 0
loop
  cursor, hash_keys = redis.HSCAN(newkey, cursor, "COUNT", 100)
  if hash_keys count > 0
    redis.HDEL(newkey, hash_keys)
  end
  if cursor == 0
    break
  end
end

刪除大 Lists

偽代碼：

# key改名
newkey = "gc:hashes:" + redis.INCR("gc:index")
redis.RENAME("my.list.key", newkey)
 
# 刪除
while redis.LLEN(newkey) > 0
  redis.LTRIM(newkey, 0, -99)
end

刪除大 Sets

偽代碼：

# key改名
newkey = "gc:hashes:" + redis.INCR("gc:index")
redis.RENAME("my.set.key", newkey)
 
# 每次刪除100個(gè)成員
cursor = 0
loop
  cursor, members = redis.SSCAN(newkey, cursor, "COUNT", 100)
  if size of members > 0
    redis.SREM(newkey, members)
  end
  if cursor == 0
    break
  end
end

刪除大 Sorted Sets

偽代碼：

# key改名
newkey = "gc:hashes:" + redis.INCR("gc:index")
redis.RENAME("my.zset.key", newkey)
 
# 刪除
while redis.ZCARD(newkey) > 0
  redis.ZREMRANGEBYRANK(newkey, 0, 99)
end