redis的bigkey掃描腳本深入介紹
前言
眾所周知，redis里面的大key存在是非常危險(xiǎn)的一件事情。因?yàn)樽罱墓ぷ鬓D(zhuǎn)移到中間件相關(guān)的工作，因此關(guān)注了一下bigkey的掃描方法。首先介紹一下阿里云提供的掃描腳本：
具體可見(jiàn)：https://yq.aliyun.com/articles/117042?t=t1
我對(duì)這個(gè)腳本進(jìn)行了一個(gè)壓力測(cè)試，在redis的內(nèi)存為15G，key的數(shù)量為2KW，ops為40K到80K之間，在這種情況下，阿里云的腳本完全不能跑成功(估計(jì)跑出來(lái)的時(shí)間以天為單位)，主要原因是每確認(rèn)一個(gè)key的情況，就需要與redis交互多次。因此，我對(duì)它的腳本進(jìn)行了改造，加入了pipeline和debug object方法，腳本如下：
import sys
import redis
def find_big_key_normal(db_host, db_port, db_password, db_num):
client = redis.StrictRedis(host=db_host, port=db_port, password=db_password, db=db_num)
i=0
temp = client.scan(cursor=i,count=1000)
j =0
while temp[0]>0 :
i=temp[0]
j=j+len(temp[1])
try:
r = client.pipeline(transaction=False)
for k in temp[1]:
r.debug_object(k)
tempA = r.execute()
x = 0
for key in tempA:
length = key.get("serializedlength")
##type = key.get("encoding")
if length > 10240 :
type = client.type(temp[1][x])
print temp[1][x], type,length
x=x+1
except :
print "a execption come"
temp = client.scan(cursor=i,count=1000)
if __name__ == '__main__':
if len(sys.argv) != 4:
print 'Usage: python ', sys.argv[0], ' host port password '
exit(1)
db_host = sys.argv[1]
db_port = sys.argv[2]
db_password = sys.argv[3]
r = redis.StrictRedis(host=db_host, port=int(db_port), password=db_password)
nodecount = 1
keyspace_info = r.info("keyspace")
for db in keyspace_info:
print 'check ', db, ' ', keyspace_info[db]
find_big_key_normal(db_host, db_port, db_password, db.replace("db", ""))
我對(duì)上面的腳本同樣進(jìn)行了一個(gè)壓力測(cè)試，在redis的內(nèi)存為15G，key的數(shù)量為2KW，ops為40K到80K之間，在這種情況下：
腳本10分鐘跑完，完全可用。
說(shuō)明：阿里云的腳本是支持cluster的，我這個(gè)腳本是只支持單機(jī)的，大家有興趣的可以自己去更改。
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，如果有疑問(wèn)大家可以留言交流，謝謝大家對(duì)腳本之家的支持。
相關(guān)文章
Redis數(shù)據(jù)備份與恢復(fù)方式的五種方式
本文主要介紹了Redis數(shù)據(jù)備份與恢復(fù)方式,包含了五種方式,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2024-07-07
這篇文章主要給大家介紹了關(guān)于Redis中Scan命令踩坑的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-07-07
這篇文章主要介紹了Redis的4種緩存模式分享，文章圍繞主題展開(kāi)詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，感興趣的小伙伴可以參考一下2022-07-07
redis集群搭建過(guò)程(非常詳細(xì),適合新手)
這篇文章主要介紹了redis集群搭建過(guò)程,Redis集群至少需要3個(gè)節(jié)點(diǎn)，因?yàn)橥镀比蒎e(cuò)機(jī)制要求超過(guò)半數(shù)節(jié)點(diǎn)認(rèn)為某個(gè)節(jié)點(diǎn)掛了該節(jié)點(diǎn)才是掛了，所以2個(gè)節(jié)點(diǎn)無(wú)法構(gòu)成集群,具體搭建過(guò)程跟隨小編一起看看吧2021-11-11
Redis?鍵值對(duì)(key-value)數(shù)據(jù)庫(kù)實(shí)現(xiàn)方法
Redis 的鍵值對(duì)中的 key 就是字符串對(duì)象,而 value 可以是字符串對(duì)象,也可以是集合數(shù)據(jù)類(lèi)型的對(duì)象,比如 List 對(duì)象,Hash 對(duì)象、Set 對(duì)象和 Zset 對(duì)象,這篇文章主要介紹了Redis?鍵值對(duì)數(shù)據(jù)庫(kù)是怎么實(shí)現(xiàn)的,需要的朋友可以參考下2024-05-05
Redis接口訪(fǎng)問(wèn)優(yōu)化的方法步驟
本文基于之前的Redis接口訪(fǎng)問(wèn)進(jìn)行優(yōu)化,引入了接口防抖功能,通過(guò)時(shí)間段參數(shù)限制接口調(diào)用頻率,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2024-10-10
CentOS系統(tǒng)下Redis安裝和自啟動(dòng)配置的步驟
相信大家都知道Redis是一個(gè)C實(shí)現(xiàn)的基于內(nèi)存、可持久化的鍵值對(duì)數(shù)據(jù)庫(kù)，在分布式服務(wù)中常作為緩存服務(wù)。所以這篇文章將詳細(xì)介紹在CentOS系統(tǒng)下如何從零開(kāi)始安裝到配置啟動(dòng)服務(wù)。有需要的可以參考借鑒。2016-09-09
Redis一般有Linux和Windows兩種安裝方式，本文就這兩種方式給大家詳細(xì)介紹，對(duì)java項(xiàng)目添加redis緩存相關(guān)知識(shí)，感興趣的朋友一起看看吧2021-05-05
緩存和數(shù)據(jù)庫(kù)如何保證數(shù)據(jù)的一致是個(gè)很經(jīng)典的問(wèn)題,這篇文章就來(lái)和大家一起探討一下Redis緩存與Mysql如何保證雙寫(xiě)一致,感興趣的小伙伴可以參考下2023-12-12
redis中5種數(shù)據(jù)基礎(chǔ)查詢(xún)命令
本文主要介紹了redis中5種數(shù)據(jù)基礎(chǔ)查詢(xún)命令，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-04-04