Redis排查大key的3種方法小結(jié)
在日常Redis的使用中，難免遇到因?yàn)?key 存儲了過大的數(shù)據(jù)而造成請求緩慢甚至阻塞的情況，這個時候就需要排查 Redis 的大key去優(yōu)化業(yè)務(wù)了，下面提供一些排查方案總結(jié)，僅供參考。
一、多大的 key 算大呢？
Redis 實(shí)踐總結(jié)（僅供參考）：
合理的 Key 中 Value 的字節(jié)大小，推薦小于 10 KB。
過大的 Value 會引發(fā)數(shù)據(jù)傾斜、熱點(diǎn)Key、實(shí)例流量或 CPU 性能被占滿等問題，應(yīng)從設(shè)計(jì)源頭上避免此類問題帶來的性能影響。
那么 value Bytes > 10 kb 可以作為判斷 大 key 的一個參考值。
二、排查大 key 的方法
1、使用命令 --bigkeys
--bigkeys 是 redis 自帶的命令，對整個 Key 進(jìn)行掃描，統(tǒng)計(jì) string，list，set，zset，hash 這幾個常見數(shù)據(jù)類型中每種類型里的最大的 key。
string 類型統(tǒng)計(jì)的是 value 的字節(jié)數(shù)；另外 4 種復(fù)雜結(jié)構(gòu)的類型統(tǒng)計(jì)的是元素個數(shù)，不能直觀的看出 value 占用字節(jié)數(shù)，所以 --bigkeys 對分析 string 類型的大 key 是有用的，而復(fù)雜結(jié)構(gòu)的類型還需要一些第三方工具。
注：元素個數(shù)少，不一定 value 不大；元素個數(shù)多，也不一定 value 就大
redis-cli -h 127.0.0.1 -p 6379 -a "password" --bigkeys
--bigkeys 是以 scan 延遲計(jì)算的方式掃描所有 key，因此執(zhí)行過程中不會阻塞 redis，但實(shí)例存在大量的 keys 時，命令執(zhí)行的時間會很長，這種情況建議在 slave 上掃描。
–-bigkeys 其實(shí)就是找出類型中最大的 key，最大的 key 不一定是大 key，最大的 key 都不超過 10kb 的話，說明不存在大 key。
但某種類型如果存在較多的大key (>10kb)，只會統(tǒng)計(jì) top1 的那個 key，如果要統(tǒng)計(jì)所有大于 10kb 的 key，需要用第三方工具掃描 rdb 持久化文件。
2、使用 memory 命令查看 key 的大?。▋H支持 Redis 4.0 以后的版本）
redis-cli -h 127.0.0.1 -p 6379 -a password MEMORY USAGE keyname1 (integer) 157481 MEMORY USAGE keyname2 (integer) 312583
3、使用 Rdbtools 工具包
Rdbtools 是 python寫的 一個第三方開源工具，用來解析 Redis 快照文件。除了解析 rdb 文件，還提供了統(tǒng)計(jì)單個 key 大小的工具。
1、安裝
git clone https://github.com/sripathikrishnan/redis-rdb-tools cd redis-rdb-tools sudo && python setup.py install
2、使用
從 dump.rdb 快照文件統(tǒng)計(jì), 將所有 > 10kb 的 key 輸出到一個 csv 文件
rdb dump.rdb -c memory --bytes 10240 -f live_redis.csv
到此這篇關(guān)于Redis排查大key的3種方法小結(jié)的文章就介紹到這了,更多相關(guān)Redis排查大key內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Redis實(shí)現(xiàn)好友關(guān)注的示例代碼
本文主要介紹了Redis實(shí)現(xiàn)好友關(guān)注的示例代碼，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-01-01
基于Redis實(shí)現(xiàn)API接口訪問次數(shù)限制
日常開發(fā)中會有一個常見的需求,需要限制接口在單位時間內(nèi)的訪問次數(shù),比如說某個免費(fèi)的接口限制單個IP一分鐘內(nèi)只能訪問5次,該怎么實(shí)現(xiàn)呢,本文小編給大家介紹了如何基于Redis實(shí)現(xiàn)API接口訪問次數(shù)限制,需要的朋友可以參考下2024-11-11
詳解redis數(shù)據(jù)結(jié)構(gòu)之壓縮列表
這篇文章主要介紹了詳解redis數(shù)據(jù)結(jié)構(gòu)之壓縮列表的相關(guān)資料，壓縮列表在redis中的結(jié)構(gòu)體名稱為ziplist，其是redis為了節(jié)約內(nèi)存而聲明的一種數(shù)據(jù)結(jié)構(gòu),需要的朋友可以參考下2017-05-05
Redis中Zset類型常用命令的實(shí)現(xiàn)
Zset是Redis的一種有序集合數(shù)據(jù)類型,Zset通過壓縮列表和跳躍表兩種底層編碼方式支持小數(shù)據(jù)集和大數(shù)據(jù)集,支持多種操作,包括添加、查詢、刪除元素以及集合運(yùn)算等,具有不同的時間復(fù)雜度,感興趣的可以了解一下2024-10-10
這篇文章主要介紹了redission分布式鎖防止重復(fù)初始化問題,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-11-11
Jedis操作Redis實(shí)現(xiàn)模擬驗(yàn)證碼發(fā)送功能
Redis是一個著名的key-value存儲系統(tǒng)，也是nosql中的最常見的一種，這篇文章主要給大家介紹Jedis操作Redis實(shí)現(xiàn)模擬驗(yàn)證碼發(fā)送功能，感興趣的朋友一起看看吧2021-09-09
Redis KEYS查詢大批量數(shù)據(jù)替代方案
在使用 Redis 時,KEYS 命令雖然簡單直接,但其全表掃描的特性在處理大規(guī)模數(shù)據(jù)時會導(dǎo)致性能問題,甚至可能阻塞 Redis 服務(wù),本文將介紹SCAN命令、有序集合、哈希表和RediSearch模塊四種替代 KEYS 的高效方案,需要的朋友可以參考下2024-12-12
Redis實(shí)現(xiàn)排行榜及相同積分按時間排序功能的實(shí)現(xiàn)
這篇文章主要介紹了Redis實(shí)現(xiàn)排行榜及相同積分按時間排序,本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-08-08
Redis提供了兩種主要的持久化方式：RDB和AOF,RDB通過定時快照的方式保存數(shù)據(jù)狀態(tài),而AOF記錄每個寫操作以便于重啟時重放,兩者可以結(jié)合使用,且在重啟時AOF文件會被優(yōu)先用于數(shù)據(jù)恢復(fù),RDB快照具有速度快、節(jié)省磁盤空間的優(yōu)點(diǎn),但可能會丟失最近的數(shù)據(jù)2024-10-10
Redis使用ZSET實(shí)現(xiàn)消息隊(duì)列的項(xiàng)目實(shí)踐
本文主要介紹了Redis使用ZSET實(shí)現(xiàn)消息隊(duì)列的項(xiàng)目實(shí)踐，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07