快捷導(dǎo)航

Redis遍歷海量數(shù)據(jù)的實(shí)現(xiàn)示例

更新時(shí)間：2025年04月21日 09:10:12 作者：湯姆yu

本文主要介紹了 Redis遍歷海量數(shù)據(jù)的實(shí)現(xiàn)示例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

1、前言

有時(shí)候我們需要知道線上的redis的使用情況，尤其需要知道一些前綴的key值，讓我們?cè)趺慈ゲ榭茨?？今天給大家分享一個(gè)小知識(shí)點(diǎn)！

2、事故產(chǎn)生

因?yàn)槲覀兊挠脩魌oken緩存是采用了【user_token:userid】格式的key，保存用戶的token的值。我們運(yùn)維為了幫助開(kāi)發(fā)小伙伴們查一下線上現(xiàn)在有多少登錄用戶。

直接用了 keys user_token 方式進(jìn)行查詢，事故就此發(fā)生了。導(dǎo)致redis不可用，假死。

分析原因

我們線上的登錄用戶有幾百萬(wàn)，數(shù)據(jù)量比較多；keys算法是遍歷算法，復(fù)雜度是O(n)，也就是數(shù)據(jù)越多，時(shí)間復(fù)雜度越高。

數(shù)據(jù)量達(dá)到幾百萬(wàn)，keys這個(gè)指令就會(huì)導(dǎo)致 Redis 服務(wù)卡頓，因?yàn)?nbsp;Redis 是單線程程序，順序執(zhí)行所有指令，其它指令必須等到當(dāng)前的 keys 指令執(zhí)行完了才可以繼續(xù)。

解決方案

那我們?nèi)绾稳ケ闅v大數(shù)據(jù)量呢？這個(gè)也是面試經(jīng)常問(wèn)的。我們可以采用redis的另一個(gè)命令scan。

我們看一下scan的特點(diǎn)

1、復(fù)雜度雖然也是 O(n)，但是它是通過(guò)游標(biāo)分步進(jìn)行的，不會(huì)阻塞線程

2、提供 count 參數(shù)，不是結(jié)果數(shù)量，是redis單次遍歷字典槽位數(shù)量(約等于)

3、同 keys 一樣，它也提供模式匹配功能;

4、服務(wù)器不需要為游標(biāo)保存狀態(tài)，游標(biāo)的唯一狀態(tài)就是 scan 返回給客戶端的游標(biāo)整數(shù);

5、返回的結(jié)果可能會(huì)有重復(fù)，需要客戶端去重復(fù)，這點(diǎn)非常重要;

6、單次返回的結(jié)果是空的并不意味著遍歷結(jié)束，而要看返回的游標(biāo)值是否為零

一、scan命令格式

SCAN cursor [MATCH pattern] [COUNT count]

二、命令解釋

scan 游標(biāo) MATCH <返回和給定模式相匹配的元素> count 每次迭代所返回的元素?cái)?shù)量

SCAN命令是增量的循環(huán)，每次調(diào)用只會(huì)返回一小部分的元素。所以不會(huì)讓redis假死

SCAN命令返回的是一個(gè)游標(biāo)，從0開(kāi)始遍歷，到0結(jié)束遍歷

三、舉例

redis > scan 0 match user_token* count 5 
 1) "6"
 2) 1) "user_token:1000"
 2) "user_token:1001"
 3) "user_token:1010"
 4) "user_token:2300"
 5) "user_token:1389"

從0開(kāi)始遍歷，返回了游標(biāo)6，又返回了數(shù)據(jù)，繼續(xù)scan遍歷，就要從6開(kāi)始

redis > scan 6 match user_token* count 5 
 1) "10"
 2) 1) "user_token:3100"
 2) "user_token:1201"
 3) "user_token:1410"
 4) "user_token:5300"
 5) "user_token:3389"

3、總結(jié)

這個(gè)是面試經(jīng)常會(huì)問(wèn)到的，也是我們小伙伴在工作的過(guò)程經(jīng)常用的，一般小公司，不會(huì)有什么問(wèn)題，但數(shù)據(jù)量多的時(shí)候，你的操作方式不對(duì)，你的績(jī)效就會(huì)被扣哦，哈哈。

到此這篇關(guān)于 Redis遍歷海量數(shù)據(jù)的實(shí)現(xiàn)示例的文章就介紹到這了,更多相關(guān) Redis遍歷海量數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: