Redis KEYS查詢大批量數(shù)據(jù)替代方案
前言
在使用 Redis 時(shí),KEYS 命令雖然簡(jiǎn)單直接,但其全表掃描的特性在處理大規(guī)模數(shù)據(jù)時(shí)會(huì)導(dǎo)致性能問題,甚至可能阻塞 Redis 服務(wù)。本文將介紹SCAN命令、有序集合、哈希表和RediSearch模塊四種替代 KEYS 的高效方案,以應(yīng)對(duì)大批量數(shù)據(jù)的查詢和管理。根據(jù)本人實(shí)際使用情況,查詢Redis大批量數(shù)據(jù)的情況下推薦使用SCAN命令較好。
KEYS命令問題背景
KEYS 命令會(huì)遍歷整個(gè)鍵空間,對(duì)于包含大量鍵的 Redis 實(shí)例,這可能導(dǎo)致以下問題:
高延遲:執(zhí)行時(shí)間較長(zhǎng),影響其他命令的響應(yīng)速度。
阻塞 Redis:在單線程模型下,KEYS 會(huì)阻塞 Redis 服務(wù)器,導(dǎo)致其他操作無法及時(shí)處理。
內(nèi)存消耗:返回所有匹配的鍵可能會(huì)占用大量?jī)?nèi)存。
因此,在生產(chǎn)環(huán)境中應(yīng)盡量避免使用 KEYS 命令。
替代方案
1.使用 SCAN 命令
理論介紹
SCAN 是一個(gè)增量迭代器,可以分批逐步遍歷鍵空間,避免一次性加載所有鍵。它支持游標(biāo)(cursor)機(jī)制,允許用戶通過多次調(diào)用來完成完整的遍歷。
優(yōu)點(diǎn)
非阻塞:不會(huì)阻塞 Redis 服務(wù)器,適合在線環(huán)境。
低資源消耗:每次只返回少量鍵,減少內(nèi)存壓力。
缺點(diǎn)
結(jié)果集不固定:SCAN 的結(jié)果集不是固定的,可能會(huì)有重復(fù)或遺漏的鍵,特別是在鍵頻繁變化的情況下。
額外參數(shù):需要合理設(shè)置 COUNT 參數(shù)以平衡遍歷速度和資源消耗。
示例代碼
/** * scan命令測(cè)試 * @author senfel * @date 2024/12/26 11:34 * @return void */ @Test public void scan() { try (Jedis jedis = new Jedis("localhost", 6379)) { String cursor = "0"; ScanParams scanParams = new ScanParams().match("sys_dict:*").count(100); do { ScanResult<String> scanResult = jedis.scan(cursor, scanParams); for (String key : scanResult.getResult()) { System.out.println("Found key: " + key); } cursor = scanResult.getCursor(); } while (!cursor.equals("0")); } }
2. 使用有序集合(Sorted Set)
理論介紹
如果需要對(duì)鍵進(jìn)行排序或范圍查詢,可以考慮將鍵存儲(chǔ)在有序集合中,并為每個(gè)鍵分配一個(gè)唯一的分?jǐn)?shù)(score)。這樣可以通過 ZRANGE 或 ZREVRANGE 等命令高效地獲取指定范圍內(nèi)的鍵。
優(yōu)點(diǎn)
高效查詢:支持快速的范圍查詢和排序。
靈活性:可以根據(jù)業(yè)務(wù)需求調(diào)整分?jǐn)?shù)規(guī)則。
缺點(diǎn)
額外開銷:需要維護(hù)有序集合,增加了寫入操作的復(fù)雜度。
示例代碼
/** * sortSet * @author senfel * @date 2024/12/26 11:51 * @return void */ @Test public void sortSet() { try (Jedis jedis = new Jedis("localhost", 6379)) { // 添加鍵到有序集合 for (int i = 0; i < 100; i++) { jedis.zadd("sorted_keys", System.currentTimeMillis(), "senfel"+i); } // 獲取前 10 個(gè)鍵 Set<String> keys = jedis.zrange("sorted_keys", 0, 9); for (String key : keys) { System.out.println("Key from sorted set: " + key); } } }
3. 使用哈希(Hash)
理論介紹
如果鍵具有相似的結(jié)構(gòu)或?qū)儆谕活惸?,可以將它們存?chǔ)在一個(gè)哈希表中,每個(gè)字段代表一個(gè)鍵。這樣可以通過 HGETALL 或 HSCAN 來批量獲取相關(guān)鍵。
優(yōu)點(diǎn)
集中管理:便于批量操作和維護(hù)。
高效訪問:哈希表提供了 O(1) 的查找性能。
缺點(diǎn)
適用范圍有限:適用于鍵具有相同前綴或分類的情況。
示例代碼
/** * useHash * @author senfel * @date 2024/12/26 11:55 * @return void */ @Test public void useHash() { try (Jedis jedis = new Jedis("localhost", 6379)) { for (int i = 0; i < 100; i++) { // 添加鍵到哈希表 jedis.hset("user_data", "name"+i, "senfel"+i); } // 獲取所有鍵值對(duì) Map<String, String> userData = jedis.hgetAll("user_data"); for (Map.Entry<String, String> entry : userData.entrySet()) { System.out.println("User data: " + entry.getKey() + " -> " + entry.getValue()); } } }
4. 使用 Redis 模塊(如 RediSearch)
理論介紹
Redis 模塊擴(kuò)展了 Redis 的功能,其中 RediSearch 提供了全文搜索和索引功能,能夠高效地管理和查詢大量數(shù)據(jù)。它支持復(fù)雜的查詢語(yǔ)法和過濾條件。
RediSearch安裝推薦使用Docker
docker run --name redisearch -p 16379:6379 -v redis-data:/data redis/redis-stack-server:latest
優(yōu)點(diǎn)
強(qiáng)大查詢能力:支持全文搜索、模糊匹配等高級(jí)查詢。
高性能:優(yōu)化的索引結(jié)構(gòu)保證了高效的查詢性能。
缺點(diǎn)
依賴外部模塊:需要安裝和配置 Redis 模塊。
學(xué)習(xí)成本:API 和配置相對(duì)復(fù)雜,需要一定的時(shí)間熟悉。
maven依賴
<dependency> <groupId>com.redislabs</groupId> <artifactId>jredisearch</artifactId> <version>2.0.0</version> </dependency>
示例代碼
/** * useRediSearch 未安裝RediSearch未測(cè)試 * @author senfel * @date 2024/12/26 12:26 * @return void */ @Test public void useRediSearch() { Client client = Client.create("localhost", 6379).connect(); // 創(chuàng)建索引并添加文檔 client.ftCreate("idx", Schema.newBuilder() .addField(new TextField("title")) .addField(new TextField("content")) .build()); client.ftAdd("idx", "doc1", 1.0, Document.newDocument() .addField("title", "Redis Search") .addField("content", "Learn how to use Redis Search")); // 查詢文檔 SearchResult result = client.ftSearch("idx", new Query("Redis")); for (Document doc : result.documents()) { System.out.println("Found document: " + doc.getId()); } client.close(); }
總結(jié)
綜上所述,Redis 大批量數(shù)據(jù)解決方案目前有SCAN命令、有序集合、哈希表、RediSearch擴(kuò)展模塊。一般對(duì)于Redis 大批量鍵遍歷可以使用非阻塞低資源消耗的SCAN 命令,對(duì)于需要排序或范圍查詢的場(chǎng)景則使用有序集合,對(duì)于鍵具有相同前綴或分類的情況可以使用哈希表,如果需要全文搜索或復(fù)雜查詢則可以使用高性能強(qiáng)大查詢能力的RediSearch。
以上就是Redis KEYS查詢大批量數(shù)據(jù)替代方案的詳細(xì)內(nèi)容,更多關(guān)于Redis KEYS數(shù)據(jù)替代方案的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
在ssm項(xiàng)目中使用redis緩存查詢數(shù)據(jù)的方法
本文主要簡(jiǎn)單的使用Java代碼進(jìn)行redis緩存,即在查詢的時(shí)候先在service層從redis緩存中獲取數(shù)據(jù)。如果大家對(duì)在ssm項(xiàng)目中使用redis緩存查詢數(shù)據(jù)的相關(guān)知識(shí)感興趣的朋友跟隨腳本之家小編一起看看吧2018-03-03k8s部署redis cluster集群的實(shí)現(xiàn)
在Kubernetes中部署Redis集群面臨挑戰(zhàn),因?yàn)槊總€(gè)Redis實(shí)例都依賴于一個(gè)配置文件,該文件可以跟蹤其他集群實(shí)例及其角色。需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-06-06Linux下安裝Redis 6.0.5的實(shí)現(xiàn)
本文詳細(xì)介紹了在Linux系統(tǒng)下安裝Redis 6.0.5的步驟,包括安裝準(zhǔn)備、編譯安裝、啟動(dòng)服務(wù)、設(shè)置密碼和配置文件修改等,具有一定的參考價(jià)值,感興趣的可以了解一下2025-02-02Redis報(bào)錯(cuò)“NOAUTH Authentication required”兩種解決方案
Redis提供了一個(gè)命令行工具redis-cli,它允許你直接連接到Redis服務(wù)器,如果你知道Redis服務(wù)器的密碼,你可以在連接時(shí)直接提供它,本文給大家介紹連接了Redis報(bào)錯(cuò)“NOAUTH Authentication required”兩種解決方案2024-05-05redis主從復(fù)制的原理及實(shí)現(xiàn)
Redis主從復(fù)制是一種數(shù)據(jù)同步機(jī)制,它通過將一個(gè)Redis實(shí)例的數(shù)據(jù)復(fù)制到其他Redis,本文主要介紹了redis主從復(fù)制的原理及實(shí)現(xiàn),具有一定的參考價(jià)值,感興趣的可以了解一下2023-08-08Redis?HyperLogLog數(shù)據(jù)統(tǒng)計(jì)輕量級(jí)解決方案詳解
這篇文章主要為大家介紹了Redis?HyperLogLog數(shù)據(jù)統(tǒng)計(jì)輕量級(jí)解決方案詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-12-12