快捷導(dǎo)航

Redis Cluster 字段模糊匹配及刪除

更新時(shí)間：2021年05月27日 09:58:38 作者：在風(fēng)中的意志

在數(shù)據(jù)庫(kù)內(nèi)我們可以通過(guò)like關(guān)鍵字、％、*或者REGEX關(guān)鍵字進(jìn)行模糊匹配。而在Redis內(nèi)我們?nèi)绾芜M(jìn)行模糊匹配呢？本文就來(lái)介紹一下

Questions

在數(shù)據(jù)庫(kù)內(nèi)我們可以通過(guò)like關(guān)鍵字、％、*或者REGEX關(guān)鍵字進(jìn)行模糊匹配。而在Redis內(nèi)我們?nèi)绾芜M(jìn)行模糊匹配呢？集群情況Redis Cluster的情況是否和單機(jī)一致呢？前段時(shí)間我對(duì)于這個(gè)議題進(jìn)行了調(diào)查和研究。

單節(jié)點(diǎn)的情況

Jedis
參考stackoverflow上的解答，在Java內(nèi)使用Jedis主要有如下2中寫(xiě)法:

### 方法1
Set<String> keys = jedis.keys(pattern);
for (String key : keys) {
    jedis.del(key);
} 

### 方法2
Jedis jedis = new Jedis("127.0.0.1");
ScanParams scanParams = new ScanParams();
scanParams.match("prifix*");
scanParams.count(1000);
ScanResult<String> result = jedis.scan(0,scanParams);
result.getResult().forEach(key -> {
    jedis.del(key);
});

### 注意scan方法由于某些bug在2.9版本內(nèi)scan(int,ScanParams)改為了scan(String,ScanParams)。由于cursor的位數(shù)，方法有些調(diào)整。

方法1，通過(guò)keys命令先尋找到所有符合的key，然后把它們刪除；
方法2，通過(guò)scan命令掃描所有符合的key，然后把它們刪除。
注意: Redis飾單線(xiàn)程模式，全局掃描的話(huà)有可能會(huì)導(dǎo)致Redis在一段時(shí)間內(nèi)的卡頓情況發(fā)生。

Redis-cli

redis-cli keys 1.cn*|xargs redis-cli del

Redis Cluster情況

在Redis Cluster情況與單節(jié)點(diǎn)多情況完全不太一樣。

首先，Redis Cluster是將整個(gè)Redis 的hash槽分布在三臺(tái)機(jī)器上，要想一下全部掃描出來(lái)，顯然是不太現(xiàn)實(shí)的。
Redis內(nèi)提供Hash-Tag，將相類(lèi)似的鍵放在一臺(tái)機(jī)器上?？梢酝ㄟ^(guò)Hash-Tag進(jìn)行掃描，可以剪短時(shí)間消耗。
最后需要考慮，主從集群節(jié)點(diǎn)的情況。

Hash-Tag

Hash-Tag 是用一個(gè)花括號(hào)將主要的Hash判斷部分?jǐn)U起來(lái)，例如{hello1}key1、｛hello1｝key2。一般Hash-tag一致的情況，鍵會(huì)存儲(chǔ)在集群的同一臺(tái)機(jī)器上。在Jedis 2.9版本提供了這樣的掃描方法。
(PS . rediscluster是沒(méi)有keys方法的)

public static void deleteRedisKeyStartWith(String redisKeyStartWith) {
        try{
            jedisCluster.getClusterNodes();

            ScanParams scanParams = new ScanParams();
//          scanParams.match("{123}keys*");

//          scanParams.count(1000);
            ScanResult<String> result = jedisCluster.scan("0", scanParams);
            result.getResult().forEach(key -> {
                jedisCluster.del(key);
            });
//          jedisCluster.del(wrapperKey(redisKeyStartWith)+".*");
            log.info("success deleted redisKeyStartWith:{}", redisKeyStartWith);
        }finally{
        }
    }

土辦法分別掃描各個(gè)hash槽

public static void deleteRedisKeyStartWith(String redisKeyStartWith) {
        try {
            Map<String, JedisPool> clusterNodes = jedisCluster.getClusterNodes();

            for (Map.Entry<String, JedisPool> entry : clusterNodes.entrySet()) {
                Jedis jedis = entry.getValue().getResource();
                // 判斷非從節(jié)點(diǎn)(因?yàn)槿糁鲝膹?fù)制，從節(jié)點(diǎn)會(huì)跟隨主節(jié)點(diǎn)的變化而變化)
                if (!jedis.info("replication").contains("role:slave")) {
                    Set<String> keys = jedis.keys(redisKeyStartWith + "*");
                    if (keys.size() > 0) {
                        Map<Integer, List<String>> map = new HashMap<>();
                        for (String key : keys) {
                            // cluster模式執(zhí)行多key操作的時(shí)候，這些key必須在同一個(gè)slot上，不然會(huì)報(bào):JedisDataException:
                            // CROSSSLOT Keys in request don't hash to the same slot
                            int slot = JedisClusterCRC16.getSlot(key);
                            // 按slot將key分組，相同slot的key一起提交
                            if (map.containsKey(slot)) {
                                map.get(slot).add(key);
                            } else {
                                map.put(slot, Lists.newArrayList(key));
                            }
                        }
                        for (Map.Entry<Integer, List<String>> integerListEntry : map.entrySet()) {
                            jedis.del(integerListEntry.getValue().toArray(new String[integerListEntry.getValue().size()]));
                        }
                    }
                }
            }
            log.info("success deleted redisKeyStartWith:{}", redisKeyStartWith);
        } finally {
        }
    }

### 未使用slot批次提交(有可能效率略差于前者)
//獲取jedis連接

         private JedisCluster jedisCluster=JedisClusterUtil.getJedisCluster();

         //@param pattern  獲取key的前綴  全是是 * 

 public static TreeSet<String> keys(String pattern){  


       TreeSet<String> keys = new TreeSet<>();  
        //獲取所有的節(jié)點(diǎn)

               Map<String, JedisPool> clusterNodes = jedisCluster.getClusterNodes();  
       //遍歷節(jié)點(diǎn) 獲取所有符合條件的KEY 

               for(String k : clusterNodes.keySet()){  
           logger.debug("Getting keys from: {}", k);  
           JedisPool jp = clusterNodes.get(k);  
           Jedis connection = jp.getResource();  
           try {  
               keys.addAll(connection.keys(pattern));  
           } catch(Exception e){  
               logger.error("Getting keys error: {}", e);  
           } finally{  
               logger.debug("Connection closed.");  
               connection.close();//用完一定要close這個(gè)鏈接?。?！  
           }  
       }  
       logger.debug("Keys gotten!");  
       return keys;  
  }  

          //main方法

 public static void main(String[] args ){
 TreeSet<String> keys=keys("*");

 //遍歷key  進(jìn)行刪除  可以用多線(xiàn)程

 for(String key:keys){

                          jedisCluster.del(key);
 System.out.println(key);
 }
 }