快捷導(dǎo)航

在Redis集群中使用pipeline批量插入的實(shí)現(xiàn)方法

更新時(shí)間：2019年05月17日 14:19:56 作者：DrWong

這篇文章主要介紹了在Redis集群中使用pipeline批量插入的實(shí)現(xiàn)方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

由于項(xiàng)目中需要使用批量插入功能, 所以在網(wǎng)上查找到了Redis 批量插入可以使用pipeline來(lái)高效的插入, 示例代碼如下:

String key = "key";
Jedis jedis = new Jedis("xx.xx.xx.xx");
Pipeline p = jedis.pipelined();
List<String> myData = .... //要插入的數(shù)據(jù)列表
for(String data: myData){
  p.hset(key, data);
}
p.sync();
jedis.close();

但實(shí)際上遇到的問(wèn)題是,項(xiàng)目上所用到的Redis是集群,初始化的時(shí)候使用的類(lèi)是JedisCluster而不是Jedis. 去查了JedisCluster的文檔, 并沒(méi)有發(fā)現(xiàn)提供有像Jedis一樣的獲取Pipeline對(duì)象的 pipelined()方法.

Google了一下, 發(fā)現(xiàn)了解決方案.

Redis集群規(guī)范有說(shuō): Redis 集群的鍵空間被分割為 16384 個(gè)槽（slot），集群的最大節(jié)點(diǎn)數(shù)量也是 16384 個(gè)。每個(gè)主節(jié)點(diǎn)都負(fù)責(zé)處理 16384 個(gè)哈希槽的其中一部分。當(dāng)我們說(shuō)一個(gè)集群處于“穩(wěn)定”（stable）狀態(tài)時(shí)，指的是集群沒(méi)有在執(zhí)行重配置（reconfiguration）操作，每個(gè)哈希槽都只由一個(gè)節(jié)點(diǎn)進(jìn)行處理。

所以我們可以根據(jù)要插入的key知道這個(gè)key所對(duì)應(yīng)的槽的號(hào)碼, 再通過(guò)這個(gè)槽的號(hào)碼從集群中找到對(duì)應(yīng)Jedis. 具體實(shí)現(xiàn)如下

//初始化得到了jedis cluster, 如何獲取HostAndPort集合代碼就不寫(xiě)了

Set<HostAndPort> nodes = .....

JedisCluster jedisCluster = new JedisCluster(nodes);



Map<String, JedisPool> nodeMap = jedisCluster.getClusterNodes();

String anyHost = nodeMap.keySet().iterator().next();

//getSlotHostMap方法在下面有

TreeMap<Long, String> slotHostMap = getSlotHostMap(anyHost);

  private static TreeMap<Long, String> getSlotHostMap(String anyHostAndPortStr) {
    TreeMap<Long, String> tree = new TreeMap<Long, String>();
    String parts[] = anyHostAndPortStr.split(":");
    HostAndPort anyHostAndPort = new HostAndPort(parts[0], Integer.parseInt(parts[1]));
    try{
      Jedis jedis = new Jedis(anyHostAndPort.getHost(), anyHostAndPort.getPort());
      List<Object> list = jedis.clusterSlots();
      for (Object object : list) {
        List<Object> list1 = (List<Object>) object;
        List<Object> master = (List<Object>) list1.get(2);
        String hostAndPort = new String((byte[]) master.get(0)) + ":" + master.get(1);
        tree.put((Long) list1.get(0), hostAndPort);
        tree.put((Long) list1.get(1), hostAndPort);
      }
      jedis.close();
    }catch(Exception e){
      
    }
    return tree;
  }

上面這幾步可以在初始化的時(shí)候就完成. 不需要每次都調(diào)用, 把nodeMap和slotHostMap都定義為靜態(tài)變量.

//獲取槽號(hào)

int slot = JedisClusterCRC16.getSlot(key); 

//獲取到對(duì)應(yīng)的Jedis對(duì)象

Map.Entry<Long, String> entry = slotHostMap.lowerEntry(Long.valueOf(slot));

Jedis jedis = nodeMap.get(entry.getValue()).getResource();

建議上面這步操作可以封裝成一個(gè)靜態(tài)方法, 比如命名為public static Jedis getJedisByKey(String key) 之類(lèi)的. 意思就是在集群中, 通過(guò)key獲取到這個(gè)key所對(duì)應(yīng)的Jedis對(duì)象.

這樣再通過(guò)上面的jedis.pipelined();來(lái)就可以進(jìn)行批量插入了.

注:這個(gè)方法是從Google上搜來(lái)的, 直到目前我使用起來(lái)還沒(méi)發(fā)現(xiàn)什么問(wèn)題. 如果哪位大神發(fā)現(xiàn)有什么不對(duì)的地方歡迎提出來(lái).

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章: