詳解Java使用Pipeline對Redis批量讀寫（hmset&hgetall）

更新時間：2016年12月23日 09:09:18 作者：引鴆懟孑

本篇文章主要介紹了Java使用Pipeline對Redis批量讀寫（hmset&hgetall），具有一定的參考價值，有興趣的可以了解一下。

一般情況下，Redis Client端發(fā)出一個請求后，通常會阻塞并等待Redis服務端處理，Redis服務端處理完后請求命令后會將結(jié)果通過響應報文返回給Client。

感覺這有點類似于HBase的Scan，通常是Client端獲取每一條記錄都是一次RPC調(diào)用服務端。

在Redis中，有沒有類似HBase Scanner Caching的東西呢，一次請求，返回多條記錄呢？

有，這就是Pipline。官方介紹 http://redis.io/topics/pipelining

通過pipeline方式當有大批量的操作時候，我們可以節(jié)省很多原來浪費在網(wǎng)絡(luò)延遲的時間，需要注意到是用pipeline方式打包命令發(fā) 送，redis必須在處理完所有命令前先緩存起所有命令的處理結(jié)果。打包的命令越多，緩存消耗內(nèi)存也越多。所以并不是打包的命令越多越好。

使用Pipeline在對Redis批量讀寫的時候，性能上有非常大的提升。

Java測試了一下：

package com.lxw1234.redis;

import java.util.HashMap;
import java.util.Map;
import java.util.Set;

import redis.clients.jedis.Jedis;
import redis.clients.jedis.Pipeline;
import redis.clients.jedis.Response;


public class Test {
 
 public static void main(String[] args) throws Exception {
 Jedis redis = new Jedis("127.0.0.1", 6379, 400000);
 Map<String,String> data = new HashMap<String,String>();
 redis.select(8);
 redis.flushDB();
 //hmset 
 long start = System.currentTimeMillis();
 //直接hmset
 for (int i=0;i<10000;i++) {
  data.clear();
  data.put("k_" + i, "v_" + i);
  redis.hmset("key_" + i, data);
 }
 long end = System.currentTimeMillis();
 System.out.println("dbsize:[" + redis.dbSize() + "] .. ");
 System.out.println("hmset without pipeline used [" + (end - start) / 1000 + "] seconds ..");
 redis.select(8);
 redis.flushDB();
 //使用pipeline hmset
 Pipeline p = redis.pipelined();
 start = System.currentTimeMillis();
 for (int i=0;i<10000;i++) {
  data.clear();
  data.put("k_" + i, "v_" + i);
  p.hmset("key_" + i, data);
 }
 p.sync();
 end = System.currentTimeMillis();
 System.out.println("dbsize:[" + redis.dbSize() + "] .. ");
 System.out.println("hmset with pipeline used [" + (end - start) / 1000 + "] seconds ..");
 
 //hmget 
 Set<String> keys = redis.keys("*");
 //直接使用Jedis hgetall
 start = System.currentTimeMillis();
 Map<String,Map<String,String>> result = new HashMap<String,Map<String,String>>();
 for(String key : keys) {
  result.put(key, redis.hgetAll(key));
 }
 end = System.currentTimeMillis();
 System.out.println("result size:[" + result.size() + "] ..");
 System.out.println("hgetAll without pipeline used [" + (end - start) / 1000 + "] seconds ..");
 
 //使用pipeline hgetall
 Map<String,Response<Map<String,String>>> responses = new HashMap<String,Response<Map<String,String>>>(keys.size());
 result.clear();
 start = System.currentTimeMillis();
 for(String key : keys) {
  responses.put(key, p.hgetAll(key));
 }
 p.sync();
 for(String k : responses.keySet()) {
  result.put(k, responses.get(k).get());
 }
 end = System.currentTimeMillis();
 System.out.println("result size:[" + result.size() + "] ..");
 System.out.println("hgetAll with pipeline used [" + (end - start) / 1000 + "] seconds ..");
 
 redis.disconnect();
 
 }
 
 
}

測試結(jié)果如下：

dbsize:[10000] .. 
hmset without pipeline used [243] seconds .. 
dbsize:[10000] .. 
hmset with pipeline used [0] seconds .. 
result size:[10000] .. 
hgetAll without pipeline used [243] seconds .. 
result size:[10000] .. 
hgetAll with pipeline used [0] seconds ..

使用pipeline來批量讀寫10000條記錄，就是小菜一碟，秒完。

以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章: