快捷導(dǎo)航

Redis性能大幅提升之Batch批量讀寫詳解

更新時(shí)間：2017年06月04日 16:08:34 作者：649727360

這篇文章主要給大家介紹了關(guān)于Redis性能大幅提升之Batch批量讀寫的相關(guān)資料，文中介紹的非常詳細(xì)，對大家具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來跟著小編一起來學(xué)習(xí)學(xué)習(xí)吧。

前言

本文主要介紹的是關(guān)于Redis性能提升之Batch批量讀寫的相關(guān)內(nèi)容，分享出來供大家參考學(xué)習(xí)，下面來看看詳細(xì)的介紹：

提示：本文針對的是StackExchange.Redis

一、問題呈現(xiàn)

前段時(shí)間在開發(fā)的時(shí)候，遇到了redis批量讀的問題，由于在StackExchange.Redis里面我確實(shí)沒有找到PipeLine命令，找到的是Batch命令，因此對其用法進(jìn)行了探究一下。

下面的代碼是我之前寫的：

public List<StudentEntity> Get(List<int> ids)
{
  List<StudentEntity> result = new List<StudentEntity>();
  try
  {
   var db = RedisCluster.conn.GetDatabase();
   foreach (int id in ids.Keys)
   {
    string key = KeyManager.GetKey(id);
    var dic = db.HashGetAll(key).ToDictionary(k => k.Name, v => v.Value);
    StudentEntity se = new StudentEntity();
    if (dic.Keys.Contains(StudentEntityRedisHashKey.id.ToString()))
    {
     pe.id = FormatUtils.ConvertToInt32(dic[StudentEntityRedisHashKey.id.ToString()], -1);
    }
    if (dic.Keys.Contains(StudentEntityRedisHashKey.name.ToString()))
    {
     pe.name= dic[StudentEntityRedisHashKey.name.ToString()];
    }
    result.Add(se);
   }
   catch (Exception ex)
   {
   }
   return result;
}

從上面的代碼中可以看出，并不是批量讀，經(jīng)過性能測試，性能確實(shí)是要遠(yuǎn)遠(yuǎn)低于用Batch操作，因?yàn)镠ashGetAll方法被執(zhí)行了多次。

下面給出批量方法：

二、解決問題方法

具體的用法是：

var batch = db.CreateBatch();

...//這里寫具體批量操作的方法

batch.Execute();

2.1批量寫：

具體代碼：

public bool InsertBatch(List<StudentEntity> seList)
{
  bool result = false;
  try
  {
   var db = RedisCluster.conn.GetDatabase();
   var batch = db.CreateBatch();
   foreach (var se in seList)
   {
    string key = KeyManager.GetKey(se.id);
    batch.HashSetAsync(key, StudentEntityRedisHashKey.id.ToString(), te.id);
    batch.HashSetAsync(key, StudentEntityRedisHashKey.name.ToString(), te.name);
   }
   batch.Execute();
   result = true;
  }
  catch (Exception ex)
  {
  }
  return result;
}

這個(gè)方法里執(zhí)行的是批量插入學(xué)生實(shí)體數(shù)據(jù)，這里只是針對Hash，其它的也一樣操作。

2.2批量讀：

具體代碼：

public List<StudentEntity> GetBatch(List<int> ids)
{
  List<StudentEntity> result = new List<StudentEntity>();
  List<Task<StackExchange.Redis.HashEntry[]>> valueList = new List<Task<StackExchange.Redis.HashEntry[]>>();
  try
  {
   var db = RedisCluster.conn.GetDatabase();
   var batch = db.CreateBatch();
   foreach(int id in ids)
   {
    string key = KeyManager.GetKey(id);
    Task<StackExchange.Redis.HashEntry[]> tres = batch.HashGetAllAsync(key);
    valueList.Add(tres);
   }
   batch.Execute();

   foreach(var hashEntry in valueList)
   {
    var dic = hashEntry.Result.ToDictionary(k => k.Name, v => v.Value);
    StudentEntity se= new StudentEntity();
    if (dic.Keys.Contains(StudentEntityRedisHashKey.id.ToString()))
    {
     se.id= FormatUtils.ConvertToInt32(dic[StudentEntityRedisHashKey.id.ToString()], -1);
    }
    if (dic.Keys.Contains(StudentEntityRedisHashKey.name.ToString()))
    {
     se.name= dic[StudentEntityRedisHashKey.name.ToString()];
    }
    result.Add(se);
   }
  }
  catch (Exception ex)
  {
  }
  return result;
}

這個(gè)方法是批量讀取學(xué)生實(shí)體數(shù)據(jù)，批量拿到實(shí)體數(shù)據(jù)后，將其轉(zhuǎn)化成我們需要的數(shù)據(jù)。下面給出性能對比。

2.3性能對比：

10條數(shù)據(jù)，約4-5倍差距:

1000條數(shù)據(jù)，約28倍的差距：

隨著數(shù)據(jù)了增多，差距將越來越大。

三、源碼測試案例

上面是批量讀寫實(shí)體數(shù)據(jù)，下面給出StackExchange.Redis源碼測試案例里的批量讀寫寫法：

public void TestBatchSent()
  {
   using (var muxer = Config.GetUnsecuredConnection())
   {
    var conn = muxer.GetDatabase(0);
    conn.KeyDeleteAsync("batch");
    conn.StringSetAsync("batch", "batch-sent");
    var tasks = new List<Task>();
    var batch = conn.CreateBatch();
    tasks.Add(batch.KeyDeleteAsync("batch"));
    tasks.Add(batch.SetAddAsync("batch", "a"));
    tasks.Add(batch.SetAddAsync("batch", "b"));
    tasks.Add(batch.SetAddAsync("batch", "c"));
    batch.Execute();
    
    var result = conn.SetMembersAsync("batch");
    tasks.Add(result);
    Task.WhenAll(tasks.ToArray());
    
    var arr = result.Result;
    Array.Sort(arr, (x, y) => string.Compare(x, y));
    ...
   }
  }

這個(gè)方法里也給出了批量寫和讀的操作。

總結(jié)

好了，先說到這里了。以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作能帶來一定的幫助，如果有疑問大家可以留言交流，謝謝大家對腳本之家的支持。

您可能感興趣的文章: