欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

詳解redis大幅性能提升之使用管道(PipeLine)和批量(Batch)操作

 更新時(shí)間:2016年12月23日 08:45:56   作者:一線碼農(nóng)  
這篇文章主要介紹了詳解redis大幅性能提升之使用管道(PipeLine)和批量(Batch)操作 ,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下。

前段時(shí)間在做用戶畫像的時(shí)候,遇到了這樣的一個(gè)問題,記錄某一個(gè)商品的用戶購(gòu)買群,剛好這種需求就可以用到Redis中的Set,key作為productID,value就是具體的customerid集合,后續(xù)的話,我就可以通過productid來查看該customerid是否買了此商品,如果購(gòu)買了,就可以有相關(guān)的關(guān)聯(lián)推薦,當(dāng)然這只是系統(tǒng)中的一個(gè)小業(yè)務(wù)條件,這時(shí)候我就可以用到SADD操作方法,代碼如下:

    static void Main(string[] args)
    {
      ConnectionMultiplexer redis = ConnectionMultiplexer.Connect("192.168.23.151:6379");

      var db = redis.GetDatabase();

      var productID = string.Format("productID_{0}", 1);

      for (int i = 0; i < 10; i++)
      {
        var customerID = i;

        db.SetAdd(productID, customerID);
      }
    }

一:?jiǎn)栴}

    但是上面的這段代碼很明顯存在一個(gè)大問題,Redis本身就是基于tcp的一個(gè)Request/Response protocol模式,不信的話,可以用wireshark監(jiān)視一下:

 

從圖中可以看到,有很多次的192.168.23.1 => 192.168.23.151 之間的數(shù)據(jù)往返,從傳輸內(nèi)容中大概也可以看到有一個(gè)叫做productid_xxx的前綴,

那如果有百萬(wàn)次局域網(wǎng)這樣的round trip,那這個(gè)延遲性可想而知,肯定達(dá)不到我們預(yù)想的高性能。

 二:解決方案【Batch】

     剛好基于我們現(xiàn)有的業(yè)務(wù),我可以定時(shí)的將批量的productid和customerid進(jìn)行分組整合,然后用batch的形式插入到某一個(gè)具體的product的set中去,接下來我可以把上面的代碼改成類似下面這樣:

     static void Main(string[] args)
     {
       ConnectionMultiplexer redis = ConnectionMultiplexer.Connect("...:");
 
       var db = redis.GetDatabase();
 
       var productID = string.Format("productID_{}", );
 
       var list = new List<int>();
 
 
       for (int i = ; i < ; i++)
       {
         list.Add(i);
       }
 
       db.SetAdd(productID, list.Select(i => (RedisValue)i).ToArray());
     }
 

 

從截圖中傳輸?shù)膔equest,response可以看到,這次我們一次性提交過去,極大的較少了在網(wǎng)絡(luò)傳輸方面帶來的尷尬性。。

 三:再次提出問題

product維度的畫像我們可以解決了,但是我們還有一個(gè)customerid的維度,也就是說我需要維護(hù)一個(gè)customerid為key的set集合,其中value的值為該customerid的各種平均值,比如說“總交易次數(shù)”,“總交易金額”。。。等等這樣的聚合信息,然后推送過來的是批量的customerid,也就是說你需要定時(shí)維護(hù)一小嘬set集合,在這種情況下某一個(gè)set的批量操作就搞不定了。。。原始代碼如下:

     static void Main(string[] args)
     {
       ConnectionMultiplexer redis = ConnectionMultiplexer.Connect("...:");
 
       var db = redis.GetDatabase();
 
 
       //批量過來的數(shù)據(jù): customeridlist, ordertotalprice,具體業(yè)務(wù)邏輯省略
       var orderTotalPrice = ;
 
       var customerIDList = new List<int>();
 
       for (int i = ; i < ; i++)
       {
         customerIDList.Add(i);
       }
 
       //foreach更新每個(gè)redis 的set集合
       foreach (var item in customerIDList)
       {
         var customerID = string.Format("customerid_{}", item);
 
         db.SetAdd(customerID, orderTotalPrice);
       }
     }

四:解決方案【PipeLine】

=上面這種代碼在生產(chǎn)上當(dāng)然是行不通的,不過針對(duì)這種問題,redis早已經(jīng)提出了相關(guān)的解決方案,那就是pipeline機(jī)制,原理還是一樣,將命令集整合起來通過一條request請(qǐng)求一起送過去,由redis內(nèi)部fake出一個(gè)client做批量執(zhí)行操作,代碼如下:

     static void Main(string[] args)
     {
       ConnectionMultiplexer redis = ConnectionMultiplexer.Connect("...:");
 
       var db = redis.GetDatabase();
 
 
       //批量過來的數(shù)據(jù): customeridlist, ordertotalprice,具體業(yè)務(wù)邏輯省略
       var orderTotalPrice = ;
 
       var customerIDList = new List<int>();
 
       for (int i = ; i < ; i++)
       {
         customerIDList.Add(i);
       }
 
       var batch = db.CreateBatch();
 
       foreach (var item in customerIDList)
       {
         var customerID = string.Format("customerid_{}", item);
 
         batch.SetAddAsync(customerID, orderTotalPrice);
       }
 
       batch.Execute();
     }

然后,我們?cè)倏聪旅娴膚ireshark截圖,可以看到有很多的SADD這樣的小命令,這就說明有很多命令是一起過去的,大大的提升了性能。

 

 最后可以再看一下redis,數(shù)據(jù)也是有的,是不是很爽~~~

192.168.23.151:6379> keys *
 1) "customerid_0"
 2) "customerid_9"
 3) "customerid_1"
 4) "customerid_3"
 5) "customerid_8"
 6) "customerid_2"
 7) "customerid_7"
 8) "customerid_5"
 9) "customerid_6"
10) "customerid_4"

以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • Redis中Bitmap的使用示例

    Redis中Bitmap的使用示例

    本文主要介紹了Redis中Bitmap的使用示例,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2022-05-05
  • Redis權(quán)限和訪問控制的實(shí)現(xiàn)示例

    Redis權(quán)限和訪問控制的實(shí)現(xiàn)示例

    Redis提供了一些機(jī)制來保護(hù)敏感數(shù)據(jù)和限制對(duì)Redis服務(wù)器的訪問,本文主要介紹了Redis權(quán)限和訪問控制的實(shí)現(xiàn)示例,具有一定的參考價(jià)值,感興趣的可以了解一下
    2023-12-12
  • Redis server 主從復(fù)制配置實(shí)現(xiàn)

    Redis server 主從復(fù)制配置實(shí)現(xiàn)

    從復(fù)制是指將一個(gè)Redis服務(wù)器的數(shù)據(jù)復(fù)制到其他Redis服務(wù)器的過程,本文主要介紹了Redis server 主從復(fù)制配置實(shí)現(xiàn),具有一定的參考價(jià)值,感興趣的可以了解一下
    2024-02-02
  • 淺談redission鎖的默認(rèn)失效時(shí)間

    淺談redission鎖的默認(rèn)失效時(shí)間

    Redisson是一個(gè)基于Redis的Java駐留庫(kù),提供了許多分布式對(duì)象和服務(wù),包括分布式鎖,本文主要介紹了淺談redission鎖的默認(rèn)失效時(shí)間, 具有一定的參考價(jià)值,感興趣的可以了解一下
    2024-02-02
  • Redis中key的操作命令

    Redis中key的操作命令

    本文主要介紹了Redis中key的操作命令,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2024-06-06
  • Redis請(qǐng)求處理的流程分析

    Redis請(qǐng)求處理的流程分析

    這篇文章主要介紹了Redis?是如何進(jìn)行請(qǐng)求處理,這篇文章介紹了整個(gè)?Redis?的請(qǐng)求處理模型到底是怎樣的。從注冊(cè)監(jiān)聽?fd?事件到執(zhí)行命令,到最后將數(shù)據(jù)回寫給客戶端都做了個(gè)大概的分析,需要的朋友可以參考下
    2022-07-07
  • 詳解如何發(fā)現(xiàn)并解決Redis熱點(diǎn)Key問題

    詳解如何發(fā)現(xiàn)并解決Redis熱點(diǎn)Key問題

    Redis 熱點(diǎn) Key 是指在某一時(shí)間段內(nèi),被大量的讀寫操作命中的 Key,這種情況可能會(huì)導(dǎo)致性能瓶頸,數(shù)據(jù)一致性問題,緩存擊穿等問題,所以本文給大家介紹了如何發(fā)現(xiàn)并解決Redis熱點(diǎn)Key問題,需要的朋友可以參考下
    2024-05-05
  • Redis實(shí)現(xiàn)分布式鎖的方法示例

    Redis實(shí)現(xiàn)分布式鎖的方法示例

    本篇文章主要介紹了Redis實(shí)現(xiàn)分布式鎖的方法示例,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧
    2017-10-10
  • Redis實(shí)現(xiàn)分布式鎖的實(shí)例講解

    Redis實(shí)現(xiàn)分布式鎖的實(shí)例講解

    在本篇文章里小編給大家整理了一篇關(guān)于Redis實(shí)現(xiàn)分布式鎖的實(shí)例講解內(nèi)容,有興趣的朋友們可以學(xué)習(xí)參考下。
    2021-12-12
  • redis如何取hash的值

    redis如何取hash的值

    這篇文章主要介紹了redis如何取hash的值問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2023-01-01

最新評(píng)論