欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

redis cluster支持pipeline的實(shí)現(xiàn)思路

 更新時(shí)間:2021年06月23日 16:49:15   作者:mushishi  
本文給大家介紹redis cluster支持pipeline的實(shí)現(xiàn)思路,在 cluster 上執(zhí)行 pipeline 可能會(huì)由于 redis 節(jié)點(diǎn)擴(kuò)縮容 中途 redirection 切換連接導(dǎo)致結(jié)果丟失,具體細(xì)節(jié)問(wèn)題請(qǐng)參考下本文

什么是pipeLine 為什么使用pipeLine ?

上篇文章給大家介紹過(guò)redis為什么要提供pipeline功能 今天給大家普及redis cluster如何支持pipeline?

管道(pipeline)將客戶端 client 與服務(wù)器端的交互明確劃分為單向的發(fā)送請(qǐng)求(Send Request)和接收響應(yīng)(Receive Response):用戶可以將多個(gè)操作連續(xù)發(fā)給服務(wù)器,但在此期間服務(wù)器端并不對(duì)每個(gè)操作命令發(fā)送響應(yīng)數(shù)據(jù);全部請(qǐng)求發(fā)送完畢后用戶關(guān)閉請(qǐng)求,開(kāi)始接收響應(yīng)獲取每個(gè)操作命令的響應(yīng)結(jié)果。

管道(pipeline)在某些場(chǎng)景下非常有用,比如有多個(gè)操作命令需要被迅速提交至服務(wù)器端,但用戶并不依賴每個(gè)操作返回的響應(yīng)結(jié)果,對(duì)結(jié)果響應(yīng)也無(wú)需立即獲得,那么管道就可以用來(lái)作為優(yōu)化性能的批處理工具。性能提升的原因主要是減少了 TCP 連接中交互往返的開(kāi)銷。

不過(guò)在程序中使用管道請(qǐng)注意,使用 pipeline 時(shí)客戶端將獨(dú)占與服務(wù)器端的連接,此期間將不能進(jìn)行其他“非管道”類型操作,直至 pipeline 被關(guān)閉;如果要同時(shí)執(zhí)行其他操作,可以為 pipeline 操作單獨(dú)建立一個(gè)連接,將其與常規(guī)操作分離開(kāi)來(lái)。

當(dāng)我們要操作一批key時(shí),可以通過(guò) redis pipline 再執(zhí)行完后一次性讀取所有結(jié)果來(lái)較少網(wǎng)絡(luò)傳輸?shù)南模?很明顯,這有個(gè)限制條件 => 這批key的執(zhí)行必須在同一個(gè)連接上

當(dāng)部署的redis為 standalone 或 master-slave 結(jié)構(gòu)的時(shí)候還好,可以從 pool 取出來(lái)的連接都是一個(gè) master 節(jié)點(diǎn)的, 那要是 redis cluster 的時(shí)候怎么辦? 這批key 可能在同一個(gè) redis node 也可能分散在多個(gè) redis nodes 這樣就是多個(gè)連接了

redis cluster 雖然自動(dòng)對(duì) key 進(jìn)行了分片,但是它對(duì) client 的要求比較高,需要客戶端連接所有 cluster 內(nèi)的節(jié)點(diǎn)(這個(gè)和 db client方案類似)并緩存 slots分配信息,然后在客戶端采用同樣的算法進(jìn)行hash后定位 key 的 slot 進(jìn)而定位 slot 所屬的 redis 節(jié)點(diǎn),然后獲取對(duì)應(yīng)節(jié)點(diǎn)的連接發(fā)送命令

cluster pipeline 實(shí)現(xiàn)思路

java 常用的客戶端 jedis,雖然提供了 redis-cluster 功能,但是并沒(méi)有提供 cluster 下的 pipeline 能力,我們借助它封裝好的 JedisClusterCRC16 工具去計(jì)算 slot 定位對(duì)應(yīng) redis node 的連接,按照 redis node 將這批 key 進(jìn)行分組 ,那么每組 key 就能分別進(jìn)行 pipeline 邏輯了

偽代碼

static List<Integer, HostAndPort> slot2NodeMap; // 可以通過(guò)主動(dòng)調(diào)用Jedis.clusterNodes獲取slot映射關(guān)系,并緩存在本地

List<Object> clusterPipeline(List keys) {
	 Map<HostAndPort, List<String>> node2Keys= new HashMap<>();  // 節(jié)點(diǎn)對(duì)應(yīng)keys分組
	for(String key : keys) {
	   // 計(jì)算key對(duì)應(yīng)的slot
	   int slot = JedisClusterCRC16.getSlot(key); 
	   // 根據(jù)slot獲取對(duì)應(yīng)的節(jié)點(diǎn)信息,將同一節(jié)點(diǎn)的key收在一組
	  node2Keys.get(slot2NodeMap.get(slot)).add(key);
	}

    List<Object> results = new ArrayList();
	// 分組執(zhí)行
	for (Map.Entry<HostAndPort, List<String>> group : node2Keys) {
		Jedis jedis =  JedisClusterConnectionHandler.getConnectionFromNode(group.key);
		PipeLine pipeline = jedis.pipelined();
		// 執(zhí)行本組keys 
		 result.addAll(jedis.syncAndReturnAll());
	}
   return results;
}

注意:在 cluster 上執(zhí)行 pipeline 可能會(huì)由于 redis 節(jié)點(diǎn)擴(kuò)縮容 中途 redirection 切換連接導(dǎo)致結(jié)果丟失; 可以把 attempts 重試次數(shù)設(shè)為0 不允許自動(dòng)切換連接 以感知到異常,然后業(yè)務(wù)主動(dòng)進(jìn)行重試

jedis 官方支持?

github 上其實(shí)2017年就有人提交了 cluster pipeline 的pr,維護(hù)人員也很樂(lè)意 merge 但是~~ 后續(xù)跟進(jìn)比較慢,然后19年 merge review的時(shí)候有些異常,提交人也沒(méi)再跟進(jìn),導(dǎo)致一直沒(méi)有合并成功;
https://github.com/redis/jedis/pull/1455


實(shí)現(xiàn) cluster pipeline 也可以參考這個(gè)pr 的提交代碼

以上就是redis cluster支持pipeline的實(shí)現(xiàn)思路的詳細(xì)內(nèi)容,更多關(guān)于redis cluster支持pipeline的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • 一文帶你深入理解Redis的主從架構(gòu)

    一文帶你深入理解Redis的主從架構(gòu)

    Redis主從架構(gòu)是一種分布式數(shù)據(jù)庫(kù)架構(gòu),它包括一個(gè)主節(jié)點(diǎn)(Master)和一個(gè)或多個(gè)從節(jié)點(diǎn)(Slave),主節(jié)點(diǎn)處理所有寫(xiě)操作,從節(jié)點(diǎn)負(fù)責(zé)復(fù)制主節(jié)點(diǎn)的數(shù)據(jù)并處理讀請(qǐng)求,本文將帶大家深入理解Redis主從架構(gòu),需要的朋友可以參考下
    2023-09-09
  • 淺談RedisTemplate和StringRedisTemplate的區(qū)別

    淺談RedisTemplate和StringRedisTemplate的區(qū)別

    本文主要介紹了RedisTemplate和StringRedisTemplate的區(qū)別及個(gè)人見(jiàn)解,文中通過(guò)示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2022-06-06
  • redis批量刪除key的步驟

    redis批量刪除key的步驟

    本文分享最新版Redis批量刪除key的方法,希望能幫到遇到同樣問(wèn)題的網(wǎng)友。
    2020-09-09
  • redis限流的實(shí)際應(yīng)用

    redis限流的實(shí)際應(yīng)用

    這篇文章主要介紹了redis限流的實(shí)際應(yīng)用,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2021-04-04
  • redis主從復(fù)制原理的深入講解

    redis主從復(fù)制原理的深入講解

    這篇文章主要給大家介紹了關(guān)于redis主從復(fù)制原理的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用redis具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2019-04-04
  • Redis 的 GeoHash詳解

    Redis 的 GeoHash詳解

    這篇文章主要介紹了Redis 的 GeoHash詳解,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2020-11-11
  • Redis實(shí)現(xiàn)分布式鎖詳解

    Redis實(shí)現(xiàn)分布式鎖詳解

    這篇文章主要介紹了redis如何實(shí)現(xiàn)分布式鎖,文章中有詳細(xì)的示例代碼,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2023-04-04
  • Centos7 Redis主從搭建配置的實(shí)現(xiàn)

    Centos7 Redis主從搭建配置的實(shí)現(xiàn)

    這篇文章主要介紹了Centos7 Redis主從搭建配置的實(shí)現(xiàn),小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
    2018-06-06
  • Redis分布式鎖的使用和實(shí)現(xiàn)原理詳解

    Redis分布式鎖的使用和實(shí)現(xiàn)原理詳解

    這篇文章主要給大家介紹了關(guān)于Redis分布式鎖的使用和實(shí)現(xiàn)原理的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-11-11
  • Redis對(duì)象與redisObject超詳細(xì)分析源碼層

    Redis對(duì)象與redisObject超詳細(xì)分析源碼層

    這篇文章主要介紹了Redis對(duì)象與redisObject源碼層的分析,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)吧
    2022-11-11

最新評(píng)論