什么是pipeLine 為什么使用pipeLine ?

上篇文章給大家介紹過redis為什么要提供pipeline功能 今天給大家普及redis cluster如何支持pipeline？

管道（pipeline）將客戶端 client 與服務(wù)器端的交互明確劃分為單向的發(fā)送請求（Send Request）和接收響應(yīng)（Receive Response）：用戶可以將多個操作連續(xù)發(fā)給服務(wù)器，但在此期間服務(wù)器端并不對每個操作命令發(fā)送響應(yīng)數(shù)據(jù)；全部請求發(fā)送完畢后用戶關(guān)閉請求，開始接收響應(yīng)獲取每個操作命令的響應(yīng)結(jié)果。

管道（pipeline）在某些場景下非常有用，比如有多個操作命令需要被迅速提交至服務(wù)器端，但用戶并不依賴每個操作返回的響應(yīng)結(jié)果，對結(jié)果響應(yīng)也無需立即獲得，那么管道就可以用來作為優(yōu)化性能的批處理工具。性能提升的原因主要是減少了 TCP 連接中交互往返的開銷。

不過在程序中使用管道請注意，使用 pipeline 時客戶端將獨占與服務(wù)器端的連接，此期間將不能進行其他“非管道”類型操作，直至 pipeline 被關(guān)閉；如果要同時執(zhí)行其他操作，可以為 pipeline 操作單獨建立一個連接，將其與常規(guī)操作分離開來。

當我們要操作一批key時，可以通過 redis pipline 再執(zhí)行完后一次性讀取所有結(jié)果來較少網(wǎng)絡(luò)傳輸?shù)南模?很明顯，這有個限制條件 => 這批key的執(zhí)行必須在同一個連接上

當部署的redis為 standalone 或 master-slave 結(jié)構(gòu)的時候還好，可以從 pool 取出來的連接都是一個 master 節(jié)點的， 那要是 redis cluster 的時候怎么辦？ 這批key 可能在同一個 redis node 也可能分散在多個 redis nodes 這樣就是多個連接了

redis cluster 雖然自動對 key 進行了分片，但是它對 client 的要求比較高，需要客戶端連接所有 cluster 內(nèi)的節(jié)點（這個和 db client方案類似）并緩存 slots分配信息，然后在客戶端采用同樣的算法進行hash后定位 key 的 slot 進而定位 slot 所屬的 redis 節(jié)點，然后獲取對應(yīng)節(jié)點的連接發(fā)送命令

cluster pipeline 實現(xiàn)思路

java 常用的客戶端 jedis，雖然提供了 redis-cluster 功能，但是并沒有提供 cluster 下的 pipeline 能力，我們借助它封裝好的 JedisClusterCRC16 工具去計算 slot 定位對應(yīng) redis node 的連接，按照 redis node 將這批 key 進行分組 ，那么每組 key 就能分別進行 pipeline 邏輯了

偽代碼

static List<Integer, HostAndPort> slot2NodeMap; // 可以通過主動調(diào)用Jedis.clusterNodes獲取slot映射關(guān)系，并緩存在本地

List<Object> clusterPipeline(List keys) {
	 Map<HostAndPort, List<String>> node2Keys= new HashMap<>();  // 節(jié)點對應(yīng)keys分組
	for(String key : keys) {
	   // 計算key對應(yīng)的slot
	   int slot = JedisClusterCRC16.getSlot(key); 
	   // 根據(jù)slot獲取對應(yīng)的節(jié)點信息，將同一節(jié)點的key收在一組
	  node2Keys.get(slot2NodeMap.get(slot)).add(key);
	}

    List<Object> results = new ArrayList();
	// 分組執(zhí)行
	for (Map.Entry<HostAndPort, List<String>> group : node2Keys) {
		Jedis jedis =  JedisClusterConnectionHandler.getConnectionFromNode(group.key);
		PipeLine pipeline = jedis.pipelined();
		// 執(zhí)行本組keys 
		 result.addAll(jedis.syncAndReturnAll());
	}
   return results;
}

注意：在 cluster 上執(zhí)行 pipeline 可能會由于 redis 節(jié)點擴縮容 中途 redirection 切換連接導(dǎo)致結(jié)果丟失； 可以把 attempts 重試次數(shù)設(shè)為0 不允許自動切換連接 以感知到異常，然后業(yè)務(wù)主動進行重試

jedis 官方支持？

github 上其實2017年就有人提交了 cluster pipeline 的pr，維護人員也很樂意 merge 但是~~ 后續(xù)跟進比較慢，然后19年 merge review的時候有些異常，提交人也沒再跟進，導(dǎo)致一直沒有合并成功；
https://github.com/redis/jedis/pull/1455

實現(xiàn) cluster pipeline 也可以參考這個pr 的提交代碼

以上就是redis cluster支持pipeline的實現(xiàn)思路的詳細內(nèi)容，更多關(guān)于redis cluster支持pipeline的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論