redis客戶端實現(xiàn)高可用讀寫分離的方式詳解
背景
(1) redis單機的讀寫性能輕松上大幾萬,不過線上環(huán)境不會只部署光禿禿的一個節(jié)點,還是會配合 sentinel 再部署一個 slave作為高可用節(jié)點的;
但是standby的slave節(jié)點是不對外提供服務端的,一定程度上造成了浪費資源
(2) 當業(yè)務不斷發(fā)展,原來單節(jié)點緩存的數(shù)據(jù)(如,商品信息緩存、配置信息等)的查詢qps不斷升高(寫qps增長不多),突破十幾萬、幾十萬的的時候,此時一個節(jié)點就扛不住了,我們就需要增加幾個redis slaves節(jié)點來分擔這些查詢的壓力 也就是讀寫分離
但是,常用的 redis 客戶端jedis并不支持讀寫分離能力
實現(xiàn)方式
(1) 從配置中心獲取 master 和 slaves 的連接信息,分別初始化好一個連接master的寫連接池和一組slave的讀連接池
(2) 將命令進行分類:執(zhí)行寫命令則從 master的連接池取連接然后執(zhí)行,如果是讀命令則從slave的連接池中取出連接執(zhí)行
可能有多個slave節(jié)點,可以按照一定的策略進行負載均衡(權重、隨機、輪詢...etc) 從其中一個 slave節(jié)點的連接池獲取連接
大概長這樣:
高可用版本
前面的實現(xiàn)方式正常情況下是可以的
但是:
(1) 如果運行期間 master掛了怎么辦? 如何自動 failover 切換?
(2) 如果流量突增,需要動態(tài)擴容一個或多個 slave節(jié)點,如何動態(tài)生效?
那就不能從配置文件取master和slaves的 ip+port 了,得從redis ha的組件去動態(tài)獲取 當前master 和可用slave列表的節(jié)點信息 => sentinel
1.初始化
向 sentinel 發(fā)送命令獲取master和slaves的節(jié)點信息
//獲取當前masterName標識的當前master節(jié)點信息,哨兵可監(jiān)控多個 mater ha,所以要用<masterName>區(qū)分 SENTINEL get-master-addr-by-name <masterName> //獲取可用的slaves列表信息 SENTINEL slaves <masterName>
拿到連接后,繼續(xù)用開頭的方式去創(chuàng)建連接池就行了
2. 動態(tài)failover、擴容
初始化完畢后,在運行期間master節(jié)點,和slaves還是可能變化的, 如
(1) master故障、網絡分區(qū),sentinel 提升一個slave為新的master
(2) 新增slave節(jié)點應對突增流量
我們如何能不重啟客戶端的情況下,動態(tài)切換?
sentinel 在進行master切換、slave變更等操作的時候都會向對應的 channel 發(fā)布事件,我們可以基于這些事件感知到相應的變化
參考: https://redis.io/topics/sentinel
2.1 failover切換 master
當 sentinel 進行master failover切換的時候,它會向channel: switch-master 發(fā)送通知,我們在客戶端訂閱這個channel,收到事件后,重新進行初始化的步驟即可
2.2 擴容slave
當新的 slave 節(jié)點加入, sentinel 感知到則會向channel: +slave 發(fā)布事件,我們監(jiān)聽到后,重新獲取slaves節(jié)點信息重建slaves的連接池就可以了(這邊不涉及master的變化)
總結
基于 sentienl 獲取和動態(tài)感知 master、slaves節(jié)點信息的變化,我們的讀寫分離客戶端就能具備高可用+動態(tài)擴容感知能力了;
到此這篇關于redis客戶端實現(xiàn)高可用讀寫分離的文章就介紹到這了,更多相關redis讀寫分離內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
如何保證Redis與數(shù)據(jù)庫的數(shù)據(jù)一致性
這篇文章主要介紹了如何保證Redis與數(shù)據(jù)庫的數(shù)據(jù)一致性,文中舉了兩個場景例子介紹的非常詳細,需要的朋友可以參考下2023-05-05Redis高級數(shù)據(jù)類型Hyperloglog、Bitmap的使用
很多小伙伴在面試中都會被問道 Redis的常用數(shù)據(jù)結構有哪些?可能很大一部分回答都是 string、hash、list、set、zset,但其實還有Hyperloglog和Bitmap,本文就來介紹一下2021-05-05Redis緩存數(shù)據(jù)庫表(列單獨緩存)的示例代碼
在Redis中緩存數(shù)據(jù)庫表數(shù)據(jù),而不使用JSON結構來表示value,通常意味著我們會將數(shù)據(jù)庫表的每一行數(shù)據(jù)映射為Redis中的一個或多個鍵值對,這篇文章主要介紹了Redis緩存數(shù)據(jù)庫表(列單獨緩存),需要的朋友可以參考下2024-03-03redis內部數(shù)據(jù)結構之SDS簡單動態(tài)字符串詳解
SDS是Redis中實現(xiàn)的一種數(shù)據(jù)結構,用來存儲字符串,最近學習中正好學習到了這里,所以下面這篇文章主要給大家介紹了redis內部數(shù)據(jù)結構之SDS簡單動態(tài)字符串的相關資料,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考借鑒,下面來一起看看吧。2017-11-11利用redisson快速實現(xiàn)自定義限流注解(接口防刷)
利用redis的有序集合即Sorted?Set數(shù)據(jù)結構,構造一個令牌桶來實施限流,而redisson已經幫我們封裝成了RRateLimiter,通過redisson,即可快速實現(xiàn)我們的目標,這篇文章主要介紹了利用redisson快速實現(xiàn)自定義限流注解,需要的朋友可以參考下2024-07-07