Redis主從復(fù)制問題和擴(kuò)容問題的解決思路
一、解決主從復(fù)制問題
當(dāng)使用Redis作為存儲引擎的時候,并且使用Redis讀寫分離,從機(jī)作為讀的情況,從機(jī)宕機(jī)或者和主機(jī)斷開連接都需要重新連接主機(jī),重新連接主機(jī)都會觸發(fā)全量的主從復(fù)制,這時候主機(jī)會生成內(nèi)存快照,主機(jī)依然可以對外提供服務(wù),但是作為讀的從機(jī),就無法提供對外服務(wù)了,如果數(shù)據(jù)量大,恢復(fù)的時間會相當(dāng)?shù)拈L。為了解決Redis主從Copy的問題,有如下兩個解決方案:
主動復(fù)制
所謂主動復(fù)制,就是業(yè)務(wù)層雙寫多個Redis,避開Redis自帶的主從復(fù)制。但是自己干同步,就會產(chǎn)生一致性問題,為了保證主從一致,需要加入一系列的驗(yàn)證機(jī)制。而且這樣的做法,會降低系統(tǒng)性能。
修改源代碼,支持增量同步
Redis寫AOF文件,關(guān)閉Redis rewrite AOF文件功能,為了避免文件過大,可以自己實(shí)現(xiàn)文件分割功能。
在業(yè)務(wù)低峰時期,生成內(nèi)存快照,并記錄快照時刻AOF所在的點(diǎn)。
當(dāng)從機(jī)重連的時候,從機(jī)發(fā)送同步命令給主機(jī),主機(jī)收到命令后,把最新的快照文件發(fā)送給從機(jī),從機(jī)從快照文件中恢復(fù),并且獲得了該快照對應(yīng)的AOF點(diǎn),從機(jī)將AOF點(diǎn)發(fā)送給主機(jī),主機(jī)將AOF文件中該點(diǎn)之后的所有數(shù)據(jù)操作同步給從機(jī),達(dá)到增量同步的效果。
二、解決擴(kuò)容問題
Redis作者的思路是:Redis Presharding(http://oldblog.antirez.com/post/redis-presharding.html)
預(yù)算設(shè)定Redis instances數(shù)量,假設(shè)實(shí)例數(shù)量n,n = 機(jī)器數(shù)*單臺機(jī)器redis實(shí)例數(shù)
后期擴(kuò)展只需要將舊機(jī)器上的部分redis實(shí)例遷移到新的機(jī)器上,達(dá)到平滑擴(kuò)容。
遷移步驟如下:
在新的機(jī)器上創(chuàng)建實(shí)例,并且每個實(shí)例設(shè)置為被遷移實(shí)例的從機(jī)。
主從復(fù)制完成之后,設(shè)置程序?qū)⑿碌膶?shí)例作為主。
停止舊的實(shí)例
經(jīng)過如上步驟之后,舊機(jī)器的內(nèi)存就變大了,最后內(nèi)存最大為每臺機(jī)器一個Redis實(shí)例。
按作者文章中所說的,一個機(jī)器啟動多個實(shí)例,其實(shí)并不會耗費(fèi)太多資源,因?yàn)镽edis夠輕量,另外多個實(shí)例一個接一個的重寫AOF文件或者生成內(nèi)存快照,可以降低內(nèi)存的占用,而不影響對外的服務(wù)。
相關(guān)文章
redis5.0以上基于密碼認(rèn)證的集群cluster方式
這篇文章主要介紹了redis5.0以上基于密碼認(rèn)證的集群cluster方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-11-11Redis使用bloom-filter過濾器實(shí)現(xiàn)推薦去重
這篇文章主要介紹了Redis使用bloom-filter過濾器實(shí)現(xiàn)推薦去重,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-11-11SpringSession通過Redis統(tǒng)計(jì)在線用戶數(shù)量的實(shí)現(xiàn)代碼
這篇文章主要介紹了SpringSession通過Redis統(tǒng)計(jì)在線用戶數(shù)量,本文通過實(shí)例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2023-04-04Redis+Lua腳本實(shí)現(xiàn)計(jì)數(shù)器接口防刷功能(升級版)
這篇文章主要介紹了Redis+Lua腳本實(shí)現(xiàn)計(jì)數(shù)器接口防刷功能,使用腳本使得set命令和expire命令一同達(dá)到Redis被執(zhí)行且不會被干擾,在很大程度上保證了原子操作,對Redis實(shí)現(xiàn)計(jì)數(shù)器接口防刷功能感興趣的朋友一起看看吧2022-02-02Redis實(shí)現(xiàn)短信驗(yàn)證碼登錄的示例代碼
本文主要介紹了基于Redis如何實(shí)現(xiàn)短信驗(yàn)證碼登錄功能,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-06-06