一、前言

Sentinel集群會(huì)對(duì)Redis的主從架構(gòu)中的Redis實(shí)例進(jìn)行監(jiān)控，一旦發(fā)現(xiàn)了master節(jié)點(diǎn)宕機(jī)了，就會(huì)選舉出一個(gè)Sentinel節(jié)點(diǎn)來(lái)執(zhí)行故障轉(zhuǎn)移，從原來(lái)的slave節(jié)點(diǎn)中選舉出一個(gè)，將其提升為master節(jié)點(diǎn)，然后讓其他的節(jié)點(diǎn)去復(fù)制新選舉出來(lái)的master節(jié)點(diǎn)。

你可能會(huì)覺(jué)得這樣沒(méi)有問(wèn)題啊，甚至能夠滿(mǎn)足我們生產(chǎn)環(huán)境的使用需求了，那我們?yōu)槭裁催€需要Redis Cluster呢？

二、為什么需要Redis Cluster

的確，在數(shù)據(jù)上，有replication副本做保證；可用性上，master宕機(jī)會(huì)自動(dòng)的執(zhí)行failover。

那問(wèn)題在哪兒呢？

首先Redis Sentinel說(shuō)白了也是基于主從復(fù)制，在主從復(fù)制中slave的數(shù)據(jù)是完全來(lái)自于master。

假設(shè)master節(jié)點(diǎn)的內(nèi)存只有4G，那slave節(jié)點(diǎn)所能存儲(chǔ)的數(shù)據(jù)上限也只能是4G。主從復(fù)制架構(gòu)中是讀寫(xiě)分離的，我們可以通過(guò)增加slave節(jié)點(diǎn)來(lái)擴(kuò)展主從的讀并發(fā)能力，但是寫(xiě)能力和存儲(chǔ)能力是無(wú)法進(jìn)行擴(kuò)展的，就只能是master節(jié)點(diǎn)能夠承載的上限。

所以，當(dāng)你只需要存儲(chǔ)4G的數(shù)據(jù)時(shí)候的，基于主從復(fù)制和基于Sentinel的高可用架構(gòu)是完全夠用的。

但是如果當(dāng)你面臨的是海量的數(shù)據(jù)的時(shí)候呢？16G、64G、256G甚至1T呢？現(xiàn)在互聯(lián)網(wǎng)的業(yè)務(wù)里面，如果你的體量足夠大，我覺(jué)得是肯定會(huì)面臨緩存海量緩存數(shù)據(jù)的場(chǎng)景的。

這就是為什么我們需要引入Redis Cluster。

三、Redis Cluster是什么

知道了為什么需要Redis Cluster之后，我們就可以來(lái)對(duì)其一探究竟了。

那什么是Redis Cluster呢？

很簡(jiǎn)單，你就可以理解為n個(gè)主從架構(gòu)組合在一起對(duì)外服務(wù)。Redis Cluster要求至少需要3個(gè)master才能組成一個(gè)集群，同時(shí)每個(gè)master至少需要有一個(gè)slave節(jié)點(diǎn)。

這樣一來(lái)，如果一個(gè)主從能夠存儲(chǔ)32G的數(shù)據(jù)，如果這個(gè)集群包含了兩個(gè)主從，則整個(gè)集群就能夠存儲(chǔ)64G的數(shù)據(jù)。

我們知道，主從架構(gòu)中，可以通過(guò)增加slave節(jié)點(diǎn)的方式來(lái)擴(kuò)展讀請(qǐng)求的并發(fā)量，那Redis Cluster中是如何做的呢？雖然每個(gè)master下都掛載了一個(gè)slave節(jié)點(diǎn)，但是在Redis Cluster中的讀、寫(xiě)請(qǐng)求其實(shí)都是在master上完成的。

slave節(jié)點(diǎn)只是充當(dāng)了一個(gè)數(shù)據(jù)備份的角色，當(dāng)master發(fā)生了宕機(jī)，就會(huì)將對(duì)應(yīng)的slave節(jié)點(diǎn)提拔為master，來(lái)重新對(duì)外提供服務(wù)。

四、節(jié)點(diǎn)負(fù)載均衡

知道了什么是Redis Cluster，我們就可以繼續(xù)下面的討論了。

不知道你思考過(guò)一個(gè)問(wèn)題沒(méi)，這么多的master節(jié)點(diǎn)。我存儲(chǔ)的時(shí)候，到底該選擇哪個(gè)節(jié)點(diǎn)呢？一般這種負(fù)載均衡算法，會(huì)選擇哈希算法。哈希算法是怎么做的呢？

首先就是對(duì)key計(jì)算出一個(gè)hash值，然后用哈希值對(duì)master數(shù)量進(jìn)行取模。由此就可以將key負(fù)載均衡到每一個(gè)Redis節(jié)點(diǎn)上去。這就是簡(jiǎn)單的哈希算法的實(shí)現(xiàn)。

那Redis Cluster是采取的上面的哈希算法嗎？答案是沒(méi)有。

Redis Cluster其實(shí)采取的是類(lèi)似于一致性哈希的算法來(lái)實(shí)現(xiàn)節(jié)點(diǎn)選擇的。那為什么不用哈希算法來(lái)進(jìn)行實(shí)例選擇呢？以及為什么說(shuō)是類(lèi)似的呢？我們繼續(xù)討論。

因?yàn)槿绻藭r(shí)某一臺(tái)master發(fā)生了宕機(jī)，那么此時(shí)會(huì)導(dǎo)致Redis中所有的緩存失效。為什么是所有的？假設(shè)之前有3個(gè)master，那么之前的算法應(yīng)該是 hash % 3，但是如果其中一臺(tái)master宕機(jī)了，則算法就會(huì)變成 hash % 2，會(huì)影響到之前存儲(chǔ)的所有的key。而這對(duì)緩存后面保護(hù)的DB來(lái)說(shuō)，是致命的打擊。

五、什么是一致性哈希

知道了通過(guò)傳統(tǒng)哈希算法來(lái)實(shí)現(xiàn)對(duì)節(jié)點(diǎn)的負(fù)載均衡的弊端，我們就需要進(jìn)一步了解什么是一致性哈希。

我們上面提過(guò)哈希算法是對(duì)master實(shí)例數(shù)量來(lái)取模，而一致性哈希則是對(duì)2^32取模，也就是值的范圍在[0, 2^32 -1]。一致性哈希將其范圍抽象成了一個(gè)圓環(huán)，使用CRC16算法計(jì)算出來(lái)的哈希值會(huì)落到圓環(huán)上的某個(gè)地方。

然后我們的Redis實(shí)例也分布在圓環(huán)上，我們?cè)趫A環(huán)上按照順時(shí)針的順序找到第一個(gè)Redis實(shí)例，這樣就完成了對(duì)key的節(jié)點(diǎn)分配。我們舉個(gè)例子。

假設(shè)我們有A、B、C三個(gè)Redis實(shí)例按照如圖所示的位置分布在圓環(huán)上，此時(shí)計(jì)算出來(lái)的hash值，取模之后位置落在了位置D，那么我們按照順時(shí)針的順序，就能夠找到我們這個(gè)key應(yīng)該分配的Redis實(shí)例B。同理如果我們計(jì)算出來(lái)位置在E，那么對(duì)應(yīng)選擇的Redis的實(shí)例就是A。

即使這個(gè)時(shí)候Redis實(shí)例B掛了，也不會(huì)影響到實(shí)例A和C的緩存。

例如此時(shí)節(jié)點(diǎn)B掛了，那之前計(jì)算出來(lái)在位置D的key，此時(shí)會(huì)按照順時(shí)針的順序，找到節(jié)點(diǎn)C。相當(dāng)于自動(dòng)的把原來(lái)節(jié)點(diǎn)B的流量給轉(zhuǎn)移到了節(jié)點(diǎn)C上去。而其他原本就在節(jié)點(diǎn)A和節(jié)點(diǎn)C的數(shù)據(jù)則完全不受影響。

這就是一致性哈希，能夠在我們后續(xù)需要新增節(jié)點(diǎn)或者刪除節(jié)點(diǎn)的時(shí)候，不影響其他節(jié)點(diǎn)的正常運(yùn)行。

六、虛擬節(jié)點(diǎn)機(jī)制

但是一致性哈希也存在自身的小問(wèn)題，例如當(dāng)我們的Redis節(jié)點(diǎn)分布如下時(shí)，就有問(wèn)題了。

此時(shí)數(shù)據(jù)落在節(jié)點(diǎn)A上的概率明顯是大于其他兩個(gè)節(jié)點(diǎn)的，其次落在節(jié)點(diǎn)C上的概率最小。這樣一來(lái)會(huì)導(dǎo)致整個(gè)集群的數(shù)據(jù)存儲(chǔ)不平衡，AB節(jié)點(diǎn)壓力較大，而C節(jié)點(diǎn)資源利用不充分。為了解決這個(gè)問(wèn)題，一致性哈希算法引入了虛擬節(jié)點(diǎn)機(jī)制。

virtual-dom

在圓環(huán)中，增加了對(duì)應(yīng)節(jié)點(diǎn)的虛擬節(jié)點(diǎn)，然后完成了虛擬節(jié)點(diǎn)到真實(shí)節(jié)點(diǎn)的映射。假設(shè)現(xiàn)在計(jì)算得出了位置D，那么按照順時(shí)針的順序，我們找到的第一個(gè)節(jié)點(diǎn)就是C #1，最終數(shù)據(jù)實(shí)際還是會(huì)落在節(jié)點(diǎn)C上。

通過(guò)增加虛擬節(jié)點(diǎn)的方式，使ABC三個(gè)節(jié)點(diǎn)在圓環(huán)上的位置更加均勻，平均了落在每一個(gè)節(jié)點(diǎn)上的概率。這樣一來(lái)就解決了上文提到的數(shù)據(jù)存儲(chǔ)存在不均勻的問(wèn)題了，這就是一致性哈希的虛擬節(jié)點(diǎn)機(jī)制。

七、Redis Cluster采用的什么算法

上面提到過(guò)，Redis Cluster采用的是類(lèi)一致性哈希算法，之所以是類(lèi)一致性哈希算法是因?yàn)樗鼈儗?shí)現(xiàn)的方式還略微有差別。

例如一致性哈希是對(duì)2^32取模，而Redis Cluster則是對(duì)2^14（也就是16384）取模。Redis Cluster將自己分成了16384個(gè)Slot（槽位）。通過(guò)CRC16算法計(jì)算出來(lái)的哈希值會(huì)跟16384取模，取模之后得到的值就是對(duì)應(yīng)的槽位，然后每個(gè)Redis節(jié)點(diǎn)都會(huì)負(fù)責(zé)處理一部分的槽位，就像下表這樣。

每個(gè)Redis實(shí)例會(huì)自己維護(hù)一份slot - Redis節(jié)點(diǎn)的映射關(guān)系，假設(shè)你在節(jié)點(diǎn)A上設(shè)置了某個(gè)key，但是這個(gè)key通過(guò)CRC16計(jì)算出來(lái)的槽位是由節(jié)點(diǎn)B維護(hù)的，那么就會(huì)提示你需要去節(jié)點(diǎn)B上進(jìn)行操作。

slot-to-node

八、Redis Cluster如何做到高可用

不知道你思考過(guò)一個(gè)問(wèn)題沒(méi)，如果Redis Cluster中的某個(gè)master節(jié)點(diǎn)掛了，它是如何保證集群自身的高可用的？如果這個(gè)時(shí)候我們集群需要擴(kuò)容節(jié)點(diǎn)，它該負(fù)責(zé)哪些槽位呢？我們一個(gè)一個(gè)問(wèn)題的來(lái)看一下。

8.1、集群如何進(jìn)行擴(kuò)容

我們開(kāi)篇聊過(guò)，Redis Cluster可以很方便的進(jìn)行橫向擴(kuò)容，那當(dāng)新的節(jié)點(diǎn)加入進(jìn)來(lái)的時(shí)候，它是如何獲取對(duì)應(yīng)的slot的呢？

答案是通過(guò)reshard（重新分片）來(lái)實(shí)現(xiàn)。reshard可以將已經(jīng)分配給某個(gè)節(jié)點(diǎn)的任意數(shù)量的slot遷移給另一個(gè)節(jié)點(diǎn)，在Redis內(nèi)部是由redis-trib負(fù)責(zé)執(zhí)行的。你可以理解為Redis其實(shí)已經(jīng)封裝好了所有的命令，而redis-trib則負(fù)責(zé)向獲取slot的節(jié)點(diǎn)和被轉(zhuǎn)移slot的節(jié)點(diǎn)發(fā)送命令來(lái)最終實(shí)現(xiàn)reshard。

假設(shè)我們需要向集群中加入一個(gè)D節(jié)點(diǎn)，而此時(shí)集群內(nèi)已經(jīng)有A、B、C三個(gè)節(jié)點(diǎn)了。

此時(shí)redis-trib會(huì)向A、B、C三個(gè)節(jié)點(diǎn)發(fā)送遷移出槽位的請(qǐng)求，同時(shí)向D節(jié)點(diǎn)發(fā)送準(zhǔn)備導(dǎo)入槽位的請(qǐng)求，做好準(zhǔn)備之后A、B、C這三個(gè)源節(jié)點(diǎn)就開(kāi)始執(zhí)行遷移，將對(duì)應(yīng)的slot所對(duì)應(yīng)的鍵值對(duì)遷移至目標(biāo)節(jié)點(diǎn)D。最后redis-trib會(huì)向集群中所有主節(jié)點(diǎn)發(fā)送槽位的變更信息。

8.2、高可用及故障轉(zhuǎn)移

Redis Cluster中保證集群高可用的思路和實(shí)現(xiàn)和Redis Sentinel如出一轍

簡(jiǎn)單來(lái)說(shuō)，針對(duì)A節(jié)點(diǎn)，某一個(gè)節(jié)點(diǎn)認(rèn)為A宕機(jī)了，那么此時(shí)是主觀宕機(jī)。而如果集群內(nèi)超過(guò)半數(shù)的節(jié)點(diǎn)認(rèn)為A掛了， 那么此時(shí)A就會(huì)被標(biāo)記為客觀宕機(jī)。

一旦節(jié)點(diǎn)A被標(biāo)記為了客觀宕機(jī)，集群就會(huì)開(kāi)始執(zhí)行故障轉(zhuǎn)移。其余正常運(yùn)行的master節(jié)點(diǎn)會(huì)進(jìn)行投票選舉，從A節(jié)點(diǎn)的slave節(jié)點(diǎn)中選舉出一個(gè)，將其切換成新的master對(duì)外提供服務(wù)。當(dāng)某個(gè)slave獲得了超過(guò)半數(shù)的master節(jié)點(diǎn)投票，就成功當(dāng)選。

cluster-failover

當(dāng)選成功之后，新的master會(huì)執(zhí)行slaveof no one來(lái)讓自己停止復(fù)制A節(jié)點(diǎn)，使自己成為master。然后將A節(jié)點(diǎn)所負(fù)責(zé)處理的slot，全部轉(zhuǎn)移給自己，然后就會(huì)向集群發(fā)PONG消息來(lái)廣播自己的最新?tīng)顟B(tài)。

按照一致性哈希的思想，如果某個(gè)節(jié)點(diǎn)掛了，那么就會(huì)沿著那個(gè)圓環(huán)，按照順時(shí)針的順序找到遇到的第一個(gè)Redis實(shí)例。

而對(duì)于Redis Cluster，某個(gè)key它其實(shí)并不關(guān)心它最終要去到哪個(gè)節(jié)點(diǎn)，他只關(guān)心他最終落到哪個(gè)slot上，無(wú)論你節(jié)點(diǎn)怎么去遷移，最終還是只需要找到對(duì)應(yīng)的slot，然后再找到slot關(guān)聯(lián)的節(jié)點(diǎn)，最終就能夠找到最終的Redis實(shí)例了。

那這個(gè)PONG消息又是什么東西呢？別急，下面就會(huì)聊到。

九、簡(jiǎn)單了解gossip協(xié)議

這就是Redis Cluster各個(gè)節(jié)點(diǎn)之間交換數(shù)據(jù)、通信所采用的一種協(xié)議，叫做gossip。


gossip: 流言、八卦、小道消息

gossip是在1989年的論文上提出的，我看了一堆資料都說(shuō)的是1987年發(fā)表的，但是文章里的時(shí)間明確是1989年1月份發(fā)表。

image-20201215100703648

感興趣的可以去看看Epidemic Algorithms for Replicated . Database Maintenance，在當(dāng)時(shí)提出gossip主要是為了解決在分布式數(shù)據(jù)庫(kù)中，各個(gè)副本節(jié)點(diǎn)的數(shù)據(jù)同步問(wèn)題。但隨著技術(shù)的發(fā)展，gossip后續(xù)也被廣泛運(yùn)用于信息擴(kuò)散、故障探測(cè)等等。

Redis Cluster就是利用了gossip來(lái)實(shí)現(xiàn)自身的信息擴(kuò)散的。那使用gossip具體是如何通信的呢？

gossip

很簡(jiǎn)單，就像圖里這樣。每個(gè)Redis節(jié)點(diǎn)每秒鐘都會(huì)向其他的節(jié)點(diǎn)發(fā)送PING，然后被PING的節(jié)點(diǎn)會(huì)回一個(gè)PONG。

十、gossip協(xié)議消息類(lèi)型

Redis Cluster中，節(jié)點(diǎn)之間的消息類(lèi)型有5種，分別是MEET、PING、PONG、FAIL和PUBLISH。這些消息分別傳遞了什么內(nèi)容呢？我簡(jiǎn)單總結(jié)了一下。

最新評(píng)論