淺析redis cluster介紹與gossip協(xié)議

更新時間：2020年09月08日 08:37:31 作者：MrMirror

這篇文章主要介紹了redis cluster介紹與gossip協(xié)議,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下

一、redis cluster 介紹

自動將數(shù)據(jù)進行分片，每個 master 上放一部分數(shù)據(jù)
提供內置的高可用支持，部分 master 不可用時，還是可以繼續(xù)工作的

redis cluster架構下的每個redis都要開放兩個端口號，比如一個是6379，另一個就是加1w的端口號16379。

6379端口號就是redis服務器入口。
16379端口號是用來進行節(jié)點間通信的，也就是 cluster bus 的東西，cluster bus 的通信，用來進行故障檢測、配置更新、故障轉移授權。cluster bus 用的是一種叫gossip 協(xié)議的二進制協(xié)議，用于節(jié)點間高效的數(shù)據(jù)交換，占用更少的網(wǎng)絡帶寬和處理時間。

二、節(jié)點間的內部通信機制

集群元數(shù)據(jù)的維護有兩種方式：集中式、Gossip 協(xié)議。
redis cluster 節(jié)點間采用 gossip 協(xié)議進行通信。

1. 集中式

將集群元數(shù)據(jù)集中存儲在一個節(jié)點上。典型代表是大數(shù)據(jù)領域的 storm。它是分布式的大數(shù)據(jù)實時計算引擎，是集中式的元數(shù)據(jù)存儲的結構，底層基于 zookeeper對所有元數(shù)據(jù)進行存儲維護。

優(yōu)點

元數(shù)據(jù)的讀取和更新時效性非常好，元數(shù)據(jù)的變更都能立即更新到集中式存儲節(jié)點中，其它節(jié)點讀取的時候就可以感知到；

缺點

所有的元數(shù)據(jù)的更新壓力全部集中在一個地方，可能會導致元數(shù)據(jù)的存儲有壓力。

2. gossip 協(xié)議

redis 維護集群元數(shù)據(jù)采用的是gossip 協(xié)議，所有節(jié)點都持有一份元數(shù)據(jù)，不同的節(jié)點如果出現(xiàn)了元數(shù)據(jù)的變更，就不斷將元數(shù)據(jù)發(fā)送給其它的節(jié)點，讓其它節(jié)點也進行元數(shù)據(jù)的變更。

優(yōu)點

元數(shù)據(jù)的更新比較分散，不是集中在一個地方，降低了壓力；

缺點

元數(shù)據(jù)的更新有延時，可能導致集群中的一些操作會有一些滯后。

三、深入剖析gossip 協(xié)議

gossip 協(xié)議包含多種消息，包含 ping、pong、meet、fail等等。

meet：某個節(jié)點在內部發(fā)送了一個gossip meet 消息給新加入的節(jié)點，通知那個節(jié)點去加入我們的集群。然后新節(jié)點就會加入到集群的通信中

redis-trib.rb add-node

ping：每個節(jié)點都會頻繁給其它節(jié)點發(fā)送 ping，其中包含自己的狀態(tài)還有自己維護的集群元數(shù)據(jù)，互相通過 ping 交換元數(shù)據(jù)。
pong：ping 和 meet消息的返回響應，包含自己的狀態(tài)和其它信息，也用于信息廣播和更新。
fail：某個節(jié)點判斷另一個節(jié)點 fail 之后，就發(fā)送 fail 給其它節(jié)點，通知其它節(jié)點說這個節(jié)點已宕機。

繼續(xù)深入剖析ping消息

ping 時要攜帶一些元數(shù)據(jù)，如果很頻繁，可能會加重網(wǎng)絡負擔。因此，一般每個節(jié)點每秒會執(zhí)行 10 次 ping，每次會選擇 5 個最久沒有通信的其它節(jié)點。
當然如果發(fā)現(xiàn)某個節(jié)點通信延時達到了 cluster_node_timeout / 2，那么立即發(fā)送 ping，避免數(shù)據(jù)交換延時過長導致信息嚴重滯后。比如說，兩個節(jié)點之間都 10 分鐘沒有交換數(shù)據(jù)了，那么整個集群處于嚴重的元數(shù)據(jù)不一致的情況，就會有問題。所以 cluster_node_timeout 可以調節(jié)，如果調得比較大，那么會降低 ping 的頻率。
每次 ping，會帶上自己節(jié)點的信息，還有就是帶上 1/10 其它節(jié)點的信息，發(fā)送出去，進行交換。至少包含 3 個其它節(jié)點的信息，最多包含總節(jié)點數(shù)減 2 個其它節(jié)點的信息。

10000 端口：
每個節(jié)點都有一個專門用于節(jié)點間通信的端口，就是自己提供服務的端口號+10000，比如 6379，那么用于節(jié)點間通信的就是16379端口。每個節(jié)點每隔一段時間都會往另外幾個節(jié)點發(fā)送 ping 消息，同時其它幾個節(jié)點接收到 ping 之后返回 pong。
交換的信息：信息包括故障信息，節(jié)點的增加和刪除，hash slot 信息等等。

總結

到此這篇關于redis cluster介紹與gossip協(xié)議的文章就介紹到這了,更多相關redis cluster和gossip協(xié)議內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: