分割超大Redis數(shù)據(jù)庫例子
薄荷 App 上的伙伴功能大量使用了內(nèi)存數(shù)據(jù)庫 Redis，隨著數(shù)據(jù)量的快速增長，Redis 膨脹得很快，已經(jīng)接近 12 GB規(guī)模，這些數(shù)據(jù)全部放在單個 Redis 實例中。單個巨大 Redis 實例有如下幾個壞處：
1.首先，需要一臺內(nèi)存很大的機器。Redis 是內(nèi)存數(shù)據(jù)庫，它需要把所有需求全部放在內(nèi)存中，需要為之裝下 12 GB的 Redis 實例，至少需要 12 GB 內(nèi)存大小的機器，考慮的預(yù)留增長空間，一般需要 12 * 1.5 約 18 GB 內(nèi)存。 另外還有一個考慮的因素是，Redis 進行硬盤數(shù)據(jù)存儲時，fork 進程需要消耗同樣大小的內(nèi)存，因此一個 12GB 的 redis 實例需要 32 GB左右的內(nèi)存比較合適，這對機器提出了很高的要求，常常難以滿足。
2.然后，Redis 容易成為性能瓶頸。Redis 的并發(fā)模型是單進程單線程，它不能充分利用多核 CPU，在請求數(shù)很高，或者某一些請求處理比較慢時（比如一些大的數(shù)據(jù)排序），可能會成為系統(tǒng)的性能瓶頸。有方法可以緩解甚至這個問題，就是建立多個 Redis 實例，通過多個 Redis 連接來實現(xiàn)。
3.另外，單個巨大的 Redis 實例也會增加數(shù)據(jù)管理難度，因為這么大的數(shù)據(jù)量，無論是復(fù)制，備份操作都比較慢，容易對線上系統(tǒng)造成沖擊。
因此，十分有必要把單個巨大的 Redis 實例分割成多個小的 Redis 實例。
使用 Redis 的復(fù)制機制，可以在線平滑處理 Redis 實例分割，幾乎不會對系統(tǒng)有很大的影響。
分割的具體操作思路如下：
1.首先，規(guī)劃 Redis 分割策略，通常是基于業(yè)務(wù)劃分，比如薄荷伙伴是基于業(yè)務(wù)分成 timeline, user_relationship, other 3個 Redis 實例。規(guī)劃好之后，需要根據(jù)規(guī)劃結(jié)果對應(yīng)用程序中 Redis 程序代碼做修改，通常是有一個統(tǒng)一的 Redis 鏈接修改為多個 Redis 連接，不同業(yè)務(wù)使用不同的連接。
2.然后，通過 Redis 復(fù)制功能建立多個 Redis 副本，讓不同 Redis 連接使用不同的 Redis 副本，在 Redis 副本中刪除多余的數(shù)據(jù)。批量刪除某個模式的 keys，可以使用下面的 shell 命令：
redis-cli KEYS "<pattern>" | xargs redis-cli DEL
改成實際的模式，如
redis-cli KEYS "user:*:followers" | xargs redis-cli DEL
表示刪除 user followers 數(shù)據(jù)。
最后通過來回切換并重啟 Redis 實例達到完全分割 Redis 實例。
相關(guān)文章
session存放在服務(wù)器，關(guān)閉瀏覽器不會失效，本文主要介紹了redis實現(xiàn)分布式session的解決方案，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-03-03
Redis數(shù)據(jù)結(jié)構(gòu)之intset整數(shù)集合使用學(xué)習(xí)
這篇文章主要為大家介紹了Redis數(shù)據(jù)結(jié)構(gòu)之整數(shù)集合使用學(xué)習(xí)，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-07-07
Redis是一種非關(guān)系型數(shù)據(jù)庫（NoSQL），NoSQL是以key-value的形式存儲，和傳統(tǒng)的關(guān)系型數(shù)據(jù)庫不一樣，不一定遵循傳統(tǒng)數(shù)據(jù)庫的一些基本要求,本文重點給大家介紹安裝Redis的步驟，需要的朋友參考下吧2018-11-11
這篇文章主要介紹了通過kubesphere部署redis的方法,本文給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-11-11
redisson作為分布式鎖能夠解決分布式的加鎖解鎖問題,還能夠?qū)崿F(xiàn)鎖的設(shè)置存活時間以及自動續(xù)期,本文主要介紹了redis中redisson實現(xiàn)鎖自動延時,感興趣的可以了解一下2024-02-02
在Redis中存儲NumPy數(shù)組（ndarray）通常需要將數(shù)組轉(zhuǎn)換為二進制格式，然后將其存儲為字符串，這篇文章給大家介紹了在redis中存儲ndarray的示例代碼，感興趣的朋友一起看看吧2024-02-02
Redis String 類型和 Hash 類型學(xué)習(xí)筆記與總結(jié)
這篇文章主要介紹了Redis String 類型和 Hash 類型學(xué)習(xí)筆記與總結(jié),本文分別對String 類型的一些方法和Hash 類型做了詳細介紹,需要的朋友可以參考下2015-06-06
Redis 作為一個獨立的三方系統(tǒng),其天生的優(yōu)勢就是可以作為一個分布式系統(tǒng)來使用,因此使用 Redis 實現(xiàn)的鎖都是分布式鎖,所以本文就給大家講講如何使用Redis實現(xiàn)分布式鎖,感興趣的小伙伴跟著小編來看看吧2023-08-08
這篇文章主要介紹了Redis不同數(shù)據(jù)類型使用場景代碼實例,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-12-12
Redis server 主從復(fù)制配置實現(xiàn)
從復(fù)制是指將一個Redis服務(wù)器的數(shù)據(jù)復(fù)制到其他Redis服務(wù)器的過程,本文主要介紹了Redis server 主從復(fù)制配置實現(xiàn),具有一定的參考價值,感興趣的可以了解一下2024-02-02