一、高可用

什么是高可用

在web服務(wù)器中，高可用是指服務(wù)器可以正常訪問(wèn)的時(shí)間，衡量的標(biāo)準(zhǔn)是在多長(zhǎng)時(shí)間內(nèi)可以提供正常服務(wù)(99.9%、99.99%、99.999%等等)。

但是在Redis語(yǔ)境中，高可用的含義似乎要寬泛一些，除了保證提供正常服務(wù)( 如主從分離、快速容災(zāi)技術(shù))，還需要考慮數(shù)據(jù)容量的擴(kuò)展、數(shù)據(jù)安全不會(huì)丟失等。

Redis的高可用

Redis中，實(shí)現(xiàn)高可用的技術(shù)主要包括持久化、主從復(fù)制、哨兵和cluster集群

持久化：持久化是最簡(jiǎn)單的高可用方法（有時(shí)甚至不被歸為高可用的手段），主要作用是數(shù)據(jù)備份，即將數(shù)據(jù)存儲(chǔ)在硬盤(pán)，保證數(shù)據(jù)不會(huì)因進(jìn)程退出而丟失。

主從復(fù)制：主從復(fù)制是高可用Redis的基礎(chǔ)，哨兵和集群都是在主從復(fù)制基礎(chǔ)上實(shí)現(xiàn)高可用的。主從復(fù)制主要實(shí)現(xiàn)了數(shù)據(jù)的多機(jī)備份（和同步），以及對(duì)于讀操作的負(fù)載均衡和簡(jiǎn)單的故障恢復(fù)。

缺陷：故障恢復(fù)無(wú)法自動(dòng)化，寫(xiě)操作無(wú)法負(fù)載均衡，存儲(chǔ)能力受到單機(jī)的限制。

哨兵：在主從復(fù)制的基礎(chǔ)上，哨兵實(shí)現(xiàn)了自動(dòng)化的故障恢復(fù)。（主掛了，找一個(gè)從成為新的主，哨兵節(jié)點(diǎn)進(jìn)行監(jiān)控）

缺陷：寫(xiě)操作無(wú)法負(fù)載均衡，存儲(chǔ)能力受到單機(jī)的限制；哨兵無(wú)法對(duì)從節(jié)點(diǎn)進(jìn)行自動(dòng)故障轉(zhuǎn)移，在讀寫(xiě)分離場(chǎng)景下，從節(jié)點(diǎn)故障會(huì)導(dǎo)致讀服務(wù)不可用，需要對(duì)從節(jié)點(diǎn)做額外的監(jiān)控、切換操作。

Cluster集群：通過(guò)集群，Redis解決了寫(xiě)操作無(wú)法負(fù)載均衡，以及存儲(chǔ)能力受到單機(jī)限制的問(wèn)題，實(shí)現(xiàn)了較為完善的高可用方案（6臺(tái)起步，成雙成對(duì)，3主3從）

二、Redis持久化

持久化功能

Redis是內(nèi)存數(shù)據(jù)庫(kù)，數(shù)據(jù)都是存儲(chǔ)在內(nèi)存中，為了避免服務(wù)器斷電等原因?qū)е翿edis進(jìn)程異常退出后數(shù)據(jù)的永久丟失，需要定期將Redis中的數(shù)據(jù)以某種形式（數(shù)據(jù)或命令）從內(nèi)存保存到硬盤(pán)；當(dāng)下次Redis重啟時(shí)，利用持久化文件實(shí)現(xiàn)數(shù)據(jù)恢復(fù)。除此之外，為了進(jìn)行災(zāi)難備份，可以將持久化文件拷貝到一個(gè)遠(yuǎn)程位置。

災(zāi)難備份：一般做異地備份，發(fā)生災(zāi)難后切換節(jié)點(diǎn)。

Redis提供兩種方式進(jìn)行持久化

• RDB持久化：原理是將Redis在內(nèi)存中的數(shù)據(jù)庫(kù)記錄定時(shí)保存到磁盤(pán)上。（定時(shí)對(duì)內(nèi)存中的數(shù)據(jù)生成快照，以文件形式保存在硬盤(pán)中）
• AOF持久化（append only file）：原理是將Reids 的操作日志以追加的方式寫(xiě)入文件，類(lèi)似于MySQL的binlog。（類(lèi)似于Mysql的二進(jìn)制日志）（以追加的方式將寫(xiě)和刪的操作命令記錄到AOF文件中）

由于AOF持久化的實(shí)時(shí)性更好，即當(dāng)進(jìn)程意外退出時(shí)丟失的數(shù)據(jù)更少，因此AOF是目前主流的持久化方式，不過(guò)RDB持久化仍然有其用武之地。（RDB體積小，恢復(fù)速度更快。對(duì)性能影響較小。

RDB持久化

RDB持久化是指在指定的時(shí)間間隔內(nèi)將內(nèi)存中當(dāng)前進(jìn)程中的數(shù)據(jù)生成快照保存到硬盤(pán)（因此也稱(chēng)作快照持久化），用二進(jìn)制壓縮存儲(chǔ)，保存的文件后綴是rdb；當(dāng)Redis重新啟動(dòng)時(shí)，可以讀取快照文件恢復(fù)數(shù)據(jù)。

 觸發(fā)條件

RDB持久化的觸發(fā)分為手動(dòng)觸發(fā)和自動(dòng)觸發(fā)

手動(dòng)觸發(fā)

save命令和bgsave命令都可以生成RDB文件

save命令阻塞Redis服務(wù)器進(jìn)程，直到RDB文件創(chuàng)建完畢為止，在Redis服務(wù)器阻塞期間，服務(wù)器不能處理任何命令請(qǐng)求。

bgsave命令會(huì)創(chuàng)建一個(gè)子進(jìn)程，由子進(jìn)程來(lái)負(fù)責(zé)創(chuàng)建RDB文件，父進(jìn)程（即Redis主進(jìn)程）則繼續(xù)處理請(qǐng)求。

bgsave命令執(zhí)行過(guò)程中，只有fork子進(jìn)程時(shí)會(huì)阻塞服務(wù)器，而對(duì)于save命令，整個(gè)過(guò)程都會(huì)阻塞服務(wù)器，因此save已基本被廢棄，線上環(huán)境要杜絕save的使用。

自動(dòng)觸發(fā)

在自動(dòng)觸發(fā)RDB持久化時(shí)，Redis也會(huì)選擇bgsave而不是save來(lái)進(jìn)行持久化。

自動(dòng)觸發(fā)最常見(jiàn)的情況是在配置文件中通過(guò)save m n 指定當(dāng)m秒內(nèi)發(fā)生n次變化時(shí)，會(huì)觸發(fā)bgsave。

vim /etc/redis/6379.conf219行以下三個(gè)save條件滿足任意一個(gè)時(shí)，都會(huì)引起bgsave的調(diào)用save 900 1      #當(dāng)時(shí)間到900秒時(shí)，如果redis數(shù)據(jù)發(fā)生了至少1次變化，則執(zhí)行bgsavesave 300 10     #當(dāng)時(shí)間到300秒時(shí)，如果redis數(shù)據(jù)發(fā)生了至少10次變化，則執(zhí)行bgsavesave 60 10000   #當(dāng)時(shí)間到60秒時(shí)，如果redis數(shù)據(jù)發(fā)生了至少10000次變化，則執(zhí)行bgsave242行開(kāi)啟RDB文件壓縮rdbcompression yes254行 指定RDB文件名dbfilename dump.rdb264行 指定RDB文件和AOF文件所在目錄dir /var/lib/redis/6379

由此可見(jiàn)RDB時(shí)效性不夠，最快也需60秒備份一次，如果50幾秒服務(wù)器宕了，則備份失敗

其他觸發(fā)機(jī)制

除savemn以外，還有其他情況也會(huì)觸發(fā)

• 在主從復(fù)制場(chǎng)景下，如果從節(jié)點(diǎn)執(zhí)行全量復(fù)制操作，則主節(jié)點(diǎn)會(huì)執(zhí)行bgsave命令，并將rdb文件發(fā)送給從節(jié)點(diǎn)。
• 執(zhí)行shutdown命令時(shí)，自動(dòng)執(zhí)行rdb持久化。

bgsave執(zhí)行流程

1、Redis父進(jìn)程首先判斷：當(dāng)前是否在執(zhí)行save，或 bgsave/ bgrewriteaof 的子進(jìn)程，如果在執(zhí)行則bgsave命令直接返回。

• bgsave/bgrewriteaof 的子進(jìn)程不能同時(shí)執(zhí)行，主要是基于性能方面的考慮：兩個(gè)并發(fā)的子進(jìn)程同時(shí)執(zhí)行大量的磁盤(pán)寫(xiě)操作，可能引起嚴(yán)重的性能問(wèn)題。

2、父進(jìn)程執(zhí)行fork操作創(chuàng)建子進(jìn)程，這個(gè)過(guò)程中父進(jìn)程是阻塞的，Redis不能執(zhí)行來(lái)自客戶(hù)端的任何命令。

3、父進(jìn)程fork后，bgsave 命令返回"Background saving started" 信息并不再阻塞父進(jìn)程，并可以響應(yīng)其他命令。

4、子進(jìn)程創(chuàng)建RDB文件，根據(jù)父進(jìn)程內(nèi)存快照生成臨時(shí)快照文件，完成后對(duì)原有文件進(jìn)行原子替換。（原子替換：文件整體替換，要么都發(fā)生，要么都不發(fā)生）

5、子進(jìn)程發(fā)送信號(hào)給父進(jìn)程表示完成，父進(jìn)程更新統(tǒng)計(jì)信息。

啟動(dòng)時(shí)加載

• RDB文件的載入工作是在服務(wù)器啟動(dòng)時(shí)自動(dòng)執(zhí)行的，并沒(méi)有專(zhuān)門(mén)的命令。但是由于AOF的優(yōu)先級(jí)更高，因此當(dāng)AOF開(kāi)啟時(shí)，Redis會(huì)優(yōu)先載入AOF文件來(lái)恢復(fù)數(shù)據(jù)；只有當(dāng)AOF關(guān)閉時(shí)，才會(huì)在Redis服務(wù)器啟動(dòng)時(shí)檢測(cè)RDB文件，并自動(dòng)載入。 服務(wù)器載入RDB文件期間處于阻塞狀態(tài)，直到載入完成為止。
• Redis載入RDB文件時(shí)，會(huì)對(duì)RDB文件進(jìn)行校驗(yàn)，如果文件損壞，則日志中會(huì)打印錯(cuò)誤，Redis啟動(dòng)失敗。

AOF持久化

• RDB持久化是將進(jìn)程數(shù)據(jù)寫(xiě)入文件，而AOF持久化，則是將Redis執(zhí)行的每次寫(xiě)、刪除命令記錄到單獨(dú)的日志文件中，查詢(xún)操作不會(huì)記錄。
• 當(dāng)Redis重啟時(shí)再次執(zhí)行AOF文件中的命令來(lái)恢復(fù)數(shù)據(jù)。（重放命令進(jìn)行恢復(fù)）。
• 與RDB相比，AOF的實(shí)時(shí)性更好，因此已成為主流的持久化方案。

開(kāi)啟AOF

Redis服務(wù)器默認(rèn)開(kāi)啟RDB，在/etc/redis/6379.conf配置文件中

/etc/init.d/redis_6379 restart

#重啟redis

執(zhí)行流程

由于需要記錄Redis的每條寫(xiě)命令，因此AOF不需要觸發(fā)。

流程包括：

• 命令追加：將Redis的寫(xiě)命令追加到緩沖區(qū)aof_buf
• 文件寫(xiě)入和文件同步：根據(jù)不同的同步策略將aof_buf中的內(nèi)容同步到硬盤(pán)
• 文件重寫(xiě)：定期重寫(xiě)AOF文件，達(dá)到壓縮目的（將過(guò)期數(shù)據(jù)、無(wú)效命令、多條命令，進(jìn)行壓縮或刪除）

命令追加

• Redis先將寫(xiě)命令追加到緩沖區(qū)，而不是直接寫(xiě)入文件，主要是為了避免每次有寫(xiě)命令都直接寫(xiě)入硬盤(pán)，導(dǎo)致硬盤(pán)IO成為Redis負(fù)載的瓶頸。
• 命令追加的格式是Redis命令請(qǐng)求的協(xié)議格式，它是一種純文本格式，具有兼容性好、可讀性強(qiáng)、容易處理、操作簡(jiǎn)單避免二次開(kāi)銷(xiāo)等優(yōu)點(diǎn)。
• 在AOF文件中，除了用于指定數(shù)據(jù)庫(kù)的select命令（如select 0為選中0號(hào)數(shù)據(jù)庫(kù)）是由Redis添加的， 其他都是客戶(hù)端發(fā)送來(lái)的寫(xiě)命令。

文件寫(xiě)入和文件同步

Redis提供了多種AOF緩存區(qū)的同步文件策略，策略涉及到操作系統(tǒng)的write函數(shù)和fsync函數(shù)，說(shuō)明如下：

• 為了提高文件寫(xiě)入效率，在現(xiàn)代操作系統(tǒng)中，當(dāng)用戶(hù)調(diào)用write函數(shù)將數(shù)據(jù)寫(xiě)入文件時(shí)，操作系統(tǒng)通常會(huì)將數(shù)據(jù)暫存到一個(gè)內(nèi)存緩沖區(qū)里，當(dāng)緩沖區(qū)被填滿或超過(guò)了指定時(shí)限后，才真正將緩沖區(qū)的數(shù)據(jù)寫(xiě)入到硬盤(pán)里。
• 這樣的操作雖然提高了效率，但也帶來(lái)了安全問(wèn)題：如果計(jì)算機(jī)停機(jī)，內(nèi)存緩沖區(qū)中的數(shù)據(jù)會(huì)丟失。因此系統(tǒng)同時(shí)提供了fsync、fdatasync等同步函數(shù)，可以強(qiáng)制操作系統(tǒng)立刻將緩沖區(qū)中的數(shù)據(jù)寫(xiě)入到硬盤(pán)里，從而確保數(shù)據(jù)的安全性。

AOF緩存區(qū)的同步文件策略存在三種同步方式

• appendfsync always：命令寫(xiě)入aof_buf后立即調(diào)用系統(tǒng)fsync操作同步到AOF文件。安全性高，性能低。
• appendfsync no：當(dāng)緩沖區(qū)被填滿或超過(guò)了指定時(shí)限后（默認(rèn)30秒），才將緩沖區(qū)的數(shù)據(jù)寫(xiě)入到硬盤(pán)里。性能高，但安全性低。
• appendfsync everysec：每秒同步一次，是性能和數(shù)據(jù)安全性的平衡，因此是Redis的默認(rèn)配置。

文件重寫(xiě)

• 隨著時(shí)間流逝，Redis服務(wù)器執(zhí)行的寫(xiě)命令越來(lái)越多，AOF文件也會(huì)越來(lái)越大；過(guò)大的AOF文件不僅會(huì)影響服務(wù)器的正常運(yùn)行，也會(huì)導(dǎo)致數(shù)據(jù)恢復(fù)需要的時(shí)間過(guò)長(zhǎng)。
• 文件重寫(xiě)是指定期重寫(xiě)AOF文件，減小AOF文件的體積。需要注意的是，AOF 重寫(xiě)是把Redis進(jìn)程內(nèi)的數(shù)據(jù)轉(zhuǎn)化為寫(xiě)命令，同步到新的AOF文件；不會(huì)對(duì)舊的AOF文件進(jìn)行任何讀取、寫(xiě)入操作！
• 關(guān)于文件重寫(xiě)需要注意的另一點(diǎn)是：對(duì)于AOF持久化來(lái)說(shuō)，文件重寫(xiě)雖然是強(qiáng)烈推薦的，但并不是必須的；即使沒(méi)有文件重寫(xiě)，數(shù)據(jù)也可以被持久化并在Redis啟動(dòng)的時(shí)候?qū)?。因此在一些現(xiàn)實(shí)中，會(huì)關(guān)閉自動(dòng)的文件重寫(xiě)，然后通過(guò)定時(shí)任務(wù)在每天的某一時(shí)刻定時(shí)執(zhí)行。

文件重寫(xiě)之所以能夠壓縮AOF文件，是因?yàn)?/p>

• 過(guò)期的數(shù)據(jù)不再寫(xiě)入文件。
• 無(wú)效的命令不再寫(xiě)入文件：如有些數(shù)據(jù)被重復(fù)設(shè)值（set key v1, set key v2）、 有些數(shù)據(jù)被刪除了（set myset vl, del myset）等。
• 多條命令可以合并為一個(gè)：如sadd myset v1, sadd myset v2, sadd myset v3可以合并為sadd myset v1 v2 v3。（sadd添加集合）

rewrite之后aof文件會(huì)保存keys的最后狀態(tài)，清除掉之前冗余的，來(lái)縮小這個(gè)文件。

由此可以看出，由于重寫(xiě)后AOF執(zhí)行的命令減少了，文件重寫(xiě)既可以減少文件占用的空間，也可以加快恢復(fù)速度。

文件重寫(xiě)的觸發(fā)方式

• 手動(dòng)觸發(fā)： 直接調(diào)用bgrewriteaof命令，該命令的執(zhí)行與bgsave有些類(lèi)似：都是fork子進(jìn)程進(jìn)行具體的工作，且都只有在fork時(shí)阻塞。
• 自動(dòng)觸發(fā)： 通過(guò)設(shè)置auto-aof-rewrite-min-size選項(xiàng)和auto-aof-rewrite-percentage選項(xiàng)來(lái)自動(dòng)執(zhí)行BGREWRITEAOF。

只有當(dāng)這兩個(gè)選項(xiàng)同時(shí)滿足，才會(huì)自動(dòng)觸發(fā)AOF重寫(xiě)

 auto-aof-rewrite-percentage 100    

#文件的大小超過(guò)基準(zhǔn)百分之多少后觸發(fā)bgrewriteaof。默認(rèn)這個(gè)值設(shè)置為100，意味著當(dāng)前aof是基準(zhǔn)大小的兩倍的時(shí)候觸發(fā)bgrewriteaof。把它設(shè)置為0可以禁用自動(dòng)觸發(fā)的功能。 即當(dāng)前AOF文件大小(即aof_current_size)是上次日志重寫(xiě)時(shí)AOF文件大小(aof_base_size)兩倍時(shí)，發(fā)生BGREWRITEAOF操作。 注意：例如上次文件達(dá)到100M進(jìn)行重寫(xiě)，那么這次需要達(dá)到200M時(shí)才進(jìn)行重寫(xiě)。文件需要越來(lái)越大，所以一般不使用自動(dòng)重寫(xiě)。如果使用自動(dòng)重寫(xiě)，需要定期手動(dòng)重寫(xiě)干預(yù)一次，讓文件要求恢復(fù)到100M。

auto-aof-rewrite-min-size 64mb    

 #當(dāng)文件大于64M時(shí)才會(huì)進(jìn)行重寫(xiě)  #當(dāng)前aof文件大于多少字節(jié)后才觸發(fā)。當(dāng)前AOF文件執(zhí)行BGREWRITEAOF命令的最小值，避免剛開(kāi)始啟動(dòng)Reids時(shí)由于文件尺寸較小導(dǎo)致頻繁的BGREWRITEAOF

文件重寫(xiě)流程

（1）Redis父進(jìn)程首先判斷當(dāng)前是否存在正在執(zhí)行bgsave/bgrewriteaof的子進(jìn)程，如果存在則bgrewriteaof命令直接返回，如果存在bgsave命令則等bgsave執(zhí)行完成后再執(zhí)行。（正常情況下使用AOF就會(huì)使用AOF進(jìn)行記錄，不會(huì)使用RDB。主從復(fù)制時(shí)會(huì)自動(dòng)觸發(fā)bgsave命令）

（2）父進(jìn)程執(zhí)行fork操作創(chuàng)建子進(jìn)程，這個(gè)過(guò)程中父進(jìn)程是阻塞的（無(wú)法接受任何客戶(hù)端的請(qǐng)求）。

（3.1）父進(jìn)程fork后，bgrewriteaof 命令返回"Background append only file rewrite started" 信息并不再阻塞父進(jìn)程，并可以響應(yīng)其他命令。Redis的所有寫(xiě)命令依然寫(xiě)入AOF緩沖區(qū)，并根據(jù)appendfsync策略同步到硬盤(pán)，保證原有AOF機(jī)制的正確。

（3.2）由于fork操作使用寫(xiě)時(shí)復(fù)制技術(shù)，子進(jìn)程只能共享fork操作時(shí)的內(nèi)存數(shù)據(jù)。由于父進(jìn)程依然在響應(yīng)命令，因此Redis使用AOF重寫(xiě)緩沖區(qū)(aof_rewrite_ buf)保存這部分?jǐn)?shù)據(jù)，防止新AOF文件生成期間丟失這部分?jǐn)?shù)據(jù)。也就是說(shuō)，bgrewriteaof執(zhí)行期間，Redis的寫(xiě)命令同時(shí)追加到aof_ buf和aof_rewirte_ buf兩個(gè)緩沖區(qū)。 （保證新寫(xiě)入的數(shù)據(jù)不丟失）

（4）子進(jìn)程根據(jù)內(nèi)存快照，按照命令合并規(guī)則寫(xiě)入到新的AOF文件。

（5.1）子進(jìn)程寫(xiě)完新的AOF文件后，向父進(jìn)程發(fā)信號(hào)，父進(jìn)程更新統(tǒng)計(jì)信息，具體可以通過(guò)info persistence查看。

（5.2）父進(jìn)程把AOF重寫(xiě)緩沖區(qū)的數(shù)據(jù)寫(xiě)入到新的AOF文件，這樣就保證了新AOF文件所保存的數(shù)據(jù)庫(kù)狀態(tài)和服務(wù)器當(dāng)前狀態(tài)一致。

（5.3）使用新的AOF文件替換老文件，完成AOF重寫(xiě)。（替換是原子性的）

 啟動(dòng)時(shí)加載

• 當(dāng)AOF開(kāi)啟時(shí)，Redis啟動(dòng)時(shí)會(huì)優(yōu)先載入AOF文件來(lái)恢復(fù)數(shù)據(jù)；只有當(dāng)AOF關(guān)閉時(shí)，才會(huì)載入RDB文件恢復(fù)數(shù)據(jù)。
• 當(dāng)AOF開(kāi)啟，但AOF文件不存在時(shí)，即使RDB文件存在也不會(huì)加載。
• Redis載入AOF文件時(shí)，會(huì)對(duì)AOF文件進(jìn)行校驗(yàn)，如果文件損壞，則日志中會(huì)打印錯(cuò)誤，Redis啟動(dòng)失敗。但如果是AOF文件結(jié)尾不完整（機(jī)器突然宕機(jī)等容易導(dǎo)致文件尾部不完整），且aof-load-truncated參數(shù)開(kāi)啟，則日志中會(huì)輸出警告，Redis忽略掉AOF文件的尾部，啟動(dòng)成功。aof-load-truncated參數(shù)默認(rèn)是開(kāi)啟的。

三、RDB和AOF的優(yōu)缺點(diǎn)

RDB持久化的優(yōu)缺點(diǎn)

優(yōu)點(diǎn)

RDB文件緊湊，體積小，網(wǎng)絡(luò)傳輸快，適合全量復(fù)制；恢復(fù)速度比AOF快很多。當(dāng)然，與AOF相比， RDB最重要的優(yōu)點(diǎn)之一是對(duì)性能的影響相對(duì)較小。

（體積小，恢復(fù)速度更快，對(duì)性能影響較小。）

缺點(diǎn)

• RDB文件的致命缺點(diǎn)在于其數(shù)據(jù)快照的持久化方式?jīng)Q定了必然做不到實(shí)時(shí)持久化，而在數(shù)據(jù)越來(lái)越重要的今天，數(shù)據(jù)的大量丟失很多時(shí)候是無(wú)法接受的，因此AOF持久化成為主流。
• 此外，RDB文 件需要滿足特定格式，兼容性差（如老版本的Redis不兼容新版本的RDB文件）。
• 對(duì)于RDB持久化，一方面是bgsave在進(jìn)行fork操作時(shí)Redis主進(jìn)程會(huì)阻塞，另一方面，子進(jìn)程向硬盤(pán)寫(xiě)數(shù)據(jù)也會(huì)帶來(lái)IO壓力。

（實(shí)時(shí)性差、兼容性差、在fork子進(jìn)程時(shí)會(huì)阻塞父進(jìn)程。）

AOF持久化優(yōu)缺點(diǎn)

• 與RDB持久化相對(duì)應(yīng)，AOF的優(yōu)點(diǎn)在于支持秒級(jí)持久化、實(shí)時(shí)性好、兼容性好，缺點(diǎn)是文件大、恢復(fù)速度慢、對(duì)性能影響大。
• 對(duì)于AOF持久化，向硬盤(pán)寫(xiě)數(shù)據(jù)的頻率大大提高（everysec策略下為秒級(jí)），IO 壓力更大，甚至可能造成AOF追加阻塞問(wèn)題。
• AOF文件的重寫(xiě)與RDB的bgsave類(lèi)似，會(huì)有fork時(shí)的阻塞和子進(jìn)程的 IO 壓力問(wèn)題。相對(duì)來(lái)說(shuō)，由于AOF向硬盤(pán)中寫(xiě)數(shù)據(jù)的頻率更高，因此對(duì)Redis主進(jìn)程性能的影響會(huì)更大。

四、Redis性能管理

查看Redis內(nèi)存使用

方式一：進(jìn)入數(shù)據(jù)庫(kù)查看

方法二：命令行查看

內(nèi)存碎片率

內(nèi)存碎片率計(jì)算方式

內(nèi)存碎片率=Redis向操作系統(tǒng)申請(qǐng)的內(nèi)存 / Redis中的數(shù)據(jù)占用的內(nèi)存

mem_fragmentation_ratio = used_memory_rss / used_memory

mem_fragmentation_ratio：內(nèi)存碎片率。

used_memory_rss：是Redis向操作系統(tǒng)申請(qǐng)的內(nèi)存。

used_memory：是Redis中的數(shù)據(jù)占用的內(nèi)存。

used_memory_peak：redis內(nèi)存使用的峰值。

內(nèi)存碎片如何產(chǎn)生

• Redis內(nèi)部有自已的內(nèi)存管理器，為了提高內(nèi)存使用的效率，來(lái)對(duì)內(nèi)存的申請(qǐng)和釋放進(jìn)行管理。
• Redis中的值刪除的時(shí)候，并沒(méi)有把內(nèi)存直接釋放、交還給操作系統(tǒng)，而是交給了Redis內(nèi)部有內(nèi)存管理器。
• Redis中申請(qǐng)內(nèi)存的時(shí)候，也是先看自己的內(nèi)存管理器中是否有足夠的內(nèi)存可用。
• Redis的這種機(jī)制，提高了內(nèi)存的使用率，但是會(huì)使Redis中有部分自己沒(méi)在用，卻不釋放的內(nèi)存，導(dǎo)致了內(nèi)存碎片的發(fā)生。

跟蹤內(nèi)存碎片率

跟蹤內(nèi)存碎片率，對(duì)理解Redis實(shí)例的資源性能是非常重要的：

• 內(nèi)存碎片率在1到1.5之間是正常的，這個(gè)值表示內(nèi)存碎片率比較低，也說(shuō)明Redis 沒(méi)有發(fā)生內(nèi)存交換。
• 內(nèi)存碎片率超過(guò)1.5，說(shuō)明Redis消耗了實(shí)際需要的物理內(nèi)存的150%，其中50%是內(nèi)存碎片率。
• 內(nèi)存碎片率低于1的，說(shuō)明Redis內(nèi)存分配超出了物理內(nèi)存，操作系統(tǒng)正在進(jìn)行內(nèi)存交換（使用虛擬內(nèi)存，會(huì)降低性能）。需要增加可用物理內(nèi)存或減少Redis內(nèi)存占用。

解決碎片率大的問(wèn)題

• 如果Redis版本是4.0以下的，需要在redis-cli 工具上輸入shutdown save命令，讓Redis數(shù)據(jù)庫(kù)執(zhí)行保存操作并關(guān)閉Redis服務(wù)，再重啟服務(wù)器。Redis服務(wù)器重啟后，Redis 會(huì)將沒(méi)用的內(nèi)存歸還給操作系統(tǒng)，碎片率會(huì)降下來(lái)。
• Redis4.0版本開(kāi)始，可以在不重啟的情況下，線上整理內(nèi)存碎片，將未使用的內(nèi)存歸還給操作系統(tǒng)。

config set activedefrag yes    #自動(dòng)碎片清理  

memory purge                        #手動(dòng)碎片清理

內(nèi)存使用率

redis實(shí)例的內(nèi)存使用率超過(guò)可用最大內(nèi)存，操作系統(tǒng)將開(kāi)始進(jìn)行內(nèi)存與swap空間交換。

避免內(nèi)存交換發(fā)生的方法

• 針對(duì)緩存數(shù)據(jù)大小選擇安裝Redis實(shí)例
• 盡可能的使用Hash數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)
• 設(shè)置key的過(guò)期時(shí)間 

內(nèi)回收key

內(nèi)存清理策略，保證合理分配redis有限的內(nèi)存資源。

當(dāng)內(nèi)存使用達(dá)到設(shè)置的最大閾值時(shí)，需選擇一種key的回收策略，默認(rèn)情況下回收策略是禁止刪除（noenviction）。

修改 /etc/redis/6379.conf 文件中maxmemory-policy屬性

回收策略

• volatile-lru  #使用LRU算法從已設(shè)置過(guò)期時(shí)間的數(shù)據(jù)集合中淘汰數(shù)據(jù) （移除最近最少使用的key，針對(duì)設(shè)置了TTL的key）  ?
•  volatile-ttl  #從已設(shè)置過(guò)期時(shí)間的數(shù)據(jù)集合中挑選即將過(guò)期的數(shù)據(jù)淘汰 （移除最近過(guò)期的key）  ?
• volatile-random  #從已設(shè)置過(guò)期時(shí)間的數(shù)據(jù)集合中隨機(jī)挑選數(shù)據(jù)淘汰 （在設(shè)置了TTL的key里隨機(jī)移除）  ?  
• allkeys-lru  #使用LRU算法 從所有數(shù)據(jù)集合中淘汰數(shù)據(jù) （移除最少使用的key，針對(duì)所有的key）
• allkeys-random  #從數(shù)據(jù)集合中任意選擇數(shù)據(jù)淘汰（隨機(jī)移除key）  ?  
• noenviction  #禁止淘汰數(shù)據(jù)（不刪除直到寫(xiě)滿時(shí)報(bào)錯(cuò)）

五、Redis的優(yōu)化

設(shè)置客戶(hù)端連接超時(shí)時(shí)間

客戶(hù)端最大連接數(shù)

自動(dòng)碎片清理

最大內(nèi)存閥值

key回收策略。

控制key的長(zhǎng)度

控制元素的大小

數(shù)據(jù)結(jié)構(gòu)：Redis支持多種數(shù)據(jù)結(jié)構(gòu)，包括字符串、哈希表、列表、集合和有序集合。選擇正確的數(shù)據(jù)結(jié)構(gòu)可以提高性能并減少內(nèi)存使用量。

設(shè)置過(guò)期key：強(qiáng)制要求所有的key必須設(shè)置過(guò)期時(shí)間，以?xún)?yōu)化redis內(nèi)存。

冷熱分離：熱key需要單獨(dú)存放并分配合理的資源，防止大流量下直接沖垮整個(gè)緩存系統(tǒng)。

數(shù)據(jù)壓縮：可以采用snappy、gzip 等壓縮算法來(lái)先將數(shù)據(jù)壓縮后再存入緩存中，來(lái)節(jié)約redis的內(nèi)存空間，但這種方法會(huì)使客戶(hù)端在讀取時(shí)還需要解壓縮，在這期間會(huì)消耗更多CPU資源，你需要根據(jù)實(shí)際情況進(jìn)行權(quán)衡。建議，只是在redis匱乏時(shí)的一種方案。

內(nèi)存淘汰優(yōu)化：杜絕使用默認(rèn)的內(nèi)存淘汰策略，避免在業(yè)務(wù)擴(kuò)展下Redis的內(nèi)存持續(xù)膨脹，需要根據(jù)你的業(yè)務(wù)設(shè)置對(duì)應(yīng)內(nèi)存淘汰策略。

過(guò)期策略?xún)?yōu)化：由于redis采用的是定期刪除+懶加載刪除策略，且這個(gè)過(guò)程在redis 6.0之前是在主線程上執(zhí)行的，建議所有key的過(guò)期時(shí)間用隨機(jī)數(shù)打散，杜絕大批量的數(shù)據(jù)同時(shí)過(guò)期，拉胯redis的性能和造成緩存雪崩。強(qiáng)制規(guī)范。

持久化優(yōu)化：Redis支持兩種持久化選項(xiàng)：RDB和AOF。選擇正確的持久化選項(xiàng)可以提高性能并確保數(shù)據(jù)安全。

架構(gòu)優(yōu)化：讀寫(xiě)分離能最大限度提高redis的性能，其中主庫(kù)負(fù)責(zé)數(shù)據(jù)寫(xiě)入，從庫(kù)負(fù)責(zé)數(shù)據(jù)讀?。环制菏墙鉀Q超大量數(shù)據(jù)導(dǎo)致性能瓶頸方案，如rediscluster。以上是在大流量下提高redis性能在架構(gòu)上的優(yōu)化。

lazy-free：在redis4.0+中支持，開(kāi)啟lazy-free機(jī)制后，由主線程刪除bigkey，而較耗時(shí)的內(nèi)存釋放會(huì)在后臺(tái)線程中執(zhí)行，不會(huì)影響到主線程。

集群：使用Redis集群：如果Redis服務(wù)器無(wú)法滿足性能需求，可以使用Redis集群來(lái)擴(kuò)展Redis服務(wù)器。Redis集群可以將數(shù)據(jù)分片并分布在多個(gè)Redis服務(wù)器上，從而提高性能和可擴(kuò)展性。

使用管道：Redis支持管道操作，可以將多個(gè)命令一次性發(fā)送到Redis服務(wù)器，從而減少網(wǎng)絡(luò)延遲。

以上就是Redis高可用之持久化的詳細(xì)內(nèi)容，更多關(guān)于Redis持久化的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

最新評(píng)論