相信對使用過 Redis 的人來說，數(shù)據(jù)類型 List 是不會陌生的吧。大多數(shù)人需要實現(xiàn)一個隊列時候，首選的就是 List 了。但是其實 Redis 的 List 類型有多種實現(xiàn)方式。這篇文章就是介紹其中一種實現(xiàn) ziplist - 壓縮列表。

源碼解讀

一如既往，關(guān)于 ziplist 的定義和實現(xiàn)還是放在一對文件中，分別是 ziplist.h 和 ziplist.c。在 ziplist.c 文件的頭部有著這么一段注釋介紹什么是 ziplist。

ziplist 是一個經(jīng)過特殊編碼的雙向鏈表，旨在提高內(nèi)存效率。它存儲字符串和整數(shù)值，其中整數(shù)被編碼為實際整數(shù)而不是一系列字符。它允許在 O(1) 時間內(nèi)在列表的任一側(cè)進(jìn)行推送和彈出操作。但是，由于每個操作都需要重新分配 ziplist 使用的內(nèi)存，因此實際復(fù)雜性與 ziplist 使用的內(nèi)存量有關(guān)。

從這段話得到：對于不同的數(shù)據(jù)類型有著不同的編碼方式，理解為會對數(shù)據(jù)進(jìn)行壓縮，從而達(dá)到減少內(nèi)存使用的目的。但是隨著存儲的 value 數(shù)據(jù)級增加，使用 ziplist 所付出的代價也隨之增加。

ziplist 布局

ziplist 是一個特殊雙向鏈表，不像普通的鏈表使用前后指針關(guān)聯(lián)在一起，它是存儲在連續(xù)內(nèi)存上的。整體的結(jié)構(gòu)布局如下圖：

zlbytes: 32 位無符號整型，記錄 ziplist 整個結(jié)構(gòu)體的占用空間大小。當(dāng)然了也包括 zlbytes 本身。這個結(jié)構(gòu)有個很大的用處，就是當(dāng)需要修改 ziplist 時候不需要遍歷即可知道其本身的大小。這個 SDS 中記錄字符串的長度有相似之處，這些好的設(shè)計往往在平時的開發(fā)中可以采納一下。
zltail: 32 位無符號整型, 記錄整個 ziplist 中最后一個 entry 的偏移量。所以在尾部進(jìn)行 POP 操作時候不需要先遍歷一次。
zllen: 16 位無符號整型, 記錄 entry 的數(shù)量，所以只能表示 2^16。但是 Redis 作了特殊的處理：當(dāng)實體數(shù)超過 2^16 ,該值被固定為 2^16 - 1。所以這種時候要知道所有實體的數(shù)量就必須要遍歷整個結(jié)構(gòu)了。
entry: 真正存數(shù)據(jù)的結(jié)構(gòu)。
zlend: 8 位無符號整型, 固定為 255 。為 ziplist 的結(jié)束標(biāo)識。

entry 節(jié)點

每個 entry 都包含兩條信息的元數(shù)據(jù)為前綴。第一元數(shù)據(jù)用來存儲前一個 entry 的長度，以便能夠從后向前遍歷列表。第二元數(shù)據(jù)是表示 entry 的編碼形式。用來表示 entry 類型，整數(shù)或字符串，在字符串的情況下，它還表示字符串有效的長度。

所以一個完整的 ziplist 是這樣存儲的：

prelen

記錄前一個 entry 的長度。若前一個 entry 的長度小于 254 , 則使用 1 個字節(jié)的 8 位無符號整數(shù)來表示。

若前一個 entry 長度大于等于 254，則使用 5 個字節(jié)來表示。第 1 個字節(jié)固定為 254 (FE) 作為標(biāo)識，剩余 4 字節(jié)則用來表示前一個 entry 的實際大小。

所以兩種情況下的 entry 結(jié)構(gòu)如下所示：

1. 前一個 entry 大小不超過 253。
<prevlen from 0 to 253> <encoding> <entry>
2. 前一個 entry 大小超過 253。
0xFE <4 bytes unsigned little endian prevlen> <encoding> <entry>

encoding 編碼

entry 的編碼字段取決于具體值的內(nèi)容，分為字符串、數(shù)字兩種類型單獨處理。

一、當(dāng) entry 是字符串時，有 3 種編碼方式。編碼第 1 個字節(jié)的前 2 位將保存用于存儲字符串長度的編碼類型，后面是字符串的實際長度。

1. 長度小于或等于 63 字節(jié)（6 位）的字符串值。 “pppppp”表示無符號的 6 位數(shù)據(jù)長度。
|00pppppp| - 1 byte
2. 長度小于或等于 16383 字節(jié)（14 位）的字符串值。14 位的數(shù)據(jù)采用  big endian 存儲。
big endian 是一種字節(jié)序方式，有Little-Endian、Big-Endian兩種。
|01pppppp|qqqqqqqq| - 2 bytes
3. 長度大于或等于 16384 字節(jié)的字符串值。
采用 big endian 存儲且可表示的字符串長度最大2^32-1，所以第一個字節(jié)沒有用到，所以低6位沒有用，所以都是0。
|10000000|qqqqqqqq|rrrrrrrr|ssssssss|tttttttt| - 5 bytes

二、當(dāng) entry 是整數(shù)時，有 6 種編碼方式。前 2 位都固定為 1，接下來的 2 位用于指定將在此標(biāo)頭后存儲哪種類型的整數(shù)。

與 ziplist 標(biāo)頭一樣，所有整數(shù)都以 Little-Endian 序表示，即使此代碼是在 Big-Endian 系統(tǒng)中編譯的。

1. 整數(shù)編碼為 int16_t（2 字節(jié)）。
|11000000| - 3 bytes
2. 整數(shù)編碼為int32_t（4個字節(jié)）。
|11010000| - 5 bytes
3. 整數(shù)編碼為 int64_t（8 字節(jié)）。
|11100000| - 9 bytes
4. 整數(shù)編碼為24位帶符號（3個字節(jié)）。
|11110000| - 4 bytes
5. 整數(shù)編碼為 8 位有符號（1 字節(jié)）。
|11111110| - 2 bytes
6. 0到12的無符號整數(shù)。編碼后的值實際上是1到13，因為0000和1111不能用，所以要從編碼后的4位值中減去1才能得到正確的值。
|1111xxxx| - (with xxxx between 0001 and 1101) immediate 4 bit integer

三、結(jié)尾編碼標(biāo)識

1. 表示 ziplist 結(jié)尾的標(biāo)識。
|11111111|

總結(jié)

ziplist 為了節(jié)省內(nèi)存，采用了緊湊的連續(xù)存儲。所以在修改操作下并不能像一般的鏈表那么容易，需要從新分配新的內(nèi)存，然后復(fù)制到新的空間。
ziplist 是一個雙向鏈表，可以在時間復(fù)雜度為O(1)從下頭部、尾部進(jìn)行pop或push。
可能會出現(xiàn)連鎖更新現(xiàn)象。

其實使用中并沒有直接操作這種數(shù)據(jù)結(jié)構(gòu)，但是可以設(shè)置何種情況下使用它?？梢栽?Redis 的配置文件中進(jìn)行設(shè)置。

如有以下可選設(shè)置項：

hash-max-ziplist-entries：hash 類型元素數(shù)量超過指定數(shù)據(jù)后時候。使用 hash 存儲，否則使用壓縮表。
hash-max-ziplist-value： hash 類型元素長度超過指定數(shù)據(jù)后時候。使用 hash 存儲，否則使用壓縮鏈表。
zset-max-ziplist-entries：zset 類型壓縮列表 ziplist 最大限制元素數(shù)。超過指定值將會使用跳表 skiplist + dict 來存儲。
zset-max-ziplist-value：set 類型壓縮列表 ziplist 最大限制大小。超過指定將會使用跳表 skiplist+dict 來存儲。

到此這篇關(guān)于Redis ziplist 壓縮列表的源碼解析的文章就介紹到這了,更多相關(guān)Redis ziplist 壓縮列表內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: