幾分鐘教你掌握Redis簡單動態(tài)字符串SDS
正文
Redis 沒有直接使用 C 語言傳統(tǒng)的字符串表示(而是以空字符結(jié)尾的字符數(shù)組,以下簡稱 C 字符串),自己構(gòu)建了一種名為簡單動態(tài)字符串(simple dynamic string,SDS) 的抽象類型,并將 SDS 用作 Redis 的默認(rèn)字符串表示。
在 Redis 里面,C 字符串只會作為字符串字面量(string literal),用在一些無須對字符串值進(jìn)行修改的地方,比如打印日志:
redisLog(REDIS_WARNING,"Redis is now ready to exit, bye bye...");
當(dāng) Redis 需要的不僅僅是一個字符串字面量,而是一個可以被修改的字符串值時,Redis 就會使用 SDS 來表示字符串值:比如在 Redis 的數(shù)據(jù)庫里面,包含字符串的鍵值對在底層都是由 SDS 實現(xiàn)的。
舉個例子,如果客戶端執(zhí)行命令:
redis> SET msg "hello world" OK
那么 Redis 將在數(shù)據(jù)庫中創(chuàng)建了一個新的鍵值對,其中:
- 鍵值對的鍵是一個字符串對象,對象的底層實現(xiàn)是一個保存著字符串
"msg"
的 SDS 。 - 鍵值對的值也是一個字符串對象,對象的底層實現(xiàn)是一個保存著字符串
"hello world"
的SDS。
又比如說,如果客戶端執(zhí)行命令:
redis> RPUSH fruits "apple" "banana" "cherry" (integer) 3
那么 Redis 將在數(shù)據(jù)庫中創(chuàng)建一個新的鍵值對,其中:
- 鍵值對的鍵是一個字符串對象,對象的底層實現(xiàn)是一個保存了字符串
"fruits"
的 SDS 。 - 鍵值對的值是一個列表對象,列表對象包含了三個字符串對象,這三個字符串對象分別由三個 SDS 實現(xiàn):第一個 SDS 保存著字符串
"apple"
,第二個 SDS 保存著字符串"banana"
,第三個 SDS 保存著字符串"cherry"
。
除了用來保存數(shù)據(jù)庫中的字符串值之外,SDS 還被用作緩沖區(qū)(buffer):AOF 模塊中的 AOF 緩沖區(qū),以及客戶端狀態(tài)中的輸入緩沖區(qū),都是由 SDS 實現(xiàn)的,在之后介紹 AOF 持久化和客戶端狀態(tài)的時候,我們會看到 SDS 在這兩個模塊中的應(yīng)用。
AOF中記錄的是每一個命令的詳細(xì)信息,包括完整的命令類型、參數(shù)等。只要產(chǎn)生寫命令,就會實時寫入到AOF文件中
SDS的定義
struct sdshdr { // 記錄 buf 數(shù)組中已使用字節(jié)的數(shù)量 int len; // 記錄 buf 數(shù)組中未使用字節(jié)的數(shù)量 int free; // 字節(jié)數(shù)組,用于保存字符串 char buf[]; };
與C字符串的區(qū)別
C語言使用長度為 N+1
的字符數(shù)組來表示長度為 N
的字符串,并且字符數(shù)組的最后一個元素總是空字符 '\0'
。
獲取字符串長度
因為 C 字符串并不記錄自身的長度信息,所以為了獲取一個 C 字符串的長度,程序必須遍歷整個字符串O(N)O(N)O(N) 。
和 C 字符串不同,因為 SDS 在 len
屬性中記錄了 SDS 本身的長度,所以獲取一個 SDS 長度的復(fù)雜度僅為 O(1)O(1)O(1) 。
杜絕緩沖區(qū)溢出
C 字符串不記錄自身長度帶來的另一個問題是容易造成緩沖區(qū)溢出(buffer overflow)。
假設(shè)程序里有兩個在內(nèi)存中緊鄰著的 C 字符串 s1 和 s2 ,其中 s1 保存了字符串 "Redis" ,而 s2 則保存了字符串 "MongoDB" .
如果一個程序員決定通過執(zhí)行:strcat(s1, "Cluster")
將 s1 的內(nèi)容修改為 "Redis Cluster" ,但粗心的他卻忘了在執(zhí)行 strcat
之前為 s1 分配足夠的空間,那么在 strcat 函數(shù)執(zhí)行之后,s1 的數(shù)據(jù)將溢出到 s2 所在的空間中,導(dǎo)致 s2 保存的內(nèi)容被意外地修改。
SDS 的空間分配策略完全杜絕了發(fā)生緩沖區(qū)溢出的可能性:當(dāng) SDS API 需要對 SDS 進(jìn)行修改時,API 會先檢查 SDS 的空間是否滿足修改所需的要求,如果不滿足的話,API 會自動將 SDS 的空間擴(kuò)展至執(zhí)行修改所需的大小,然后才執(zhí)行實際的修改操作,所以使用 SDS 既不需要手動修改 SDS 的空間大小,也不會出現(xiàn)前面所說的緩沖區(qū)溢出問題。
減少內(nèi)存分配次數(shù)
因為 C 字符串的長度和底層數(shù)組的長度之間存在著這種關(guān)聯(lián)性,所以每次增長或者縮短一個 C 字符串,程序都總要對保存這個 C 字符串的數(shù)組進(jìn)行一次內(nèi)存重分配操作,在 SDS 中,數(shù)組里面可以包含未使用的字節(jié),而這些字節(jié)的數(shù)量就由 SDS 的 free
屬性記錄。并實現(xiàn)了兩種優(yōu)化策略:
空間預(yù)分配,當(dāng)進(jìn)行字符串增長操作時,程序會額外分配空間,并記錄的free
字段
比如原長度為8的字符串,新增5個長度后,總共為13長度,則預(yù)分配13+13+1=27字節(jié)(額外一字節(jié)用于保存空字符串)
對于大于1M來說,分配空間為原有總長度+1MB+1byte
比如增加完字符串后長度為15MB,則為15MB+1MB+1byte
惰性空間釋放,當(dāng)進(jìn)行字符串縮短操作時,程序不立即重新分配內(nèi)存,而是用free
屬性將這些字節(jié)的數(shù)量記錄起來。
二進(jìn)制安全
C字符串中不能包含空字符串,否則會被誤認(rèn)為是字符串結(jié)尾。所有 SDS API 都會以處理二進(jìn)制的方式來處理 SDS 存放在 buf
數(shù)組里的數(shù)據(jù),程序不會對其中的數(shù)據(jù)做任何限制、過濾、或者假設(shè) ——數(shù)據(jù)在寫入時是什么樣的,它被讀取時就是什么樣。
以上就是幾分鐘教你掌握Redis簡單動態(tài)字符串SDS的詳細(xì)內(nèi)容,更多關(guān)于Redis動態(tài)字符串SDS的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
利用redis實現(xiàn)分布式鎖,快速解決高并發(fā)時的線程安全問題
這篇文章主要介紹了利用redis實現(xiàn)分布式鎖,快速解決高并發(fā)時的線程安全問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2021-01-01