Redis中SDS簡單動態(tài)字符串詳解
Redis 是內(nèi)存數(shù)據(jù)庫,高效使用內(nèi)存對 Redis 的實現(xiàn)來說非常重要。
看一下,Redis 中針對字符串結(jié)構(gòu)針對內(nèi)存使用效率做的設(shè)計優(yōu)化。
一、SDS的結(jié)構(gòu)
c語言沒有string類型,本質(zhì)是char[]數(shù)組;而且c語言數(shù)組創(chuàng)建時必須初始化大小,指定類型后就不能改變,并且字符數(shù)組的最后一個元素總是空字符 '\0' 。
以下展示了一個值為 "Redis" 的 C 字符串:
Redis沒有直接使用C語言的字符串方式,而是構(gòu)建了一種簡單動態(tài)字符串(Simple dynamic string, SDS)的類型,Redis中的字符串底層都是使用SDS結(jié)構(gòu)進(jìn)行存儲,比如包含字符串的鍵值對底層都是使用SDS結(jié)構(gòu)實現(xiàn)的。
SDS結(jié)構(gòu)定義在sds.h中
struct sdshdr{ int len;//SDS保存的字符串長度 int free;//buf數(shù)組中未使用字節(jié)數(shù)量 char buf[];//字符數(shù)組,保存字符串 }
最后一個字節(jié)保存了空字符'\0',保留了C字符串的規(guī)范,使得SDS結(jié)構(gòu)的字符串,可以重用一部分C函數(shù)庫的函數(shù)。
二、為什么不使用C字符串
主要是因為C字符串有以下缺點:
獲取字符串長度時間復(fù)雜度為O(N):C字符串獲取長度需遍歷整個字符串,遇到'\0'空字符為止。 緩沖區(qū)溢出:比如在進(jìn)行字符串追加操作時,如果沒有分配足夠的內(nèi)存,就會造成內(nèi)存溢出。 內(nèi)存重分配:每次增長或者截短字符串,程序都要對保存C字符串的數(shù)組進(jìn)行內(nèi)存重分配操作,而內(nèi)存重分配涉及復(fù)雜的算法,并可能需要執(zhí)行系統(tǒng)調(diào)用,所以它通常比較耗時。 空字符問題:C字符串中間不能保存空格,否則程序遍歷是會誤認(rèn)為是字符串的末尾。這一限制導(dǎo)致C字符串只能存儲文本數(shù)據(jù),不能保存像圖片、音視頻、壓縮文件等二進(jìn)制數(shù)據(jù)。
三、怎樣解決C字符串問題
1、SDS通過len屬性記錄了SDS長度,所以獲取長度的時間復(fù)雜度為O(1),即strlen命令的時間復(fù)雜度是O(1)。
2、SDS空間分配策略避免了緩沖區(qū)溢出:當(dāng)對SDS進(jìn)行修改時,會先檢查SDS空間是否滿足修改,不滿足會自動擴(kuò)展到所需大小,然后才執(zhí)行修改。
3、較少修改字符串時內(nèi)存重分配次數(shù):SDS中的free記錄buf字節(jié)數(shù)組中未使用的字節(jié)。
redis通過free屬性實現(xiàn)空間預(yù)分配、惰性空間釋放兩種優(yōu)化策略。
空間預(yù)分配:當(dāng)對SDS進(jìn)行增長操作時,程序不僅會分配修改所必須得空間,還會為SDS分配額外的未使用空間。通過預(yù)分配策略,減少了連續(xù)執(zhí)行字符串增長操作時內(nèi)存重分配次數(shù)。 惰性空間釋放:當(dāng)對SDS進(jìn)行截短操作時,程序并不會立即回收縮短后多出來的字節(jié)所占用的內(nèi)存,而是使用free屬性記錄多出來的字節(jié)數(shù),以供將來使用。如果將來要對這個SDS進(jìn)行增長操作,未使用空間可能就派上用場,并且增長操作也不一定會執(zhí)行內(nèi)存重分配。
SDS結(jié)構(gòu)中的buf字節(jié)數(shù)組,是二進(jìn)制安全的,不僅可以保存字符,也可以保存二進(jìn)制數(shù)據(jù)。
SDS保留了C字符串的慣例,將數(shù)據(jù)的末尾設(shè)置為空字符'\0',SDS中之所以保留這一規(guī)范是可以重用C字符串函數(shù)庫的一部分函數(shù),例如追加字符串。
四、對字符串的進(jìn)一步優(yōu)化
Redis string的三種編碼:
int 存儲8個字節(jié)的長整型(long,2^63-1 ) embstr, embstr格式的SDS (Simple Dynamic String) raw, raw格式的SDS,存儲大于44個字節(jié)的長字符串
int類型就是指的是數(shù)字,那么raw、embstr都代表的是字符串有什么異同嗎,下面我們分析下。
圖中展示了兩者的區(qū)別,可以看到embstr將redisObject和SDS保存在連續(xù)的64字節(jié)空間內(nèi),這樣可以只需要一次內(nèi)存分配,而對于raw來說,SDS和redisObject分離,需要兩次內(nèi)存分配,而且占用更多的內(nèi)存空間。
可以看到embstr在3.2+中使用了叫sdshdr8的結(jié)構(gòu),在該結(jié)構(gòu)下,元數(shù)據(jù)只需要3個字節(jié),而Redis需要8個字節(jié),所以總共64個字節(jié),減去redisObject(16字節(jié)),再減去SDS的原信息,最后的實際內(nèi)容就變成了44字節(jié)和39字節(jié)。
當(dāng)字符串小于等于 44 字節(jié)時,Redis 就使用了嵌入式字符串的創(chuàng)建方法,以此減少內(nèi)存分配和內(nèi)存碎片。
下面這張圖展示了 createEmbeddedStringObject 創(chuàng)建嵌入式字符串的過程:
總之,只要記住,Redis 會通過設(shè)計實現(xiàn)一塊連續(xù)的內(nèi)存空間,把 redisObject 結(jié)構(gòu)體和 SDS 結(jié)構(gòu)體緊湊地放置在一起。
這樣一來,對于不超過 44 字節(jié)的字符串來說,就可以避免內(nèi)存碎片和兩次內(nèi)存分配的開銷了。
SDS是Redis中一種高效的字符串實現(xiàn)方式,它具有自動擴(kuò)容、二進(jìn)制安全、O(1)長度獲取和修改等優(yōu)點。在實際的應(yīng)用中,SDS可以幫助我們實現(xiàn)高效的字符串操作,同時也可以避免一些常見的字符串操作問題,比如緩沖區(qū)溢出等。通過深入了解SDS的內(nèi)部結(jié)構(gòu)和實現(xiàn)原理,我們可以更好地理解Redis的底層機制,進(jìn)一步提升我們的Redis應(yīng)用能力。
到此這篇關(guān)于Redis中SDS簡單動態(tài)字符串詳解的文章就介紹到這了,更多相關(guān)Redis中SDS簡單動態(tài)字符串內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
SpringBoot讀寫Redis客戶端并實現(xiàn)Jedis技術(shù)切換功能
這篇文章主要介紹了SpringBoot讀寫Redis客戶端并實現(xiàn)技術(shù)切換功能,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2023-01-01Redis生成分布式系統(tǒng)全局唯一ID的實現(xiàn)
在互聯(lián)網(wǎng)系統(tǒng)中,并發(fā)越大的系統(tǒng),數(shù)據(jù)就越大,數(shù)據(jù)越大就越需要分布式,本文主要介紹了Redis生成分布式系統(tǒng)全局唯一ID的實現(xiàn),感興趣的可以了解一下2021-10-10Redis過期Key刪除策略和內(nèi)存淘汰策略的實現(xiàn)
當(dāng)內(nèi)存使用達(dá)到上限,就無法存儲更多數(shù)據(jù)了,為了解決這個問題,Redis內(nèi)部會有兩套內(nèi)存回收的策略,過期Key刪除策略和內(nèi)存淘汰策略,本文就來詳細(xì)的介紹一下這兩種方法,感興趣的可以了解一下2024-02-02為什么RedisCluster設(shè)計成16384個槽
本文主要介紹了為什么RedisCluster設(shè)計成16384個槽,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下2021-09-09Redis之SDS數(shù)據(jù)結(jié)構(gòu)的使用
本文主要介紹了Redis之SDS數(shù)據(jù)結(jié)構(gòu)的使用,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-08-08