Redis之SDS數(shù)據(jù)結(jié)構(gòu)的使用
序言
Redis的幾種基本數(shù)據(jù)結(jié)構(gòu)有字符串(String)、哈希(Hash)、列表(List)、集合(Set)、有序集合(Sorted Set),這些是最常見(jiàn)的,也能在官網(wǎng)上查看到。
官網(wǎng)鏈接:Redis 教程_redis教程
字符串
前面也提到過(guò)字符串是設(shè)計(jì)了簡(jiǎn)單動(dòng)態(tài)字符串SDS(Simple Dynamic String)結(jié)構(gòu)來(lái)表示字符串。這種數(shù)據(jù)結(jié)構(gòu)可以提升字符串的操作效率,并可以保存二進(jìn)制數(shù)據(jù)。
先思考一個(gè)問(wèn)題:
Redis是用C語(yǔ)言實(shí)現(xiàn)的,那么為什么沒(méi)有復(fù)用C語(yǔ)言的字符串實(shí)現(xiàn)方法,而選用了SDS呢?
char*字符串?dāng)?shù)組
C語(yǔ)言實(shí)現(xiàn)字符串使用的是char*字符串?dāng)?shù)組,它是一塊連續(xù)的內(nèi)存空間,一次存放了字符串的每一個(gè)字符,并且最后一個(gè)字符是“\0”,用來(lái)標(biāo)識(shí)字符串的結(jié)尾位置,如下圖,
連續(xù)的內(nèi)存空間的所有字符串沒(méi)有分隔符計(jì)算機(jī)就沒(méi)辦法區(qū)分字符串與字符串之間的位置。在C語(yǔ)言標(biāo)準(zhǔn)庫(kù)中字符串的操作函數(shù)就會(huì)通過(guò)檢查字符串?dāng)?shù)組中是否有“\0”來(lái)判斷字符串是否結(jié)束。例如字符串操作函數(shù)strlen函數(shù),它就是在遍歷字符串?dāng)?shù)組中的每一個(gè)字符,并進(jìn)行計(jì)數(shù),直到檢查到“\0”,它的時(shí)間復(fù)雜度是O(n)。流程如下,
簡(jiǎn)單動(dòng)態(tài)字符串SDS
SDS的數(shù)據(jù)結(jié)構(gòu)里包含:字符串實(shí)際長(zhǎng)度,字符串分配空間長(zhǎng)度,SDS類(lèi)型,字符數(shù)組,其中字符數(shù)組buf[]用來(lái)保存實(shí)際數(shù)據(jù),如下圖,
再來(lái)看看類(lèi)似的字符操作函數(shù)sdslen函數(shù)的源碼(在sds.h文件中),直接根據(jù)SDS類(lèi)型返回對(duì)應(yīng)的字符串現(xiàn)有長(zhǎng)度,避免了對(duì)字符串的遍歷,時(shí)間復(fù)雜度變成了O(1),當(dāng)然也會(huì)付出一點(diǎn)代價(jià)增加了空間復(fù)雜度。這都是設(shè)計(jì)人員讓數(shù)據(jù)操作更加高效。源碼如下,
static inline size_t sdslen(const sds s) { unsigned char flags = s[-1]; switch(flags&SDS_TYPE_MASK) { case SDS_TYPE_5: return SDS_TYPE_5_LEN(flags); case SDS_TYPE_8: return SDS_HDR(8,s)->len; case SDS_TYPE_16: return SDS_HDR(16,s)->len; case SDS_TYPE_32: return SDS_HDR(32,s)->len; case SDS_TYPE_64: return SDS_HDR(64,s)->len; } return 0; }
再來(lái)看一下字符串的拷貝源碼,操作都使用了字符串的現(xiàn)有長(zhǎng)度,拷貝后進(jìn)行更新。
sds sdscpylen(sds s, const char *t, size_t len) { // 判斷字符串?dāng)?shù)組分配的空間長(zhǎng)度是不是小于字符串?dāng)?shù)組當(dāng)前長(zhǎng)度 if (sdsalloc(s) < len) { // 根據(jù)要追加的長(zhǎng)度len-sdslen(s)和現(xiàn)有長(zhǎng)度,判斷是否增加新的空間 s = sdsMakeRoomFor(s,len-sdslen(s)); if (s == NULL) return NULL; } // 將源字符串t中l(wèi)en長(zhǎng)度的數(shù)據(jù)拷貝到目標(biāo)字符串結(jié)尾 memcpy(s, t, len); // 拷貝完后,在目標(biāo)字符串結(jié)尾加上\0 s[len] = '\0'; // 設(shè)置字符串?dāng)?shù)組最新當(dāng)前長(zhǎng)度 sdssetlen(s, len); return s; }
SDS把目標(biāo)字符串的空間檢查和擴(kuò)容封裝在了sdsMakeRoomFor函數(shù)中,追加、打印、復(fù)制等操作都會(huì)調(diào)用該函數(shù)。可以看到該函數(shù)根據(jù)sds的信息進(jìn)行動(dòng)態(tài)擴(kuò)容,源碼如下,
sds sdsMakeRoomFor(sds s, size_t addlen) { void *sh, *newsh; // 獲取sds可用空間 size_t avail = sdsavail(s); size_t len, newlen; char type, oldtype = s[-1] & SDS_TYPE_MASK; int hdrlen; // 如果可用空間大于等于要增加的空間,則直接返回 if (avail >= addlen) return s; // sds長(zhǎng)度 len = sdslen(s); // sds指針 sh = (char*)s-sdsHdrSize(oldtype); // 新字符串長(zhǎng)度 newlen = (len+addlen); // 如果新長(zhǎng)度小于最大預(yù)分配長(zhǎng)度,則進(jìn)行兩倍擴(kuò)容 if (newlen < SDS_MAX_PREALLOC) newlen *= 2; else newlen += SDS_MAX_PREALLOC; type = sdsReqType(newlen); // SDS類(lèi)型5轉(zhuǎn)換為類(lèi)型8 if (type == SDS_TYPE_5) type = SDS_TYPE_8; hdrlen = sdsHdrSize(type); if (oldtype==type) { newsh = s_realloc(sh, hdrlen+newlen+1); if (newsh == NULL) return NULL; s = (char*)newsh+hdrlen; } else { /* Since the header size changes, need to move the string forward, * and can't use realloc */ newsh = s_malloc(hdrlen+newlen+1); if (newsh == NULL) return NULL; memcpy((char*)newsh+hdrlen, s, len+1); s_free(sh); s = (char*)newsh+hdrlen; s[-1] = type; sdssetlen(s, len); } sdssetalloc(s, newlen); return s; }
可以看到sdsMakeRoomFor函數(shù)中sdshdr5類(lèi)型不再使用直接轉(zhuǎn)換成了sdshdr8類(lèi)型,它們是SDS設(shè)計(jì)的5種類(lèi)型,分別表示sdshdr5、sdshdr8、sdshdr16、sdshdr32和sdshdr64,下面就看一下這幾種類(lèi)型的結(jié)構(gòu)源碼,如下圖,
struct __attribute__ ((__packed__)) sdshdr5 { unsigned char flags; /* 3 lsb of type, and 5 msb of string length */ char buf[]; }; struct __attribute__ ((__packed__)) sdshdr8 { uint8_t len; /* used */ uint8_t alloc; /* excluding the header and null terminator */ unsigned char flags; /* 3 lsb of type, 5 unused bits */ char buf[]; }; struct __attribute__ ((__packed__)) sdshdr16 { uint16_t len; /* used */ uint16_t alloc; /* excluding the header and null terminator */ unsigned char flags; /* 3 lsb of type, 5 unused bits */ char buf[]; }; struct __attribute__ ((__packed__)) sdshdr32 { uint32_t len; /* used */ uint32_t alloc; /* excluding the header and null terminator */ unsigned char flags; /* 3 lsb of type, 5 unused bits */ char buf[]; }; struct __attribute__ ((__packed__)) sdshdr64 { uint64_t len; /* used */ uint64_t alloc; /* excluding the header and null terminator */ unsigned char flags; /* 3 lsb of type, 5 unused bits */ char buf[]; };
sdshdr5已不再使用,所以在函數(shù)中做了處理,把sdshdr5類(lèi)型轉(zhuǎn)換為sdshdr8類(lèi)型。前面也提到過(guò)SDS是緊湊型字符串?dāng)?shù)據(jù)結(jié)構(gòu),以sdshdr8為例,它是用的是uint8_t即8位無(wú)符號(hào)整型,會(huì)占用1字節(jié)的內(nèi)存空間。SDS之所以設(shè)計(jì)不同的結(jié)構(gòu)是為了能靈活保存不同大小的字符串,從而有效節(jié)省內(nèi)存空間。
另外,__attribute__ ((__packed__))標(biāo)志可以告訴編譯器在編譯以上數(shù)據(jù)結(jié)構(gòu)時(shí),不實(shí)用字節(jié)對(duì)齊的方式(不滿(mǎn)8字節(jié)的整數(shù)倍,則會(huì)自動(dòng)補(bǔ)齊),而是采用緊湊的方式分配內(nèi)存。
到此這篇關(guān)于Redis之SDS數(shù)據(jù)結(jié)構(gòu)的使用的文章就介紹到這了,更多相關(guān)Redis SDS數(shù)據(jù)結(jié)構(gòu)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
詳解redis數(shù)據(jù)結(jié)構(gòu)之sds
sds是Simple Dynamic String的縮寫(xiě),譯為簡(jiǎn)單動(dòng)態(tài)字符串,redis使用該結(jié)構(gòu)保存字符串,不同于c中的字符串,redis使用該結(jié)構(gòu)來(lái)更方便的進(jìn)行字符串的處理,需要的朋友可以參考下2017-05-05Spring?Boot實(shí)戰(zhàn)解決高并發(fā)數(shù)據(jù)入庫(kù)之?Redis?緩存+MySQL?批量入庫(kù)問(wèn)題
這篇文章主要介紹了Spring?Boot實(shí)戰(zhàn)解決高并發(fā)數(shù)據(jù)入庫(kù)之?Redis?緩存+MySQL?批量入庫(kù)問(wèn)題,本文通過(guò)圖文實(shí)例相結(jié)合給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-02-02Redis數(shù)據(jù)庫(kù)的數(shù)據(jù)傾斜詳解
Redis,英文全稱(chēng)是Remote Dictionary Server(遠(yuǎn)程字典服務(wù)),是一個(gè)開(kāi)源的使用ANSI C語(yǔ)言編寫(xiě)、支持網(wǎng)絡(luò)、可基于內(nèi)存亦可持久化的日志型、Key-Value數(shù)據(jù)庫(kù),需要的朋友可以參考下2023-07-07