C++手寫(xiě)內(nèi)存池的案例詳解
引言
使用new expression為類的多個(gè)實(shí)例分配動(dòng)態(tài)內(nèi)存時(shí),cookie導(dǎo)致內(nèi)存利用率可能不高,此時(shí)我們通過(guò)實(shí)現(xiàn)類的內(nèi)存池來(lái)降低overhead。從不成熟到巧妙優(yōu)化的內(nèi)存池,得益于union的分時(shí)復(fù)用特性,內(nèi)存利用率得到了提高。
原因
在實(shí)例化某個(gè)類的對(duì)象時(shí)(在heap而不是stack中),若不使用array new,則每次實(shí)例化時(shí)都要調(diào)用一次內(nèi)存分配函數(shù),類的每個(gè)實(shí)例在內(nèi)存中都有上下兩個(gè)cookie,從而降低了內(nèi)存的利用率。然而,array new也有先天的缺陷,即只能調(diào)用默認(rèn)無(wú)參構(gòu)造函數(shù),這對(duì)于很多沒(méi)有提供無(wú)參構(gòu)造函數(shù)的類來(lái)說(shuō)是不合適的。
因此,我們可以對(duì)于一個(gè)沒(méi)有實(shí)例化的類第一次實(shí)例化時(shí),先分配一大塊內(nèi)存(內(nèi)存池),這一大塊內(nèi)存記錄在類中,只有上下兩個(gè)cookie,能夠容納多個(gè)實(shí)例。后續(xù)實(shí)例化時(shí),若內(nèi)存池中還有剩余內(nèi)存,則不必申請(qǐng)內(nèi)存分配,只在內(nèi)存池中分配。內(nèi)存回收時(shí),將實(shí)例所占用的內(nèi)存回收到內(nèi)存池中。若內(nèi)存池中無(wú)內(nèi)存,則再申請(qǐng)分配大塊內(nèi)存。
脫褲子放屁方案
我們以鏈表的形式組織內(nèi)存池,內(nèi)存池中每個(gè)一個(gè)鏈表是一個(gè)小桶,這個(gè)桶中裝我們實(shí)例化的對(duì)象。
內(nèi)存池鏈表的頭結(jié)點(diǎn)記錄在類中,即以class staic變量的形式存儲(chǔ)。組織形式如下:

實(shí)現(xiàn)代碼如下:
#include <iostream>
using namespace std;
class DemoClass{
public:
DemoClass() = default;
DemoClass(int i):data(i){}
static void* operator new(size_t size);
static void operator delete(void *);
virtual ~DemoClass(){}
private:
DemoClass *next;
int data;
static DemoClass *freeMemHeader;
static const size_t POOL_SIZE;
};
DemoClass * DemoClass::freeMemHeader = nullptr;
const size_t DemoClass::POOL_SIZE = 24;//設(shè)定內(nèi)存池能容納24個(gè)DemoClass對(duì)象
void* DemoClass::operator new(size_t size){
DemoClass* p;
if(!freeMemHeader){//freeMemHeader為空,內(nèi)存池中無(wú)空間,分配內(nèi)存
size_t pool_mem_bytes = size * POOL_SIZE;//內(nèi)存池的字節(jié)大小 = 每個(gè)實(shí)例的大?。ㄗ止?jié)數(shù))* 內(nèi)存池中能容納的最大實(shí)例數(shù)
freeMemHeader = reinterpret_cast<DemoClass*>(new char[pool_mem_bytes]);//new char[]分配pool_mem_bytes個(gè)字節(jié),因?yàn)槊總€(gè)char占用1個(gè)字節(jié)
cout << "Info:向操作系統(tǒng)申請(qǐng)了" << pool_mem_bytes << "字節(jié)的內(nèi)存。" << endl;
for(int i = 0;i < POOL_SIZE - 1; ++i){//將內(nèi)存池中POOL_SIZE個(gè)小塊內(nèi)存,串起來(lái)。
freeMemHeader[i].next = &freeMemHeader[i + 1];
}
freeMemHeader[POOL_SIZE - 1].next = nullptr;
}
p = freeMemHeader;//取內(nèi)存池(鏈表)的頭部,分配給要實(shí)例化的對(duì)象
cout << "Info:從內(nèi)存池中取了" << size << "字節(jié)的內(nèi)存。" << endl;
freeMemHeader = freeMemHeader -> next;//從內(nèi)存池中刪去取出的那一小塊地址,即更新內(nèi)存池
p -> next = nullptr;
return p;
}
void DemoClass::operator delete(void* p){
DemoClass* tmp = (DemoClass*) p;
tmp -> next = freeMemHeader;
freeMemHeader = tmp;
}
測(cè)試代碼如下:
int main(int argc, char* argv[]){
cout << "sizeof(DemoClass):" << sizeof(DemoClass) << endl;
size_t N = 32;
DemoClass* demos[N];
for(int i = 0; i < N; ++i){
demos[i] = new DemoClass(i);
cout << "address of the ith demo:" << demos[i] << endl;
cout << endl;
}
return 0;
}
其結(jié)果如下:


可以看到每個(gè)DemoClass的實(shí)例大小為24字節(jié),內(nèi)存池一次從操作系統(tǒng)中申請(qǐng)了576個(gè)字節(jié)的內(nèi)存,這些內(nèi)存可以容納24個(gè)實(shí)例。上面顯示出了每個(gè)實(shí)例的內(nèi)存地址,內(nèi)存池中相鄰實(shí)例的內(nèi)存首地址之差為24,即實(shí)例的大小,證明了一個(gè)內(nèi)存池的實(shí)例之間確實(shí)沒(méi)有cookie。
當(dāng)內(nèi)存池中內(nèi)存用完后,又向操作系統(tǒng)申請(qǐng)了576個(gè)字節(jié)的內(nèi)存。
由此,只有每個(gè)內(nèi)存池兩側(cè)有cookie,而內(nèi)存池中的實(shí)例不存在cookie,相比于每次調(diào)用new expression實(shí)例化對(duì)象都有cookie,內(nèi)存池的組織形式確實(shí)在形式上提高了內(nèi)存利用率。
那么,有什么問(wèn)題么?
sizeof(DemoClass)等于24:
- int data數(shù)據(jù)域占4個(gè)字節(jié)
- 兩個(gè)構(gòu)造函數(shù)一個(gè)析構(gòu)函數(shù)各占4字節(jié),共12字節(jié)
- 額外的指針DemoClass*,在64位機(jī)器上,占8個(gè)字節(jié)
這樣一個(gè)DemoClass的大小確實(shí)是24字節(jié)。wait,what?
我們?yōu)榱私鉀Qcookie帶來(lái)的內(nèi)存浪費(fèi),引入了指針next,但卻又引入了8個(gè)字節(jié)的overhead,脫褲子放屁,多此一舉?
這樣看來(lái)確實(shí)沒(méi)有達(dá)到要求,但至少為我們提供了一種思路,不是么?
分時(shí)復(fù)用改進(jìn)方案
首先我們先回憶下c++ 中的Union:
在任意時(shí)刻,聯(lián)合中只能有一個(gè)數(shù)據(jù)成員可以有值。當(dāng)給聯(lián)合中某個(gè)成員賦值之后,該聯(lián)合中的其它成員就變成未定義狀態(tài)了。
結(jié)合我們之前不成熟的內(nèi)存池,我們發(fā)現(xiàn),當(dāng)內(nèi)存池中的桶還沒(méi)有被分配給實(shí)例時(shí),只有next域有用,而當(dāng)桶被分配給實(shí)例后,next域就沒(méi)什么用了;當(dāng)桶被回收時(shí),數(shù)據(jù)域變無(wú)用而next指針又需要用到。這不正是union的特性么?
看一下代碼實(shí)現(xiàn):
#include <iostream>
using namespace std;
class DemoClass{
public:
DemoClass() = default;
DemoClass(int i, double p){
data.num = i;
data.price = p;
}
static void* operator new(size_t size);
static void operator delete(void *);
virtual ~DemoClass(){}
private:
struct DemoData{
int num;
double price;
};
private:
static DemoClass *freeMemHeader;
static const size_t POOL_SIZE;
union {
DemoClass *next;
DemoData data;
};
};
DemoClass * DemoClass::freeMemHeader = nullptr;
const size_t DemoClass::POOL_SIZE = 24;//設(shè)定內(nèi)存池能容納24個(gè)DemoClass對(duì)象
void* DemoClass::operator new(size_t size){
DemoClass* p;
if(!freeMemHeader){//freeMemHeader為空,內(nèi)存池中無(wú)空間,分配內(nèi)存
size_t pool_mem_bytes = size * POOL_SIZE;//內(nèi)存池的字節(jié)大小 = 每個(gè)實(shí)例的大小(字節(jié)數(shù))* 內(nèi)存池中能容納的最大實(shí)例數(shù)
freeMemHeader = reinterpret_cast<DemoClass*>(new char[pool_mem_bytes]);//new char[]分配pool_mem_bytes個(gè)字節(jié),因?yàn)槊總€(gè)char占用1個(gè)字節(jié)
cout << "Info:向操作系統(tǒng)申請(qǐng)了" << pool_mem_bytes << "字節(jié)的內(nèi)存。" << endl;
for(int i = 0;i < POOL_SIZE - 1; ++i){//將內(nèi)存池中POOL_SIZE個(gè)小塊內(nèi)存,串起來(lái)。
freeMemHeader[i].next = &freeMemHeader[i + 1];
}
freeMemHeader[POOL_SIZE - 1].next = nullptr;
}
p = freeMemHeader;//取內(nèi)存池(鏈表)的頭部,分配給要實(shí)例化的對(duì)象
cout << "Info:從內(nèi)存池中取了" << size << "字節(jié)的內(nèi)存。" << endl;
freeMemHeader = freeMemHeader -> next;//從內(nèi)存池中刪去取出的那一小塊地址,即更新內(nèi)存池
p -> next = nullptr;
return p;
}
void DemoClass::operator delete(void* p){
DemoClass* tmp = (DemoClass*) p;
tmp -> next = freeMemHeader;
freeMemHeader = tmp;
}
對(duì)比前一種實(shí)現(xiàn)代碼,只是構(gòu)造函數(shù)、數(shù)據(jù)域和指針域的組織形式發(fā)生了變化:
- 由于數(shù)據(jù)域增加了price項(xiàng),構(gòu)造函數(shù)中也增加了對(duì)應(yīng)的參數(shù)
- 數(shù)據(jù)域被集成定義成一個(gè)類自定義struct類型
- 數(shù)據(jù)域和指針域被組織為union
測(cè)試代碼依舊:
int main(int argc, char* argv[]){
cout << "sizeof(DemoClass):" << sizeof(DemoClass) << endl;
size_t N = 32;
DemoClass* demos[N];
for(int i = 0; i < N; ++i){
demos[i] = new DemoClass(i, i * i);
cout << "address of the " << i << "th demo:" << demos[i] << endl;
cout << endl;
}
return 0;
}
結(jié)果:


可以看到每個(gè)DemoClass的實(shí)例大小為24字節(jié),一個(gè)內(nèi)存池的實(shí)例之間沒(méi)有cookie。
分析一下sizeof(DemoClass)等于24的緣由:
- data數(shù)據(jù)域占12個(gè)字節(jié)(int 4字節(jié)、double 8字節(jié))。
- 兩個(gè)構(gòu)造函數(shù)一個(gè)析構(gòu)函數(shù)各占4字節(jié),共12字節(jié)。
- 指針DemoClass,在64位機(jī)器上,占8個(gè)字節(jié),但由于和數(shù)據(jù)域使用了union,data數(shù)據(jù)域12個(gè)字節(jié)中的前8個(gè)字節(jié)在適當(dāng)?shù)臅r(shí)機(jī)被看作DemoClass,而不占用額外空間,消除了overhead。
這樣一個(gè)DemoClass的大小確實(shí)是24字節(jié)。利用union的分時(shí)復(fù)用特性,我們消除了初步方案中指針帶來(lái)的脫褲子放屁效果。
另外的思考
細(xì)心的讀者可能會(huì)發(fā)現(xiàn),前面的那兩種方案都有共同的小缺陷,即當(dāng)程序一直實(shí)例化而不析構(gòu)時(shí),內(nèi)存池會(huì)向操作系統(tǒng)申請(qǐng)多次大塊內(nèi)存,而當(dāng)這些對(duì)象一起回收時(shí),內(nèi)存池中的剩余桶數(shù)會(huì)遠(yuǎn)大于設(shè)定的POOL_SIZE的大小,這個(gè)峰值多大取決于類實(shí)例化和回收的時(shí)機(jī)。
另外,內(nèi)存池中的內(nèi)存暫時(shí)不會(huì)回收給操作系統(tǒng),峰值很大可能會(huì)對(duì)內(nèi)存分配帶來(lái)一些影響,不過(guò)這卻不屬于內(nèi)存泄漏。在以后的文章中,我們可能會(huì)討論一些性能更好的內(nèi)存分配方案。
參考資料
[1] Effective C++ 3/e
[2] C++ Primer 5/e
[3] 侯捷老師的內(nèi)存管理課程
到此這篇關(guān)于C++手寫(xiě)內(nèi)存池的文章就介紹到這了,更多相關(guān)C++內(nèi)存池內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- C++基本組件之內(nèi)存池詳解
- C++中內(nèi)存池的簡(jiǎn)單原理及實(shí)現(xiàn)詳解
- C++中高性能內(nèi)存池的實(shí)現(xiàn)詳解
- C++高并發(fā)內(nèi)存池的實(shí)現(xiàn)
- C++設(shè)計(jì)一個(gè)簡(jiǎn)單內(nèi)存池的全過(guò)程
- C++如何實(shí)現(xiàn)定長(zhǎng)內(nèi)存池詳解
- C++內(nèi)存池兩種方案解析
- C++內(nèi)存池的簡(jiǎn)單實(shí)現(xiàn)
- C++高并發(fā)內(nèi)存池的整體設(shè)計(jì)和實(shí)現(xiàn)思路
- C++高效內(nèi)存池實(shí)現(xiàn)減少動(dòng)態(tài)分配開(kāi)銷的解決方案
相關(guān)文章
C++實(shí)現(xiàn)通訊錄系統(tǒng)項(xiàng)目實(shí)戰(zhàn)
這篇文章主要為大家詳細(xì)介紹了C++實(shí)現(xiàn)通訊錄系統(tǒng)項(xiàng)目實(shí)戰(zhàn),文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2022-06-06
數(shù)據(jù)結(jié)構(gòu)課程設(shè)計(jì)-用棧實(shí)現(xiàn)表達(dá)式求值的方法詳解
本篇文章是對(duì)在c語(yǔ)言中用棧實(shí)現(xiàn)表達(dá)式求值的方法進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下2013-05-05

