標(biāo)準(zhǔn)C＋＋類std::string的內(nèi)存共享和Copy-On-Write技術(shù) 陳皓

1、概念
 
Scott Meyers在《More Effective C++》中舉了個(gè)例子，不知你是否還記得？在你還在上學(xué)的時(shí)候，你的父母要你不要看電視，而去復(fù)習(xí)功課，于是你把自己關(guān)在房間里，做出一副正在復(fù)習(xí)功課的樣子，其實(shí)你在干著別的諸如給班上的某位女生寫情書之類的事，而一旦你的父母出來在你房間要檢查你是否在復(fù)習(xí)時(shí)，你才真正撿起課本看書。這就是“拖延戰(zhàn)術(shù)”，直到你非要做的時(shí)候才去做。
 
當(dāng)然，這種事情在現(xiàn)實(shí)生活中時(shí)往往會(huì)出事，但其在編程世界中搖身一變，就成為了最有用的技術(shù)，正如C++中的可以隨處聲明變量的特點(diǎn)一樣，Scott Meyers推薦我們，在真正需要一個(gè)存儲(chǔ)空間時(shí)才去聲明變量（分配內(nèi)存），這樣會(huì)得到程序在運(yùn)行時(shí)最小的內(nèi)存花銷。執(zhí)行到那才會(huì)去做分配內(nèi)存這種比較耗時(shí)的工作，這會(huì)給我們的程序在運(yùn)行時(shí)有比較好的性能。必竟，20%的程序運(yùn)行了80%的時(shí)間。
 
當(dāng)然，拖延戰(zhàn)術(shù)還并不只是這樣一種類型，這種技術(shù)被我們廣泛地應(yīng)用著，特別是在操作系統(tǒng)當(dāng)中，當(dāng)一個(gè)程序運(yùn)行結(jié)束時(shí)，操作系統(tǒng)并不會(huì)急著把其清除出內(nèi)存，原因是有可能程序還會(huì)馬上再運(yùn)行一次（從磁盤把程序裝入到內(nèi)存是個(gè)很慢的過程），而只有當(dāng)內(nèi)存不夠用了，才會(huì)把這些還駐留內(nèi)存的程序清出。
 
寫時(shí)才拷貝（Copy-On-Write）技術(shù)，就是編程界“懶惰行為”——拖延戰(zhàn)術(shù)的產(chǎn)物。舉個(gè)例子，比如我們有個(gè)程序要寫文件，不斷地根據(jù)網(wǎng)絡(luò)傳來的數(shù)據(jù)寫，如果每一次fwrite或是fprintf都要進(jìn)行一個(gè)磁盤的I/O操作的話，都簡直就是性能上巨大的損失，因此通常的做法是，每次寫文件操作都寫在特定大小的一塊內(nèi)存中（磁盤緩存），只有當(dāng)我們關(guān)閉文件時(shí)，才寫到磁盤上（這就是為什么如果文件不關(guān)閉，所寫的東西會(huì)丟失的原因）。更有甚者是文件關(guān)閉時(shí)都不寫磁盤，而一直等到關(guān)機(jī)或是內(nèi)存不夠時(shí)才寫磁盤，Unix就是這樣一個(gè)系統(tǒng)，如果非正常退出，那么數(shù)據(jù)就會(huì)丟失，文件就會(huì)損壞。
 
呵呵，為了性能我們需要冒這樣大的風(fēng)險(xiǎn)，還好我們的程序是不會(huì)忙得忘了還有一塊數(shù)據(jù)需要寫到磁盤上的，所以這種做法，還是很有必要的。

2、標(biāo)準(zhǔn)C++類std::string的Copy-On-Write
 
在我們經(jīng)常使用的STL標(biāo)準(zhǔn)模板庫中的string類，也是一個(gè)具有寫時(shí)才拷貝技術(shù)的類。C++曾在性能問題上被廣泛地質(zhì)疑和指責(zé)過，為了提高性能，STL中的許多類都采用了Copy-On-Write技術(shù)。這種偷懶的行為的確使使用STL的程序有著比較高要性能。
 
這里，我想從C++類或是設(shè)計(jì)模式的角度為各位揭開Copy-On-Write技術(shù)在string中實(shí)現(xiàn)的面紗，以供各位在用C++進(jìn)行類庫設(shè)計(jì)時(shí)做一點(diǎn)參考。
 
在講述這項(xiàng)技術(shù)之前，我想簡單地說明一下string類內(nèi)存分配的概念。通過常，string類中必有一個(gè)私有成員，其是一個(gè)char*，用戶記錄從堆上分配內(nèi)存的地址，其在構(gòu)造時(shí)分配內(nèi)存，在析構(gòu)時(shí)釋放內(nèi)存。因?yàn)槭菑亩焉戏峙鋬?nèi)存，所以string類在維護(hù)這塊內(nèi)存上是格外小心的，string類在返回這塊內(nèi)存地址時(shí)，只返回const char*，也就是只讀的，如果你要寫，你只能通過string提供的方法進(jìn)行數(shù)據(jù)的改寫。
 
2.1、特性
 
由表及里，由感性到理性，我們先來看一看string類的Copy-On-Write的表面特征。讓我們寫下下面的一段程序：
 

 
這個(gè)程序的意圖就是讓第二個(gè)string通過第一個(gè)string構(gòu)造，然后打印出其存放數(shù)據(jù)的內(nèi)存地址，然后分別修改str1和str2的內(nèi)容，再查一下其存放內(nèi)存的地址。程序的輸出是這樣的（我在VC6.0和g++ 2.95都得到了同樣的結(jié)果）：

 
從結(jié)果中我們可以看到，在開始的兩個(gè)語句后，str1和str2存放數(shù)據(jù)的地址是一樣的，而在修改內(nèi)容后，str1的地址發(fā)生了變化，而str2的地址還是原來的。從這個(gè)例子，我們可以看到string類的Copy-On-Write技術(shù)。
 

2.2、深入

在深入這前，通過上述的演示，我們應(yīng)該知道在string類中，要實(shí)現(xiàn)寫時(shí)才拷貝，需要解決兩個(gè)問題，一個(gè)是內(nèi)存共享，一個(gè)是Copy-On-Wirte，這兩個(gè)主題會(huì)讓我們產(chǎn)生許多疑問，還是讓我們帶著這樣幾個(gè)問題來學(xué)習(xí)吧：
1、  Copy-On-Write的原理是什么？
2、  string類在什么情況下才共享內(nèi)存的？
3、  string類在什么情況下觸發(fā)寫時(shí)才拷貝（Copy-On-Write）?
4、  Copy-On-Write時(shí)，發(fā)生了什么？
5、  Copy-On-Write的具體實(shí)現(xiàn)是怎么樣的？
 
喔，你說只要看一看STL中stirng的源碼你就可以找到答案了。當(dāng)然，當(dāng)然，我也是參考了string的父模板類basic_string的源碼。但是，如果你感到看STL的源碼就好像看機(jī)器碼，并嚴(yán)重打擊你對(duì)C++自信心，乃至產(chǎn)生了自己是否懂C++的疑問，如果你有這樣的感覺，那么還是繼續(xù)往下看我的這篇文章吧。
 
OK，讓我們一個(gè)問題一個(gè)問題地探討吧，慢慢地所有的技術(shù)細(xì)節(jié)都會(huì)浮出水面的。
 
2.3、Copy-On-Write的原理是什么？
 
有一定經(jīng)驗(yàn)的程序員一定知道，Copy-On-Write一定使用了“引用計(jì)數(shù)”，是的，必然有一個(gè)變量類似于RefCnt。當(dāng)?shù)谝粋€(gè)類構(gòu)造時(shí)，string的構(gòu)造函數(shù)會(huì)根據(jù)傳入的參數(shù)從堆上分配內(nèi)存，當(dāng)有其它類需要這塊內(nèi)存時(shí)，這個(gè)計(jì)數(shù)為自動(dòng)累加，當(dāng)有類析構(gòu)時(shí)，這個(gè)計(jì)數(shù)會(huì)減一，直到最后一個(gè)類析構(gòu)時(shí)，此時(shí)的RefCnt為1或是0，此時(shí)，程序才會(huì)真正的Free這塊從堆上分配的內(nèi)存。
 
是的，引用計(jì)數(shù)就是string類中寫時(shí)才拷貝的原理！
  
2.3.1、      string類在什么情況下才共享內(nèi)存的？
 
這個(gè)問題的答案應(yīng)該是明顯的，根據(jù)常理和邏輯，如果一個(gè)類要用另一個(gè)類的數(shù)據(jù)，那就可以共享被使用類的內(nèi)存了。這是很合理的，如果你不用我的，那就不用共享，只有你使用我的，才發(fā)生共享。
 
使用別的類的數(shù)據(jù)時(shí)，無非有兩種情況，1）以別的類構(gòu)造自己，2）以別的類賦值。第一種情況時(shí)會(huì)觸發(fā)拷貝構(gòu)造函數(shù)，第二種情況會(huì)觸發(fā)賦值操作符。這兩種情況我們都可以在類中實(shí)現(xiàn)其對(duì)應(yīng)的方法。對(duì)于第一種情況，只需要在string類的拷貝構(gòu)造函數(shù)中做點(diǎn)處理，讓其引用計(jì)數(shù)累加；同樣，對(duì)于第二種情況，只需要重載string類的賦值操作符，同樣在其中加上一點(diǎn)處理。
 
 
嘮叨幾句：
 
1）構(gòu)造和賦值的差別

對(duì)于前面那個(gè)例程中的這兩句：
       string str1 = "hello world";
       string str2 = str1;

不要以為有“=”就是賦值操作，其實(shí)，這兩條語句等價(jià)于：

       string str1 ("hello world");   //調(diào)用的是構(gòu)造函數(shù)
       string str2 (str1);   //調(diào)用的是拷貝構(gòu)造函數(shù)
 
如果str2是下面的這樣情況：

string str2;      //調(diào)用參數(shù)默認(rèn)為空串的構(gòu)造函數(shù)：string str2(“”);
str2 = str1;     //調(diào)用str2的賦值操作：str2.operator=(str1);
 
2) 另一種情況
       char tmp[]=”hello world”;
     string str1 = tmp;
       string str2 = tmp;
    這種情況下會(huì)觸發(fā)內(nèi)存的共享嗎？想當(dāng)然的，應(yīng)該要共享?？墒歉鶕?jù)我們前面所說的共享內(nèi)存的情況，兩個(gè)string類的聲明和初始語句并不符合我前述的兩種情況，所以其并不發(fā)生內(nèi)存共享。而且，C++現(xiàn)有特性也無法讓我們做到對(duì)這種情況進(jìn)行類的內(nèi)存共享。
 
 
 
2.3.2、      string類在什么情況下觸發(fā)寫時(shí)才拷貝（Copy-On-Write）?
 
哦，什么時(shí)候會(huì)發(fā)現(xiàn)寫時(shí)才拷貝？很顯然，當(dāng)然是在共享同一塊內(nèi)存的類發(fā)生內(nèi)容改變時(shí)，才會(huì)發(fā)生Copy-On-Write。比如string類的[]、=、+=、+、操作符賦值，還有一些string類中諸如insert、replace、append等成員函數(shù),包括類的析構(gòu)時(shí)。
 
修改數(shù)據(jù)才會(huì)觸發(fā)Copy-On-Write，不修改當(dāng)然就不會(huì)改啦。這就是托延戰(zhàn)術(shù)的真諦，非到要做的時(shí)候才去做。
 
2.3.3、Copy-On-Write時(shí)，發(fā)生了什么？
 
我們可能根據(jù)那個(gè)訪問計(jì)數(shù)來決定是否需要拷貝，參看下面的代碼：

 
上面的代碼是一個(gè)假想的拷貝方法，如果有別的類在引用（檢查引用計(jì)數(shù)來獲知）這塊內(nèi)存，那么就需要把更改類進(jìn)行“拷貝”這個(gè)動(dòng)作。
 
我們可以把這個(gè)拷的運(yùn)行封裝成一個(gè)函數(shù)，供那些改變內(nèi)容的成員函數(shù)使用。

2.3.4、      Copy-On-Write的具體實(shí)現(xiàn)是怎么樣的？

 
很明顯，我們要讓h1、h2、h3共享同一塊內(nèi)存，讓w1、w2共享同一塊內(nèi)存。因?yàn)?，在h1、h2、h3中，我們要維護(hù)一個(gè)引用計(jì)數(shù)，在w1、w2中我們又要維護(hù)一個(gè)引用計(jì)數(shù)。
 
如何使用一個(gè)巧妙的方法產(chǎn)生這兩個(gè)引用計(jì)數(shù)呢？我們想到了string類的內(nèi)存是在堆上動(dòng)態(tài)分配的，既然共享內(nèi)存的各個(gè)類指向的是同一個(gè)內(nèi)存區(qū)，我們?yōu)槭裁床辉谶@塊區(qū)上多分配一點(diǎn)空間來存放這個(gè)引用計(jì)數(shù)呢？這樣一來，所有共享一塊內(nèi)存區(qū)的類都有同樣的一個(gè)引用計(jì)數(shù)，而這個(gè)變量的地址既然是在共享區(qū)上的，那么所有共享這塊內(nèi)存的類都可以訪問到，也就知道這塊內(nèi)存的引用者有多少了。
 
請(qǐng)看下圖：



于是，有了這樣一個(gè)機(jī)制，每當(dāng)我們?yōu)閟tring分配內(nèi)存時(shí)，我們總是要多分配一個(gè)空間用來存放這個(gè)引用計(jì)數(shù)的值，只要發(fā)生拷貝構(gòu)造可是賦值時(shí)，這個(gè)內(nèi)存的值就會(huì)加一。而在內(nèi)容修改時(shí)，string類為查看這個(gè)引用計(jì)數(shù)是否為0，如果不為零，表示有人在共享這塊內(nèi)存，那么自己需要先做一份拷貝，然后把引用計(jì)數(shù)減去一，再把數(shù)據(jù)拷貝過來。下面的幾個(gè)程序片段說明了這兩個(gè)動(dòng)作：
 

 
哈哈，整個(gè)技術(shù)細(xì)節(jié)完全浮出水面。
 
不過，這和STL中basic_string的實(shí)現(xiàn)細(xì)節(jié)還有一點(diǎn)點(diǎn)差別，在你打開STL的源碼時(shí)，你會(huì)發(fā)現(xiàn)其取引用計(jì)數(shù)是通過這樣的訪問：_Ptr[-1]，標(biāo)準(zhǔn)庫中，把這個(gè)引用計(jì)數(shù)的內(nèi)存分配在了前面（我給出來的代碼是把引用計(jì)數(shù)分配以了后面，這很不好），分配在前的好處是當(dāng)string的長度擴(kuò)展時(shí)，只需要在后面擴(kuò)展其內(nèi)存，而不需要移動(dòng)引用計(jì)數(shù)的內(nèi)存存放位置，這又節(jié)省了一點(diǎn)時(shí)間。
 
STL中的string的內(nèi)存結(jié)構(gòu)就像我前面畫的那個(gè)圖一樣，_Ptr指著是數(shù)據(jù)區(qū)，而RefCnt則在_Ptr-1 或是 _Ptr[-1]處。
   
不信？！那么讓我們來看一個(gè)測試案例：
 
假設(shè)有一個(gè)動(dòng)態(tài)鏈接庫（叫myNet.dll或myNet.so）中有這樣一個(gè)函數(shù)返回的是string類：

 
而你的主程序中動(dòng)態(tài)地載入這個(gè)動(dòng)態(tài)鏈接庫，并調(diào)用其中的這個(gè)函數(shù)：
 

 
讓我們來看看這段代碼，程序以動(dòng)態(tài)方式載入動(dòng)態(tài)鏈接庫中的函數(shù)，然后以函數(shù)指針的方式調(diào)用動(dòng)態(tài)鏈接庫中的函數(shù)，并把返回值放在一個(gè)string類中，然后釋放了這個(gè)動(dòng)態(tài)鏈接庫。釋放后，輸入ip的內(nèi)容。
 
根據(jù)函數(shù)的定義，我們知道函數(shù)是“值返回”的，所以，函數(shù)返回時(shí)，一定會(huì)調(diào)用拷貝構(gòu)造函數(shù)，又根據(jù)string類的內(nèi)存共享機(jī)制，在主程序中變量ip是和函數(shù)內(nèi)部的那個(gè)靜態(tài)string變量共享內(nèi)存（這塊內(nèi)存區(qū)是在動(dòng)態(tài)鏈接庫的地址空間的）。而我們假設(shè)在整個(gè)主程序中都沒有對(duì)ip的值進(jìn)行修改過。那么在當(dāng)主程序釋放了動(dòng)態(tài)鏈接庫后，那個(gè)共享的內(nèi)存區(qū)也隨之釋放。所以，以后對(duì)ip的訪問，必然做造成內(nèi)存地址訪問非法，造成程序crash。即使你在以后沒有使用到ip這個(gè)變量，那么在主程序退出時(shí)也會(huì)發(fā)生內(nèi)存訪問異常，因?yàn)槌绦蛲顺鰰r(shí)，ip會(huì)析構(gòu)，在析構(gòu)時(shí)就會(huì)發(fā)生內(nèi)存訪問異常。
 
內(nèi)存訪問異常，意味著兩件事：1）無論你的程序再漂亮，都會(huì)因?yàn)檫@個(gè)錯(cuò)誤變得暗淡無光，你的聲譽(yù)也會(huì)因?yàn)檫@個(gè)錯(cuò)誤受到損失。2）未來的一段時(shí)間，你會(huì)被這個(gè)系統(tǒng)級(jí)錯(cuò)誤所煎熬（在C++世界中，找到并排除這種內(nèi)存錯(cuò)誤并不是一件容易的事情）。這是C/C++程序員永遠(yuǎn)的心頭之痛，千里之堤，潰于蟻穴。而如果你不清楚string類的這種特征，在成千上萬行代碼中找這樣一個(gè)內(nèi)存異常，簡直就是一場噩夢(mèng)。
 
備注：要改正上述的Bug，有很多種方法，這里提供一種僅供參考：
string ip = (*pFun)(“host1”).cstr();
 
3、    后記
 
文章到這里也應(yīng)該結(jié)束了，這篇文章的主要有以下幾個(gè)目的：
 
1）    向大家介紹一下寫時(shí)才拷貝/內(nèi)存共享這種技術(shù)。
2）    以STL中的string類為例，向大家介紹了一種設(shè)計(jì)模式。
3）    在C++世界中，無論你的設(shè)計(jì)怎么精巧，代碼怎么穩(wěn)固，都難以照顧到所有的情況。智能指針更是一個(gè)典型的例子，無論你怎么設(shè)計(jì)，都會(huì)有非常嚴(yán)重的BUG。
4）    C++是一把雙刃劍，只有了解了原理，你才能更好的使用C++。否則，必將引火燒身。如果你在設(shè)計(jì)和使用類庫時(shí)有一種“玩C++就像玩火，必須千萬小心”的感覺，那么你就入門了，等你能把這股“火”控制的得心應(yīng)手時(shí)，那才是學(xué)成了。

最新評(píng)論