1.前言

對于數(shù)據(jù)庫引擎來說，內(nèi)存是一個性能提升的重要解決手段。把數(shù)據(jù)緩存起來，可以避免在查詢或更新數(shù)據(jù)時花費多余的時間，而這時間通常是從磁盤獲取數(shù)據(jù)時用來等待磁盤尋址的。把執(zhí)行計劃緩存起來，可以避免重復(fù)分析執(zhí)行計劃時帶來額外的CPU及各種資源的開銷。通過在內(nèi)存中開辟查詢內(nèi)存空間，可以迅速地完成排序、哈希等計算，達到快速返回運算結(jié)果的目的。若沒有足夠的內(nèi)存空間，數(shù)據(jù)庫引擎將無法快速地響應(yīng)用戶的請求。

2.SQL Server如何從操作系統(tǒng)層面分配內(nèi)存

SQL Server存儲引擎本身是一個Windows下的進程，所以SQL Server使用內(nèi)存和其它Windows進程一樣，都需要向Windows申請內(nèi)存（通過VirtualAlloc之類的API向Windows申請內(nèi)存）。

3.物理內(nèi)存、虛擬內(nèi)存、虛擬內(nèi)存管理器

3.1物理內(nèi)存（RAM）

內(nèi)存芯片提供的物理存儲空間，能被CPU直接訪問，訪問速度快，易丟失。內(nèi)存性能指標GB/s,ns（納秒），前者是吞吐量，后者是響應(yīng)時間。磁盤性能指標MB/s,us(微秒)，從兩者對比就能看出內(nèi)存訪問速度是遠優(yōu)于磁盤的。

3.2虛擬內(nèi)存

物理內(nèi)存容量是有限的，如果所有進程都直接使用有限的物理內(nèi)存，那新的進程將無法為他們找到任何物理內(nèi)存，那么物理內(nèi)存將容易成為瓶頸。所以Windows會授予每個進程一個虛擬地址空間（Virtual Address Space，VAS），通過VAS建立應(yīng)用程序與物理內(nèi)存的橋梁。

3.2.1虛擬地址空間（Virtual Address Space，VAS）

是指一個應(yīng)用程序能夠申請訪問的最大地址空間。VAS作為中間的抽象層的，不是所有的請求都直接映射到物理內(nèi)存，它首先映射到VAS，然后映射到物理內(nèi)存。
而兩個進程可以共用一個VAS，而VAS的大小取決于CPU架構(gòu)，具體請看下面表格：

VAS有兩種內(nèi)存模式，Kernel Model和User Model。Kernel Model下的VAS是供Windows系統(tǒng)進程使用，而User Model下的VAS是供用戶進程使用。
由表格可知，32位Windows系統(tǒng)應(yīng)用程序可以訪問最大2GB的VAS，64Windows位系統(tǒng)可以訪問最大8TB的VAS。這意味著在32位Windows系統(tǒng)中一個word文檔進程跟一個SQL Server進程能得到最大2GB的VAS是一樣的。因此，從理論上講，這意味著任何應(yīng)用程序進程在32位Windows系統(tǒng)上都將共享最大限度的2 G的VAS。

3.3虛擬內(nèi)存管理器（Virtual Memory Manager，VMM）

VMM是負責(zé)把物理內(nèi)存在系統(tǒng)中所有需要內(nèi)存的進程之間作共享，必要時會從VAS回收物理內(nèi)存，把數(shù)據(jù)存儲到頁面文件上面去，保證數(shù)據(jù)永不丟失。當進程需要內(nèi)存時，VMM會從頁面文件中查找數(shù)據(jù)，并將這數(shù)據(jù)寫入一部分空閑內(nèi)存當中，然后將新頁面映射到需要操作的VAS當中。

4.SQL Server內(nèi)存架構(gòu)

SQL Server 2012對內(nèi)存管理這塊跟SQL Server 2008還是有比較大的區(qū)別的，參考一些資料，下面我們來看看兩者具體架構(gòu)。

SQL Server 2008 R2：

SQL Server 2012：

名詞術(shù)語

4.1緩沖池（Buffer Pool）

為了更加清楚了解Buffer Pool，我們先來了解下 SQL Server的所需要的內(nèi)存有哪些，其中包括SQL Server服務(wù)(sqlserver.exe)和其它一些組件所占用的內(nèi)存，例如SQL Server代理程序（sqlagent.exe）, SQL Server復(fù)制代理程序、SQL Server報表服務(wù)(ReportingServicesService.exe)、SQL Server Analysis Services(msmdsrv.exe)、SQL Server Integration Services(MsDtsSrvr.exe)，和SQL Server 全文搜索(msftesql.exe)。
在一臺運行SQL Server的服務(wù)器上，運行著sqlserver服務(wù)(sqlserver.exe)和其它一些組件。在sqlserver服務(wù)(sqlserver.exe)獲取到的內(nèi)存中，又分為2大塊：一部分為Buffer Pool，另一部分為非Buffer Pool，舊稱MemToReserve（默認sqlserver.exe給它預(yù)留了256MB）。下表為這兩部分內(nèi)存各自的用途：

4.2 Single-Page

這塊內(nèi)存是<=8kb的存儲，適用于sql server 2008及以前，屬于Buffer Pool緩沖池來分配。有存儲數(shù)據(jù)頁面，Consumer功能組件。

4.3 Multi-Page

這塊內(nèi)存是>8kb的存儲，適用于sql server 2008及以前，不屬于Buffer Pool緩沖池來分配, 有存儲Consumer功能組件, 第三方代碼, Threads線程。

4.4 Any Size Page

這個適用于sql server 2012及以上，整合了single-page,multi-page統(tǒng)稱any size page。

4.5 Memory Manager

它來統(tǒng)一響應(yīng)SQL Server 內(nèi)部各種組件內(nèi)存申請的請求。因為這個原因，在SQL Server 2012里面，max server memory 不再像以前的版本那樣，只控制buffer pool的大小，也包括那些大于8kb 的內(nèi)存請求。也就是，max server memory能夠更準確地控制SQL Server 的內(nèi)存使用了。

5.SQL Server 2008內(nèi)存

從內(nèi)存架構(gòu)我們可以看到有page reservation需預(yù)先申請的內(nèi)存，有momory objects從windows api申請的內(nèi)存，有clr第三方申請的內(nèi)存。

內(nèi)存使用分類

5.1按用途分類

（1）Database Cache（數(shù)據(jù)頁面緩沖區(qū)）

存放數(shù)據(jù)頁面的緩沖區(qū)。SQL Server數(shù)據(jù)庫里的數(shù)據(jù)都是以8KB為一個頁面存儲。當有用戶需要使用到這個頁面上存儲的數(shù)據(jù)時，SQL Server會把整個頁面都調(diào)入內(nèi)存，供用戶使用。所以8KB是數(shù)據(jù)訪問的最小單元。當用戶修改了某個頁面上的數(shù)據(jù)時，SQL Server會在內(nèi)存中將這個頁面修改，但是不會立刻將這個頁面寫回磁盤，而是等到后面的Checkpoint或Lazy Write的時候集中處理。

（2）各類Consumer

SQL Server的很多功能組件，都必須要申請內(nèi)存來完成它們的任務(wù)。這些統(tǒng)稱為“Consumer”。常見有如下：

• Connection：SQL Server為每個連接分配一個數(shù)據(jù)結(jié)構(gòu)，存儲關(guān)于這個連接的信息。另外，還會分配一個輸入緩沖池，緩沖客戶端發(fā)來的指令；一個輸出緩沖池，存放SQL Server返回的結(jié)果，等待客戶端取走。
• General：一組大雜燴。包括語句的編譯、范式化、每個鎖數(shù)據(jù)結(jié)構(gòu)、事務(wù)上下文、表格和索引的元數(shù)據(jù)等。
• Query Plan：語句和存儲過程的執(zhí)行計劃。和Database Cache類似，如果SQL Server沒有內(nèi)存壓力，它就會保留每一個生成的執(zhí)行計劃，供以后的用戶重用，減少Comlile的消耗。所以Query Plan也會是一塊比較大的內(nèi)存使用區(qū)域。
• Optimizer：SQL Server在生成執(zhí)行計劃的過程中需要消耗的內(nèi)存。
• Utilities：像BCP、Log Manager、Parallel Queries、Backup等比較特殊的操作需要的內(nèi)存。

（3）線程內(nèi)存

SQL Server會為每個進程內(nèi)的每個線程分配0.5MB的內(nèi)存，以存放線程的數(shù)據(jù)結(jié)構(gòu)和相關(guān)信息。

（4）第三方代碼申請的內(nèi)存（COM，XP...）

在SQL Server的進程里，會運行一些非SQL Server自身的代碼。例如，用戶定義的CLR或者Extended Stored Procedure代碼，Linked Server需要加載的數(shù)據(jù)連結(jié)驅(qū)動，調(diào)用SQL Mail功能需要加載的MAPI動態(tài)庫等。這些代碼也會申請內(nèi)存，會算在SQL Server自己都不知道。

5.2按申請方式分類

有些SQL Server內(nèi)存的申請方式，是預(yù)先Reserve一塊大的內(nèi)存，然后在使用的時候一小塊一小塊地Commit。而另外的內(nèi)存申請則直接從空間里Commit。在SQL Server里，把后一種方式叫Stolen。
在SQL Server里，對Database Cache，SQL Server會先Reserve，再Commit。其他的所有內(nèi)存使用，基本都是直接Commit，都是“Stolen”。要重申的是，Stolen內(nèi)存也是正常使用的內(nèi)存，不是泄漏掉的內(nèi)存。
之所以要把這兩種分開，是因為SQL Server不會對Stolen的內(nèi)存使用AWE功能。也就是說，AWE擴展出去的內(nèi)存，只能用來存放Database Cache。其他內(nèi)存還要在原來的那2GB里想辦法。

5.3按申請大小分類

對于SQL Server自己申請的內(nèi)存，有兩種內(nèi)存申請單位。
小于等于8KB一個單位內(nèi)存申請，SQL Server就分配一個8KB頁面。所有這些頁面都集中管理，這塊內(nèi)存被稱為Buffer Pool。一次一個頁面的這種分配稱為Single Page Allocation。
對于大于8KB為單位的內(nèi)存申請，SQL Server把它們集中在另外一個區(qū)域，稱為Multi-Page Allocation（舊稱MemToLeave）。而這種分配稱為Multi-Page Allocation。

5.4各個內(nèi)存分類方法之間的關(guān)系：

這里的一個例外是運行在SQL Server進程里的CLR代碼所申請的內(nèi)存。這部分內(nèi)存像第三方代碼一樣，也是使用MemToLeave的內(nèi)存。但是，CLR可能也會用Reserve-Commit的方式申請內(nèi)存。所以MemToLeave的內(nèi)存也并不是都是Stolen的。

6.SQL Server 2012內(nèi)存

根據(jù)SQL Server內(nèi)存架構(gòu)圖，我們可以知道，在2012版本上，Single Page Allocation跟Multi-Page Allocation合并為Any Size Page Allocation了。而max server memory控制的不但是 Buffer Pool內(nèi)存大小，而是所有大于等于小于8KB的內(nèi)存請求。
如圖：

比如我設(shè)置最小服務(wù)器內(nèi)存為8G，重新啟動下SQL Server (MSSQLSERVER)服務(wù)，再使用dmv來查看當前實例的總內(nèi)存空間，以及占用內(nèi)存空間：
--Target Server Memory (KB)最多能申請的內(nèi)存量
--Total Server Memory (KB)目前使用了多少內(nèi)存量

SELECT counter_name, ltrim(cntr_value*1.0/1024.0/1024.0)+'G'?
AS memoryGB FROM sys.dm_os_performance_counters?
WHERE counter_name like '%target%server%memory%'or counter_name like '%total%memory%'

從查詢結(jié)果可以看到當我們在SQL Server設(shè)置最小服務(wù)器內(nèi)存為8G的時候，給SQL Server分配了多少內(nèi)存，它就占用多少多少內(nèi)存，從而達到性能最佳。

到此這篇關(guān)于SQL Server內(nèi)存機制的文章就介紹到這了。希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

最新評論