Linux 內(nèi)存機(jī)制詳解寶典

一. 我們先來查看一個(gè)內(nèi)存使用的例子:
[oracle@db1 ~]$ free -m
total used free shared buffers cached
Mem: 72433 67075 5357 0 558 62221
-/+ buffers/cache: 4295 68138
Swap: 72096 91 72004
上述結(jié)果顯示了67075M的used,但是(-/+ buffers/cache)減去buffers和cache的結(jié)果可以看到,所以當(dāng)前進(jìn)程實(shí)際占用內(nèi)存是4296M。
可以這么理解:在linux的內(nèi)存分配機(jī)制中,優(yōu)先使用物理內(nèi)存,當(dāng)物理內(nèi)存還有空閑時(shí)(還夠用),不會(huì)釋放其占用內(nèi)存,就算占用內(nèi)存的程序已經(jīng)被關(guān)閉了,該程序所占用的內(nèi)存用來做緩存使用,對于開啟過的程序、或是讀取剛存取過得數(shù)據(jù)會(huì)比較快。
如上面的例子:使用了72433M的內(nèi)存,67075M被占用,但是buuffer和cached部分作為緩存,可以使用命中率的方式提高使用效率,而且這部分緩存是根據(jù)指令隨時(shí)可以釋放的,我們可以認(rèn)為這部分內(nèi)存沒有實(shí)際被使用,也可以認(rèn)為它是空閑的。
因此查看目前進(jìn)程正在實(shí)際被使用的內(nèi)存,是used-(buffers+cache),也可以認(rèn)為如果swap沒有大量使用,mem還是夠用的,只有mem被當(dāng)前進(jìn)程實(shí)際占用完(沒有了buffers和cache),才會(huì)使用到swap的。
二. Swap配置對性能的影響
分配太多的Swap空間會(huì)浪費(fèi)磁盤空間,而Swap空間太少,則系統(tǒng)會(huì)發(fā)生錯(cuò)誤。 如果系統(tǒng)的物理內(nèi)存用光了,系統(tǒng)就會(huì)跑得很慢,但仍能運(yùn)行;如果Swap空間用光了,那么系統(tǒng)就會(huì)發(fā)生錯(cuò)誤。例如,Web服務(wù)器能根據(jù)不同的請求數(shù)量衍生出多個(gè)服務(wù)進(jìn)程(或線程),如果Swap空間用完,則服務(wù)進(jìn)程無法啟動(dòng),通常會(huì)出現(xiàn)“application is out of memory”的錯(cuò)誤,嚴(yán)重時(shí)會(huì)造成服務(wù)進(jìn)程的死鎖。因此Swap空間的分配是很重要的。
通常情況下,Swap空間應(yīng)大于或等于物理內(nèi)存的大小,最小不應(yīng)小于64M,通常Swap空間的大小應(yīng)是物理內(nèi)存的2-2.5倍。但根據(jù)不同的應(yīng)用,應(yīng)有不同的配置:如果是小的桌面系統(tǒng),則只需要較小的Swap空間,而大的服務(wù)器系統(tǒng)則視情況不同需要不同大小的Swap空間。特別是數(shù)據(jù)庫服務(wù)器和Web服務(wù)器,隨著訪問量的增加,對Swap空間的要求也會(huì)增加,一般來說對于4G 以下的物理內(nèi)存,配置2倍的swap,4G 以上配置1倍。
另外,Swap分區(qū)的數(shù)量對性能也有很大的影響。因?yàn)?/span>Swap交換的操作是磁盤IO的操作,如果有多個(gè)Swap交換區(qū),Swap空間的分配會(huì)以輪流的方式操作于所有的Swap,這樣會(huì)大大均衡IO的負(fù)載,加快Swap交換的速度。如果只有一個(gè)交換區(qū),所有的交換操作會(huì)使交換區(qū)變得很忙,使系統(tǒng)大多數(shù)時(shí)間處于等待狀態(tài),效率很低。用性能監(jiān)視工具就會(huì)發(fā)現(xiàn),此時(shí)的CPU并不很忙,而系統(tǒng)卻慢。這說明,瓶頸在IO上,依靠提高CPU的速度是解決不了問題的。
三. Linux 內(nèi)存機(jī)制
Linux支持虛擬內(nèi)存(Virtual Mmemory),虛擬內(nèi)存是指使用磁盤當(dāng)作RAM的擴(kuò)展,這樣可用的內(nèi)存的大小就相應(yīng)地增大了。內(nèi)核會(huì)將暫時(shí)不用的內(nèi)存塊的內(nèi)容寫到硬盤上,這樣一來,這塊內(nèi)存就可用于其它目的。當(dāng)需要用到原始的內(nèi)容時(shí),它們被重新讀入內(nèi)存。這些操作對用戶來說是完全透明的;Linux下運(yùn)行的程序只是看到有大量的內(nèi)存可供使用而并沒有注意到時(shí)不時(shí)它們的一部分是駐留在硬盤上的。當(dāng)然,讀寫硬盤要比直接使用真實(shí)內(nèi)存慢得多(要慢數(shù)千倍),所以程序就不會(huì)象一直在內(nèi)存中運(yùn)行的那樣快。用作虛擬內(nèi)存的硬盤部分被稱為交換空間(Swap Space)。
一般,在交換空間中的頁面首先被換入內(nèi)存;如果此時(shí)沒有足夠的物理內(nèi)存來容納它們又將被交換出來(到其他的交換空間中)。如果沒有足夠的虛擬內(nèi)存來容納所有這些頁面,Linux就會(huì)波動(dòng)而不正常;但經(jīng)過一段較長的時(shí)間Linux會(huì)恢復(fù),但此時(shí)系統(tǒng)已不可用了。
有時(shí),盡管有許多的空閑內(nèi)存,仍然會(huì)有許多的交換空間正被使用。這種情況是有可能發(fā)生的,例如如果在某一時(shí)刻有進(jìn)行交換的必要,但后來一個(gè)占用很多物理內(nèi)存的大進(jìn)程結(jié)束并釋放內(nèi)存時(shí)。被交換出的數(shù)據(jù)并不會(huì)自動(dòng)地交換進(jìn)內(nèi)存,除非有這個(gè)需要時(shí)。此時(shí)物理內(nèi)存會(huì)在一段時(shí)間內(nèi)保持空閑狀態(tài)。對此并沒有什么可擔(dān)心的,但是知道了是怎么一回事,也就無所謂了。
許多操作系統(tǒng)使用了虛擬內(nèi)存的方法。因?yàn)樗鼈儍H在運(yùn)行時(shí)才需要交換空間,以解決不會(huì)在同一時(shí)間使用交換空間,因此,除了當(dāng)前正在運(yùn)行的操作系統(tǒng)的交換空間,其它的就是一種浪費(fèi)。所以讓它們共享一個(gè)交換空間將會(huì)更有效率。
注意:如果會(huì)有幾個(gè)人同時(shí)使用這個(gè)系統(tǒng),他們都將消耗內(nèi)存。然而,如果兩個(gè)人同時(shí)運(yùn)行一個(gè)程序,內(nèi)存消耗的總量并不是翻倍,因?yàn)榇a頁以及共享的庫只存在一份。
Linux系統(tǒng)常常動(dòng)不動(dòng)就使用交換空間,以保持盡可能多的空閑物理內(nèi)存。即使并沒有什么事情需要內(nèi)存,Linux也會(huì)交換出暫時(shí)不用的內(nèi)存頁面。這可以避免等待交換所需的時(shí)間:當(dāng)磁盤閑著,就可以提前做好交換??梢詫⒔粨Q空間分散在幾個(gè)硬盤之上。針對相關(guān)磁盤的速度以及對磁盤的訪問模式,這樣做可以提高性能。
與訪問物理內(nèi)存相比,磁盤的讀寫是很慢的。另外,在相應(yīng)較短的時(shí)間內(nèi)多次讀磁盤同樣的部分也是常有的事。例如,某人也許首先閱讀了一段E-mail消息,然后為了答復(fù)又將這段消息讀入編輯器中,然后又在將這個(gè)消息拷貝到文件夾中時(shí),使得郵件程序又一次讀入它。或者考慮一下在一個(gè)有著許多用戶的系統(tǒng)中 ls命令會(huì)被使用多少次。通過將信息從磁盤上僅讀入一次并將其存于內(nèi)存中,除了第一次讀以外,可以加快所有其它讀的速度。這叫作磁盤緩沖(Disk Buffering),被用作此目的的內(nèi)存稱為高速緩沖(Buffer Cache)。但是,由于內(nèi)存是一種有限而又不充足的資源,高速緩沖不可能做的很大(它不可能包容要用到的所有數(shù)據(jù))。當(dāng)緩沖充滿了數(shù)據(jù)時(shí),其中最長時(shí)間不用的數(shù)據(jù)將被舍棄以騰出內(nèi)存空間用于新的數(shù)據(jù)。
對寫磁盤操作來說磁盤緩沖技術(shù)同樣有效。一方面,被寫入磁盤的數(shù)據(jù)常常會(huì)很快地又被讀出(例如,原代碼文件被保存到一個(gè)文件中,又被編譯器讀入),所以將要被寫的數(shù)據(jù)放入緩沖中是個(gè)好主意。另一方面,通過將數(shù)據(jù)放入緩沖中,而不是將其立刻寫入磁盤,程序可以加快運(yùn)行的速度。以后,寫的操作可以在后臺(tái)完成,而不會(huì)拖延程序的執(zhí)行。
大多數(shù)操作系統(tǒng)都有高速緩沖(盡管可能稱呼不同),但是并不是都遵守上面的原理。有些是直接寫(Write-Through):數(shù)據(jù)將被立刻寫入磁盤(當(dāng)然,數(shù)據(jù)也被放入緩存中)。如果寫操作是在以后做的,那么該緩存被稱為后臺(tái)寫(Write-Back)。后臺(tái)寫比直接寫更有效,但也容易出錯(cuò):如果機(jī)器崩潰,或者突然掉電,緩沖中改變過的數(shù)據(jù)就被丟失了。如果仍未被寫入的數(shù)據(jù)含有重要的薄記信息,這甚至可能意味著文件系統(tǒng)(如果有的話)已不完整。
針對以上的原因,出現(xiàn)了很多的日志文件系統(tǒng),數(shù)據(jù)在緩沖區(qū)修改后,同時(shí)會(huì)被文件系統(tǒng)記錄修改信息,這樣即使此時(shí)系統(tǒng)掉電,系統(tǒng)重啟后會(huì)首先從日志記錄中恢復(fù)數(shù)據(jù),保證數(shù)據(jù)不丟失。當(dāng)然這些問題不再本文的敘述范圍。
由于上述原因,在使用適當(dāng)?shù)年P(guān)閉過程之前,絕對不要關(guān)掉電源,Sync命令傾空(Flushes)緩沖,也即,強(qiáng)迫所有未被寫的數(shù)據(jù)寫入磁盤,可用以確定所有的寫操作都已完成。在傳統(tǒng)的UNIX系統(tǒng)中,有一個(gè)叫做update的程序運(yùn)行于后臺(tái),每隔30秒做一次sync操作,因此通常無需手工使用sync命令了。Linux另外有一個(gè)后臺(tái)程序,Bdflush,這個(gè)程序執(zhí)行更頻繁的但不是全面的同步操作,以避免有時(shí)sync的大量磁盤I/O操作所帶來的磁盤的突然凍結(jié)。
在Linux中,Bdflush是由update啟動(dòng)的。通常沒有理由來擔(dān)心此事,但如果由于某些原因bdflush進(jìn)程死掉了,內(nèi)核會(huì)對此作出警告,此時(shí)你就要手工地啟動(dòng)它了(/sbin/update)。
緩存(Cache)實(shí)際并不是緩沖文件的,而是緩沖塊的,塊是磁盤I/O操作的最小單元(在Linux中,它們通常是1KB)。這樣,目錄、超級塊、其它文件系統(tǒng)的薄記數(shù)據(jù)以及非文件系統(tǒng)的磁盤數(shù)據(jù)都可以被緩沖了。緩沖的效力主要是由它的大小決定的。緩沖太小的話等于沒用。它只能容納一點(diǎn)數(shù)據(jù),因此在被重用時(shí),所有緩沖的數(shù)據(jù)都將被傾空。實(shí)際的大小依賴于數(shù)據(jù)讀寫的頻次、相同數(shù)據(jù)被訪問的頻率。只有用實(shí)驗(yàn)的方法才能知道。
如果緩存有固定的大小,那么緩存太大了也不好,因?yàn)檫@會(huì)使得空閑的內(nèi)存太小而導(dǎo)致進(jìn)行交換操作(這同樣是慢的)。為了最有效地使用實(shí)際內(nèi)存,Linux自動(dòng)地使用所有空閑的內(nèi)存作為高速緩沖,當(dāng)程序需要更多的內(nèi)存時(shí),它也會(huì)自動(dòng)地減小緩沖的大小。
這就是一般情況下Linux內(nèi)存的一般機(jī)制,真正的Linux內(nèi)存的運(yùn)行機(jī)制遠(yuǎn)遠(yuǎn)比這個(gè)復(fù)雜。
相關(guān)文章
Fedora Linux 42 穩(wěn)定版發(fā)布: 帶來大量新功能和軟件更新
Fedora 42昨日發(fā)布,這是 Red Hat 贊助開發(fā)的杰出前沿 Linux 發(fā)行版的最新版,包含大量新功能和軟件更新,使其成為 2025 年上半年發(fā)布的一款出色的 Linux 操作系統(tǒng)之一,內(nèi)2025-04-16如何在Linux查看硬盤信息? 查看Linux硬盤大小類型和硬件信息的5種方法
使用Linux系統(tǒng)的過程中,查看和了解硬盤信息是非常重要的工作,尤其是對于系統(tǒng)管理員而言,那么在Linux系統(tǒng)中如何查看硬盤信息?以下是具體內(nèi)容介紹2025-03-12如何在 Linux 中查看 CPU 詳細(xì)信息? 3招輕松查看CPU型號、核心數(shù)和溫度
在日常運(yùn)維工作中,獲取 CPU 信息是系統(tǒng)運(yùn)維管理員常見的工作內(nèi)容,無論是為了性能調(diào)優(yōu)、硬件升級還是僅僅滿足好奇心2025-03-11什么是 Arch Linux? 獨(dú)樹一幟的Arch Linux發(fā)行版分析
Arch Linux是為簡化,優(yōu)化,現(xiàn)代化,實(shí)用主義,用戶中心和多功能性而創(chuàng)建Linux發(fā)行版,究竟是什么讓 Arch 與眾不同?下面我們就來簡要解讀2025-02-19如何在Linux環(huán)境下制作 Win11裝機(jī)U盤?
一直用的linux辦公,想要將筆記本電腦從 Linux 系統(tǒng)切換回 Windows 11,我們可以制作一個(gè)win11裝機(jī)u盤,詳細(xì)如下2025-02-17Rsnapshot怎么用? 基于Rsync的強(qiáng)大Linux備份工具使用指南
Rsnapshot 不僅可以備份本地文件,還能通過 SSH 備份遠(yuǎn)程文件,接下來詳細(xì)介紹如何安裝、配置和使用 Rsnapshot,包括創(chuàng)建每小時(shí)、每天、每周和每月的本地備份,以及如何進(jìn)2025-02-06Linux Kernel 6.13發(fā)布:附更新內(nèi)容及新特性解讀
Linux 內(nèi)核 6.13 正式發(fā)布,新版本引入了惰性搶占支持,簡化內(nèi)核搶占邏輯,通過減少與調(diào)度器相關(guān)的調(diào)用次數(shù),讓內(nèi)核在運(yùn)行時(shí)表現(xiàn)更優(yōu),從而提高效率2025-01-23五大特性引領(lǐng)創(chuàng)新! 深度操作系統(tǒng) deepin 25 Preview預(yù)覽版發(fā)布
今日,深度操作系統(tǒng)正式推出deepin 25 Preview版本,該版本集成了五大核心特性:磐石系統(tǒng)、全新DDE、Treeland窗口合成器、AI For OS以及Distrobox子系統(tǒng)2025-01-18Linux Mint Xia 22.1重磅發(fā)布: 重要更新一覽
Beta 版 Linux Mint“Xia” 22.1 發(fā)布,新版本基于 Ubuntu 24.04,內(nèi)核版本為 Linux 6.8,這次更新帶來了諸多優(yōu)化和改進(jìn),進(jìn)一步鞏固了 Mint 在 Linux 桌面操作系統(tǒng)領(lǐng)域的2025-01-16LinuxMint怎么安裝? Linux Mint22下載安裝圖文教程
Linux Mint22發(fā)布以后,有很多新功能,很多朋友想要下載并安裝,該怎么操作呢?下面我們就來看看詳細(xì)安裝指南2025-01-16