欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Linux內(nèi)存泄露的原因排查和解決方案(內(nèi)存管理方法)

 更新時(shí)間:2025年02月02日 11:07:35   作者:京東云開發(fā)者  
文章主要介紹了運(yùn)維團(tuán)隊(duì)在Linux處理LB服務(wù)內(nèi)存暴漲、內(nèi)存報(bào)警問題的過程,從發(fā)現(xiàn)問題、排查原因到制定解決方案,并從中學(xué)習(xí)了Linux內(nèi)存管理的相關(guān)知識(shí)

一、問題

近期我們運(yùn)維同事接到線上LB(負(fù)載均衡)服務(wù)內(nèi)存報(bào)警,運(yùn)維同事反饋說LB集群有部分機(jī)器的內(nèi)存使用率超過80%,有的甚至超過90%,而且內(nèi)存使用率還再不停的增長(zhǎng)。接到內(nèi)存報(bào)警的消息,讓整個(gè)團(tuán)隊(duì)都比較緊張,我們團(tuán)隊(duì)負(fù)責(zé)的LB服務(wù)是零售、物流、科技等業(yè)務(wù)服務(wù)的流量入口,承接上萬個(gè)服務(wù)的流量轉(zhuǎn)發(fā),一旦有故障影響業(yè)務(wù)服務(wù)比較多,必須馬上著手解決內(nèi)存暴漲的問題。目前只是內(nèi)存報(bào)警,暫時(shí)不影響業(yè)務(wù),先將內(nèi)存使用率90%以上的LB服務(wù)下線,防止內(nèi)存過高導(dǎo)致LB服務(wù)崩潰,影響業(yè)務(wù),運(yùn)維同事密切關(guān)注相關(guān)的內(nèi)存報(bào)警的消息。

二、排查過程

經(jīng)過開發(fā)同學(xué)通過cat /proc/meminfo查看Slab的內(nèi)核內(nèi)存可能有泄漏。

$ cat /proc/meminfo
MemTotal:       65922868 kB
MemFree:         9001452 kB
...
Slab:           39242216 kB
SReclaimable:   38506072 kB
SUnreclaim:       736144 kB
....

通過slabtop命令分析slab發(fā)現(xiàn)內(nèi)核中dentry對(duì)象占比高,考慮到dentry對(duì)象跟文件有關(guān),Linux中一切皆可以為文件,這個(gè)可能跟socket文件有關(guān),通過進(jìn)一步排查發(fā)現(xiàn)LB服務(wù)上有個(gè)curl發(fā)送的HTTPS探測(cè)腳本,這個(gè)腳本存在dentry對(duì)象泄漏,并且在curl論壇上找到一篇文章確認(rèn)了這個(gè)問題,這個(gè)文章說明了curl-7.19.7版本在發(fā)送HTTPS請(qǐng)求時(shí),curl依賴的NSS庫(kù)存在dentry泄漏的bug,我查看一下我們curl版本就是7.19.7,問題終于真相大白了?。?!

$ curl -V
curl 7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.15.3 zlib/1.2.3 libidn/1.18 libssh2/1.4.2
Protocols: tftp ftp telnet dict ldap ldaps http file https ftps scp sftp
Features: GSS-Negotiate IDN IPv6 Largefile NTLM SSL libz

$ rpm -aq|grep nss-
nss-util-3.16.1-3.el6.x86_64
nss-sysinit-3.16.1-14.el6.x86_64
nss-softokn-freebl-3.14.3-17.el6.x86_64
nss-softokn-3.14.3-17.el6.x86_64
nss-3.16.1-14.el6.x86_64
nss-tools-3.16.1-14.el6.x86_64

文章中介紹可以設(shè)置環(huán)境變量NSS\_SDB\_USE\_CACHE修復(fù)這個(gè)bug,我們驗(yàn)證通過了這個(gè)解決方案。

三、解決方案

1、目前先將探測(cè)腳本停止,在業(yè)務(wù)流量低峰時(shí)將內(nèi)存使用率超過90%的服務(wù)先通過drop\_caches清理一下緩存。

2、等大促過后,探測(cè)腳本中設(shè)置環(huán)境變量NSS\_SDB\_USE\_CACHE,徹底修復(fù)這個(gè)問題。

四、內(nèi)存管理方法

1)Linux內(nèi)存尋址

Linux內(nèi)核主要通過虛擬內(nèi)存管理進(jìn)程的地址空間,內(nèi)核進(jìn)程和用戶進(jìn)程都只會(huì)分配虛擬內(nèi)存,不會(huì)分配物理內(nèi)存,通過內(nèi)存尋址將虛擬內(nèi)存與物理內(nèi)存做映射。Linux內(nèi)核中有三種地址,

a、邏輯地址,每個(gè)邏輯地址都由一段(segment)和偏移量(offset)組成,偏移量指明了從段開始的地方到實(shí)際地址之間的距離。

b、線性地址,又稱虛擬地址,是一個(gè)32個(gè)無符號(hào)整數(shù),32位機(jī)器內(nèi)存高達(dá)4GB,通常用十六進(jìn)制數(shù)字表示,Linux進(jìn)程的內(nèi)存一般說的都是這個(gè)內(nèi)存。

c、物理地址,用于內(nèi)存芯片級(jí)內(nèi)存單元尋址。它們與從CPU的地址引腳發(fā)送到內(nèi)存總線上的電信號(hào)對(duì)應(yīng)。

Linux中的內(nèi)存控制單元(MMU)通過一種稱為分段單元(segmentation unit)的硬件電路把一個(gè)邏輯地址轉(zhuǎn)換成線性地址,接著,第二個(gè)稱為分頁單元(paging unit)的硬件電路把線性地址轉(zhuǎn)換成一個(gè)物理地址。

Linux內(nèi)存泄露案例分析和內(nèi)存管理分享_虛擬內(nèi)存

2)Linux分頁機(jī)制

分頁單元把線性地址轉(zhuǎn)換成物理地址。線性地址被分成以固定長(zhǎng)度為單位的組,稱為(page)。頁內(nèi)部連續(xù)的線性地址被映射到連續(xù)的物理地址中。一般"頁"既指一組線性地址,又指包含這組地址中的數(shù)據(jù)。分頁單元把所有的RAM分成固定長(zhǎng)度的頁框(page frame),也成物理頁。每一頁框包含一個(gè)頁(page),也就是說一個(gè)頁框的長(zhǎng)度與一個(gè)頁的長(zhǎng)度一致。頁框是主存的一部分,因此也是一個(gè)存儲(chǔ)區(qū)域。區(qū)分一頁和一個(gè)頁框是很重要的,前者只是一個(gè)數(shù)據(jù)塊,可以存放任何頁框或者磁盤中。把線性地址映射到物理地址的數(shù)據(jù)結(jié)構(gòu)稱為頁表(page table)。頁表存放在主存中,并在啟用分頁單元之前必須有內(nèi)核對(duì)頁表進(jìn)行適當(dāng)?shù)某跏蓟?/p>

x86\_64的Linux內(nèi)核采用4級(jí)分頁模型,一般一頁4K,4種頁表:

a、頁全局目錄

b、頁上級(jí)目錄

c、頁中間目錄

d、頁表

頁全局目錄包含若干頁上級(jí)目錄,頁上級(jí)目錄又依次包含若干頁中間目錄的地址,而頁中間目錄又包含若干頁表的地址。每個(gè)頁表項(xiàng)指向一個(gè)頁框。線性地址被分成5部分。

Linux內(nèi)存泄露案例分析和內(nèi)存管理分享_虛擬內(nèi)存_02

3)NUMA架構(gòu)

隨著CPU進(jìn)入多核時(shí)代,多核CPU通過一條數(shù)據(jù)總線訪問內(nèi)存延遲很大,因此NUMA架構(gòu)應(yīng)運(yùn)而生,NUMA架構(gòu)全稱為非一致性內(nèi)存架構(gòu) (Non Uniform Memory Architecture),系統(tǒng)的物理內(nèi)存被劃分為幾個(gè)節(jié)點(diǎn)(node),每個(gè)node綁定不同的CPU核,本地CPU核直接訪問本地內(nèi)存node節(jié)點(diǎn)延遲最小。

Linux內(nèi)存泄露案例分析和內(nèi)存管理分享_頁表_03

可以通過lscpu命令查看NUMA與CPU核的關(guān)系。

$ lscpu
Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                32
On-line CPU(s) list:   0-31
Thread(s) per core:    2
Core(s) per socket:    8
Socket(s):             2
NUMA node(s):          2
Vendor ID:             GenuineIntel
CPU family:            6
Model:                 62
Stepping:              4
CPU MHz:               2001.000
BogoMIPS:              3999.43
Virtualization:        VT-x
L1d cache:             32K
L1i cache:             32K
L2 cache:              256K
L3 cache:              20480K
NUMA node0 CPU(s):     0-7,16-23      #這些核綁定在numa 0
NUMA node1 CPU(s):     8-15,24-31     #這些核綁定在numa 1

4)伙伴關(guān)系算法

Linux內(nèi)核通過著名伙伴關(guān)系算法為分配一組連續(xù)的頁框而建立一種健壯、穩(wěn)定的內(nèi)存分配策略,是內(nèi)核中一種內(nèi)存分配器,并解決了內(nèi)存管理外碎片的問題,外碎片是指頻繁地請(qǐng)求和釋放不同大小的一組連續(xù)頁框,必然導(dǎo)致在已分配的頁框的塊分散了許多小塊的空閑頁框。

5)Slab機(jī)制

slab機(jī)制的核心思想是以對(duì)象的觀點(diǎn)來管理內(nèi)存,主要是為了解決內(nèi)部碎片,內(nèi)部碎片是由于采用固定大小的內(nèi)存分區(qū),即以固定的大小塊為單位來分配,采用這種方法,進(jìn)程所分配的內(nèi)存可能會(huì)比所需要的大,這多余的部分便是內(nèi)部碎片。slab也是內(nèi)核中一種內(nèi)存分配器,slab分配器基于對(duì)象進(jìn)行管理的,所謂的對(duì)象就是內(nèi)核中的數(shù)據(jù)結(jié)構(gòu)(例如:task\_struct,file\_struct 等)。相同類型的對(duì)象歸為一類,每當(dāng)要申請(qǐng)這樣一個(gè)對(duì)象時(shí),slab分配器就從一個(gè)slab列表中分配一個(gè)這樣大小的單元出去,而當(dāng)要釋放時(shí),將其重新保存在該列表中,而不是直接返回給伙伴系統(tǒng),從而避免內(nèi)部碎片。上面中說到的dentry對(duì)象就是通過slab分配器分配的一種對(duì)象。

slab和伙伴系統(tǒng)是上下級(jí)的調(diào)用關(guān)系,伙伴關(guān)系按照頁管理內(nèi)存,slab按照字節(jié)管理,slab先從伙伴系統(tǒng)獲取數(shù)個(gè)頁的內(nèi)存,然后切成分成固定的小塊(稱為object),然后再按照聲明的對(duì)象數(shù)據(jù)結(jié)構(gòu)分配對(duì)象。

6)進(jìn)程內(nèi)存分布

所有進(jìn)程都必須占用一定數(shù)量的內(nèi)存,這些內(nèi)存用來存放從磁盤載入的程序代碼,或存放來自用戶輸入的數(shù)據(jù)等。內(nèi)存可以提前靜態(tài)分配和統(tǒng)一回收,也可以按需動(dòng)態(tài)分配和回收。對(duì)于普通進(jìn)程對(duì)應(yīng)的內(nèi)存空間包含5種不同的數(shù)據(jù)區(qū):

a、代碼段(text):程序代碼在內(nèi)存中的映射,存放函數(shù)體的二進(jìn)制代碼,通常用于存放程序執(zhí)行代碼(即CPU執(zhí)行的機(jī)器指令)。

b、數(shù)據(jù)段(data):存放程序中已初始化且初值不為0的全局變量和靜態(tài)局部變量。數(shù)據(jù)段屬于靜態(tài)內(nèi)存分配(靜態(tài)存儲(chǔ)區(qū)),可讀可寫。

c、BSS段(bss):未初始化的全局變量和靜態(tài)局部變量。

d、堆(heap):動(dòng)態(tài)分配的內(nèi)存段,大小不固定,可動(dòng)態(tài)擴(kuò)張(malloc等函數(shù)分配內(nèi)存),或動(dòng)態(tài)縮減(free等函數(shù)釋放)。

e、棧(stack):存放臨時(shí)創(chuàng)建的局部變量。

Linux內(nèi)存泄露案例分析和內(nèi)存管理分享_虛擬內(nèi)存_04

Linux內(nèi)核是操作系統(tǒng)中優(yōu)先級(jí)最高的,內(nèi)核函數(shù)申請(qǐng)內(nèi)存必須及時(shí)分配適當(dāng)?shù)膬?nèi)存,用戶態(tài)進(jìn)程申請(qǐng)內(nèi)存被認(rèn)為是不緊迫的,內(nèi)核盡量推遲給用戶態(tài)的進(jìn)程動(dòng)態(tài)分配內(nèi)存。

a、請(qǐng)求調(diào)頁,推遲到進(jìn)程要訪問的頁不在RAM中時(shí)為止,引發(fā)一個(gè)缺頁異常。

b、寫時(shí)復(fù)制(COW),父、子進(jìn)程共享頁框而不是復(fù)制頁框,但是共享頁框不能被修改,只有當(dāng)父/子進(jìn)程試圖改寫共享頁框時(shí),內(nèi)核才將共享頁框復(fù)制一個(gè)新的頁框并標(biāo)記為可寫。

7)Linux內(nèi)存檢測(cè)工具

a、free命令可以監(jiān)控系統(tǒng)內(nèi)存

$ free -h
              total        used        free      shared  buff/cache   available
Mem:           31Gi        13Gi       8.0Gi       747Mi        10Gi        16Gi
Swap:         2.0Gi       321Mi       1.7Gi

b、top命令查看系統(tǒng)內(nèi)存以及進(jìn)程內(nèi)存

VIRT Virtual Memory Size (KiB):進(jìn)程使用的所有虛擬內(nèi)存,包括代碼(code)、數(shù)據(jù)(data)、共享庫(kù)(shared libraries),以及被換出(swap out)到交換區(qū)和映射了(map)但尚未使用(未載入實(shí)體內(nèi)存)的部分。

RES Resident Memory Size (KiB):進(jìn)程所占用的所有實(shí)體內(nèi)存(physical memory),不包括被換出到交換區(qū)的部分。

SHR Shared Memory Size (KiB):進(jìn)程可讀的全部共享內(nèi)存,并非所有部分都包含在 RES 中。它反映了可能被其他進(jìn)程共享的內(nèi)存部分。

c、smaps文件

cat /proc/\$pid/smaps查看某進(jìn)程虛擬內(nèi)存空間的分布情況

0082f000-00852000 rw-p 0022f000 08:05 4326085    /usr/bin/nginx/sbin/nginx
Size:                140 kB
Rss:                 140 kB
Pss:                  78 kB
Shared_Clean:         56 kB
Shared_Dirty:         68 kB
Private_Clean:         4 kB
Private_Dirty:        12 kB
Referenced:          120 kB
Anonymous:            80 kB
AnonHugePages:         0 kB
Swap:                  0 kB
KernelPageSize:        4 kB
MMUPageSize:           4 kB

d、vmstat

vmstat是Virtual Meomory Statistics(虛擬內(nèi)存統(tǒng)計(jì))的縮寫,可實(shí)時(shí)動(dòng)態(tài)監(jiān)視操作系統(tǒng)的虛擬內(nèi)存、進(jìn)程、CPU活動(dòng)。

## 每秒統(tǒng)計(jì)3次
$ vmstat 1 3
procs -----------memory---------------- ---swap-- -----io---- --system-- -----cpu-----
 r  b    swpd   free   buff  cache       si   so    bi    bo   in   cs us sy id  wa st
 0  0      0 233483840 758304 20795596    0    0     0     1    0    0  0  0 100  0  0
 0  0      0 233483936 758304 20795596    0    0     0     0 1052 1569  0  0 100  0  0
 0  0      0 233483920 758304 20795596    0    0     0     0  966 1558  0  0 100  0  0

e、meminfo文件

Linux系統(tǒng)中/proc/meminfo這個(gè)文件用來記錄了系統(tǒng)內(nèi)存使用的詳細(xì)情況。

$ cat /proc/meminfo
MemTotal:        8052444 kB
MemFree:         2754588 kB
MemAvailable:    3934252 kB
Buffers:          137128 kB
Cached:          1948128 kB
SwapCached:            0 kB
Active:          3650920 kB
Inactive:        1343420 kB
Active(anon):    2913304 kB
Inactive(anon):   727808 kB
Active(file):     737616 kB
Inactive(file):   615612 kB
Unevictable:         196 kB
Mlocked:             196 kB
SwapTotal:       8265724 kB
SwapFree:        8265724 kB
Dirty:               104 kB
Writeback:             0 kB
AnonPages:       2909332 kB
Mapped:           815524 kB
Shmem:            732032 kB
Slab:             153096 kB
SReclaimable:      99684 kB
SUnreclaim:        53412 kB
KernelStack:       14288 kB
PageTables:        62192 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:    12291944 kB
Committed_AS:   11398920 kB
VmallocTotal:   34359738367 kB
VmallocUsed:           0 kB
VmallocChunk:          0 kB
HardwareCorrupted:     0 kB
AnonHugePages:   1380352 kB
CmaTotal:              0 kB
CmaFree:               0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
DirectMap4k:      201472 kB
DirectMap2M:     5967872 kB
DirectMap1G:     3145728 kB

五、總結(jié)

這次內(nèi)存暴漲的問題根本原因是curl-7.19.7依賴的NSS庫(kù)存在dentry泄漏的bug導(dǎo)致的,探測(cè)腳本只是將這個(gè)問題暴露出來。這次問題由Linux內(nèi)存泄漏引發(fā)的問題,因此以點(diǎn)帶面再次系統(tǒng)學(xué)習(xí)一下Linux內(nèi)存管理的知識(shí)非常有必要,對(duì)我們以后排查內(nèi)存暴漲的問題非常有幫助。 

相關(guān)文章

  • Linux系統(tǒng)中創(chuàng)建SSH服務(wù)器別名的兩種方法

    Linux系統(tǒng)中創(chuàng)建SSH服務(wù)器別名的兩種方法

    這篇文章主要給大家介紹了關(guān)于Linux系統(tǒng)中創(chuàng)建SSH服務(wù)器別名的兩種方法,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用Linux系統(tǒng)具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-05-05
  • Linux安裝Docker-Compose過程

    Linux安裝Docker-Compose過程

    文章介紹了在Linux系統(tǒng)上安裝Docker?Compose的步驟,包括使用curl從GitHub下載Docker?Compose二進(jìn)制文件并保存到/usr/local/bin目錄,然后通過chmod命令增加執(zhí)行權(quán)限
    2024-11-11
  • Ubuntu 16.04 LTS下安裝MATLAB 2014B的方法教程

    Ubuntu 16.04 LTS下安裝MATLAB 2014B的方法教程

    這篇文章主要介紹了Ubuntu 16.04 LTS下安裝MATLAB 2014B的方法教程,文中介紹的很詳細(xì),相信對(duì)大家具有一定的參考價(jià)值,有需要的朋友們下面來一起看看吧。
    2017-02-02
  • Linux設(shè)備之網(wǎng)絡(luò)驅(qū)動(dòng)介紹

    Linux設(shè)備之網(wǎng)絡(luò)驅(qū)動(dòng)介紹

    大家好,本篇文章主要講的是Linux設(shè)備之網(wǎng)絡(luò)驅(qū)動(dòng)介紹,感興趣的同學(xué)趕快來看一看吧,對(duì)你有幫助的話記得收藏一下,方便下次瀏覽
    2021-12-12
  • CentOS6升級(jí)glibc操作步驟

    CentOS6升級(jí)glibc操作步驟

    大家好,本篇文章主要講的是CentOS6升級(jí)glibc操作步驟,感興趣的小伙伴趕緊來看一看吧,對(duì)你有幫助的話記得收藏本篇文章哦!方便下次瀏覽
    2021-11-11
  • linux系統(tǒng)報(bào)tcp_mark_head_lost錯(cuò)誤的處理方法

    linux系統(tǒng)報(bào)tcp_mark_head_lost錯(cuò)誤的處理方法

    這篇文章主要給大家介紹了關(guān)于linux系統(tǒng)報(bào)tcp_mark_head_lost錯(cuò)誤的處理方法,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用linux系統(tǒng)具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-07-07
  • Centos6.5全自動(dòng)安裝 vsftpd+dhcp+nfs+tftp

    Centos6.5全自動(dòng)安裝 vsftpd+dhcp+nfs+tftp

    本文主要記述了在Centos6.5中,如何配置無人值守安裝vsftpd+dhcp+nfs+tftp,非常實(shí)用,希望對(duì)大家能有所幫助。
    2014-09-09
  • 在Linux中列出Systemd下所有正在運(yùn)行的服務(wù)的方法指南

    在Linux中列出Systemd下所有正在運(yùn)行的服務(wù)的方法指南

    Systemd是Linux的系統(tǒng)和服務(wù)管理器; init進(jìn)程的替代品,與SysV 和LSB init腳本兼容,systemctl命令是管理systemd的主要工具,在這篇文章中,我們將演示如何 Linux中列出systemd下所有正在運(yùn)行的服務(wù),感興趣的同學(xué)可以借鑒閱讀
    2023-06-06
  • 解決hadoop啟動(dòng)報(bào)錯(cuò)ERROR: Attempting to operate on hdfs namenode as root的方法

    解決hadoop啟動(dòng)報(bào)錯(cuò)ERROR: Attempting to operate 

    這篇文章主要介紹了解決hadoop啟動(dòng)報(bào)錯(cuò)ERROR: Attempting to operate on hdfs namenode as root的方法,hadoop-3.1.0啟動(dòng)hadoop集群時(shí)還有可能可能會(huì)報(bào)如下錯(cuò)誤,需要的朋友可以參考下
    2023-03-03
  • centos中nginx按日期自動(dòng)分割訪問日志的方法

    centos中nginx按日期自動(dòng)分割訪問日志的方法

    本篇文章主要介紹了centos中nginx按日期自動(dòng)分割訪問日志的方法,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下。
    2017-03-03

最新評(píng)論