python內(nèi)存管理分析
本文較為詳細(xì)的分析了python內(nèi)存管理機(jī)制。分享給大家供大家參考。具體分析如下：
內(nèi)存管理，對(duì)于Python這樣的動(dòng)態(tài)語(yǔ)言，是至關(guān)重要的一部分，它在很大程度上甚至決定了Python的執(zhí)行效率，因?yàn)樵赑ython的運(yùn)行中，會(huì)創(chuàng)建和銷毀大量的對(duì)象，這些都涉及到內(nèi)存的管理。
小塊空間的內(nèi)存池
在Python中，許多時(shí)候申請(qǐng)的內(nèi)存都是小塊的內(nèi)存，這些小塊內(nèi)存在申請(qǐng)后，很快又會(huì)被釋放，由于這些內(nèi)存的申請(qǐng)并不是為了創(chuàng)建對(duì)象，所以并沒(méi)有對(duì)象一級(jí)的內(nèi)存池機(jī)制。
Python內(nèi)存池全景
這就意味著Python在運(yùn)行期間會(huì)大量地執(zhí)行malloc和free的操作，頻繁地在用戶態(tài)和核心態(tài)之間進(jìn)行切換，這將嚴(yán)重影響Python的執(zhí)行效率。為了加速Python的執(zhí)行效率，Python引入了一個(gè)內(nèi)存池機(jī)制，用于管理對(duì)小塊內(nèi)存的申請(qǐng)和釋放。這也就是之前提到的Pymalloc機(jī)制。
在Python 2.5中，Python內(nèi)部默認(rèn)的小塊內(nèi)存與大塊內(nèi)存的分界點(diǎn)定在256個(gè)字節(jié)，這個(gè)分界點(diǎn)由前面我們看到的名為SMALL_REQUEST_THRESHOLD的符號(hào)控制。
也就是說(shuō)，當(dāng)申請(qǐng)的內(nèi)存小于256字節(jié)時(shí)，PyObject_Malloc會(huì)在內(nèi)存池中申請(qǐng)內(nèi)存；當(dāng)申請(qǐng)的內(nèi)存大于256字節(jié)時(shí)，PyObject_Malloc的行為將蛻化為malloc的行為。當(dāng)然，通過(guò)修改Python源代碼，我們可以改變這個(gè)默認(rèn)值，從而改變Python的默認(rèn)內(nèi)存管理行為。
在一個(gè)對(duì)象的引用計(jì)數(shù)減為0時(shí)，與該對(duì)象對(duì)應(yīng)的析構(gòu)函數(shù)就會(huì)被調(diào)用。
但是要特別注意的是，調(diào)用析構(gòu)函數(shù)并不意味著最終一定會(huì)調(diào)用free釋放內(nèi)存空間，如果真是這樣的話，那頻繁地申請(qǐng)、釋放內(nèi)存空間會(huì)使 Python的執(zhí)行效率大打折扣（更何況Python已經(jīng)多年背負(fù)了人們對(duì)其執(zhí)行效率的不滿）。一般來(lái)說(shuō)，Python中大量采用了內(nèi)存對(duì)象池的技術(shù)，使用這種技術(shù)可以避免頻繁地申請(qǐng)和釋放內(nèi)存空間。因此在析構(gòu)時(shí)，通常都是將對(duì)象占用的空間歸還到內(nèi)存池中。
"這個(gè)問(wèn)題就是:Python的arena從來(lái)不釋放pool。這個(gè)問(wèn)題為什么會(huì)引起類似于內(nèi)存泄漏的現(xiàn)象呢?？紤]這樣一種情形，申請(qǐng)10*1024*1024個(gè)16字節(jié)的小內(nèi)存，這就意味著必須使用160M的內(nèi)存，由于Python沒(méi)有默認(rèn)將前面提到的限制內(nèi)存池的WITH_MEMORY_LIMITS編譯符號(hào)打開(kāi)，所以Python會(huì)完全使用arena來(lái)滿足你的需求，這都沒(méi)有問(wèn)題，關(guān)鍵的問(wèn)題在于過(guò)了一段時(shí)間，你將所有這些16字節(jié)的內(nèi)存都釋放了，這些內(nèi)存都回到arena的控制中，似乎沒(méi)有問(wèn)題。
但是問(wèn)題恰恰就在這時(shí)出現(xiàn)了。因?yàn)閍rena始終不會(huì)釋放它維護(hù)的pool集合，所以這160M的內(nèi)存始終被Python占用，如果以后程序運(yùn)行中再也不需要160M如此巨大的內(nèi)存，這點(diǎn)內(nèi)存豈不是就浪費(fèi)了？"
Python內(nèi)存管理規(guī)則：del的時(shí)候,把list的元素釋放掉,把管理元素的大對(duì)象回收到py對(duì)象緩沖池里。
希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。
相關(guān)文章
python批量制作雷達(dá)圖的實(shí)現(xiàn)方法
本文通過(guò)實(shí)例代碼介紹了如何用python批量制作雷達(dá)圖的實(shí)現(xiàn)方法，下面一起來(lái)看看如何實(shí)現(xiàn)的。2016-07-07
python利用Excel讀取和存儲(chǔ)測(cè)試數(shù)據(jù)完成接口自動(dòng)化教程
這篇文章主要介紹了python利用Excel讀取和存儲(chǔ)測(cè)試數(shù)據(jù)完成接口自動(dòng)化教程，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-04-04
Opencv簡(jiǎn)單圖像操作方法實(shí)戰(zhàn)
OpenCV是一個(gè)開(kāi)源的計(jì)算機(jī)視覺(jué)庫(kù),它提供了一系列豐富的圖像處理和計(jì)算機(jī)視覺(jué)算法,這篇文章主要給大家介紹了關(guān)于Opencv簡(jiǎn)單圖像操作方法的相關(guān)資料,需要的朋友可以參考下2024-02-02
這篇文章主要介紹了django反向解析和正向解析的方式，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-06-06
這篇文章主要介紹了python字符串操作,主要包括字符串的分割、字符串的查找，替換、字符串的判斷，下面一起進(jìn)入文章了解具體內(nèi)容,需要的朋友可以參考一下2021-11-11
在Python中我們?cè)陧?xiàng)目中會(huì)用到各種庫(kù),自帶的自然不必再說(shuō),這篇文章主要給大家介紹了關(guān)于Python如何導(dǎo)出導(dǎo)入所有依賴包的相關(guān)資料,需要的朋友可以參考下2021-06-06
Python TCP全連接攻擊中SockStress全連接攻擊詳解
Sock Stress 全連接攻擊屬于TCP全連接攻擊，因?yàn)樾枰⒁淮瓮暾腡CP三次握手，該攻擊的關(guān)鍵點(diǎn)就在于，攻擊主機(jī)將windows窗口緩沖設(shè)置為0，實(shí)現(xiàn)的拒絕服務(wù)2022-10-10
這篇文章主要給大家分享的是提升Python編碼能力的3個(gè)重要概念，圍繞提升Python編碼的相關(guān)自資料上下文管理器、類型提示、淺拷貝和深拷貝等內(nèi)容展開(kāi)文章，需要的小伙伴可以參考一下2022-02-02
Python使用wxPython和PyMuPDF提取PDF頁(yè)面指定頁(yè)數(shù)的內(nèi)容
在本篇博客中,我們將探討如何使用wxPython和PyMuPDF庫(kù)創(chuàng)建一個(gè)簡(jiǎn)單的Bokeh應(yīng)用程序,用于選擇PDF文件并提取指定頁(yè)面的內(nèi)容,并將提取的內(nèi)容顯示在文本框中,需要的朋友可以參考下2023-08-08
基于python內(nèi)置函數(shù)與匿名函數(shù)詳解
下面小編就為大家分享一篇基于python內(nèi)置函數(shù)與匿名函數(shù)詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-01-01