Python進(jìn)程使用內(nèi)存后不釋放的解決

更新時(shí)間：2023年11月07日 11:01:32 作者：Rnan-prince

這篇文章主要介紹了Python進(jìn)程使用內(nèi)存后不釋放的解決方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教

背景

使用python進(jìn)行大量的數(shù)據(jù)操作過(guò)程中RSS占用（幾個(gè)G，Python的GC會(huì)頻繁地malloc/free），發(fā)現(xiàn)RSS內(nèi)存不釋放。

排查代碼后，沒(méi)有發(fā)現(xiàn)內(nèi)存泄露的情況，GC也是默認(rèn)開(kāi)啟的，甚至代碼將數(shù)據(jù)庫(kù)數(shù)據(jù)讀出來(lái)遍歷一遍后程序結(jié)束，內(nèi)存一直存在不釋放。
使用tracemalloc,objectgraph調(diào)試，Python對(duì)象的產(chǎn)生和釋放并沒(méi)有啥異常。
Python的對(duì)象內(nèi)存管理是基于引用計(jì)數(shù)的（refcnt為0直接decref回收），python內(nèi)存池也沒(méi)發(fā)現(xiàn)大內(nèi)存駐留，操作系統(tǒng)brk和mmap也并沒(méi)有不釋放內(nèi)存。

在調(diào)測(cè)中也發(fā)現(xiàn)，這個(gè)問(wèn)題給人的整體感覺(jué)不是代碼哪里有問(wèn)題，查閱相關(guān)資料后，發(fā)現(xiàn)可能是Glibc優(yōu)化問(wèn)題。

python的內(nèi)存機(jī)制，頻繁通過(guò)系統(tǒng)調(diào)用獲取和釋放內(nèi)存對(duì)性能消耗很大的，python將對(duì)象銷(xiāo)毀后，并沒(méi)有立即將這部分內(nèi)存返回給操作系統(tǒng)，而是加到了自己維護(hù)的空閑內(nèi)存池中。

從系統(tǒng)層面來(lái)看，這步扥內(nèi)存已經(jīng)被python進(jìn)程占用了，但是從python解釋器的角度來(lái)看，這部分是free的，可以用于生成新的對(duì)象。

那么我們?cè)赑ython中如何手動(dòng)分配釋放內(nèi)存？

我們使用進(jìn)程內(nèi)存隔離的能力直接管理內(nèi)存，父進(jìn)程只負(fù)責(zé)進(jìn)程池管理，子進(jìn)程干完事情，直接退出，或過(guò)期重新拉起，或者超過(guò)內(nèi)存閾值就干掉，就可以了（當(dāng)然最好是業(yè)務(wù)處理不是很頻繁的情況下）。

多進(jìn)程處理參考：multiprocessing --- 基于進(jìn)程的并行 — Python 3.10.0 文檔

Process 類(lèi)

在 multiprocessing 中，通過(guò)創(chuàng)建一個(gè) Process 對(duì)象然后調(diào)用它的 start() 方法來(lái)生成進(jìn)程。

Process 和 threading.Thread API 相同。

一個(gè)簡(jiǎn)單的多進(jìn)程程序示例是：

from multiprocessing import Process
 
def f(name):
    print('hello', name)
 
if __name__ == '__main__':
    p = Process(target=f, args=('bob',))
    p.start()
    p.join()

常見(jiàn)問(wèn)題

實(shí)際業(yè)務(wù)中會(huì)經(jīng)常用到數(shù)據(jù)庫(kù)等長(zhǎng)連接的操作，如數(shù)據(jù)庫(kù)等，

可能會(huì)報(bào)如下錯(cuò)誤：

ERROR:base.py:Line 705:_finalize_fairy:Exception during reset or similar

Traceback (most recent call last):
File "/home/tsalazar/.cache/pypoetry/virtualenvs/ufos--PZ7y9g--py3.8/lib/python3.8/site-packages/sqlalchemy/pool/base.py", line 697, in _finalize_fairy
fairy._reset(pool)

File "/home/tsalazar/.cache/pypoetry/virtualenvs/ufos--PZ7y9g--py3.8/lib/python3.8/site-packages/sqlalchemy/pool/base.py", line 893, in _reset
pool._dialect.do_rollback(self)

File "/home/tsalazar/.cache/pypoetry/virtualenvs/ufos--PZ7y9g--py3.8/lib/python3.8/site-packages/sqlalchemy/engine/default.py", line 558, in do_rollback
dbapi_connection.rollback()

psycopg2.OperationalError: SSL error: decryption failed or bad record mac