Python進程使用內(nèi)存后不釋放的解決

更新時間：2023年11月07日 11:01:32 作者：Rnan-prince

這篇文章主要介紹了Python進程使用內(nèi)存后不釋放的解決方案,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教

背景

使用python進行大量的數(shù)據(jù)操作過程中RSS占用（幾個G，Python的GC會頻繁地malloc/free），發(fā)現(xiàn)RSS內(nèi)存不釋放。

排查代碼后，沒有發(fā)現(xiàn)內(nèi)存泄露的情況，GC也是默認開啟的，甚至代碼將數(shù)據(jù)庫數(shù)據(jù)讀出來遍歷一遍后程序結(jié)束，內(nèi)存一直存在不釋放。
使用tracemalloc,objectgraph調(diào)試，Python對象的產(chǎn)生和釋放并沒有啥異常。
Python的對象內(nèi)存管理是基于引用計數(shù)的（refcnt為0直接decref回收），python內(nèi)存池也沒發(fā)現(xiàn)大內(nèi)存駐留，操作系統(tǒng)brk和mmap也并沒有不釋放內(nèi)存。

在調(diào)測中也發(fā)現(xiàn)，這個問題給人的整體感覺不是代碼哪里有問題，查閱相關(guān)資料后，發(fā)現(xiàn)可能是Glibc優(yōu)化問題。

python的內(nèi)存機制，頻繁通過系統(tǒng)調(diào)用獲取和釋放內(nèi)存對性能消耗很大的，python將對象銷毀后，并沒有立即將這部分內(nèi)存返回給操作系統(tǒng)，而是加到了自己維護的空閑內(nèi)存池中。

從系統(tǒng)層面來看，這步扥內(nèi)存已經(jīng)被python進程占用了，但是從python解釋器的角度來看，這部分是free的，可以用于生成新的對象。

那么我們在Python中如何手動分配釋放內(nèi)存？

我們使用進程內(nèi)存隔離的能力直接管理內(nèi)存，父進程只負責進程池管理，子進程干完事情，直接退出，或過期重新拉起，或者超過內(nèi)存閾值就干掉，就可以了（當然最好是業(yè)務(wù)處理不是很頻繁的情況下）。

多進程處理參考：multiprocessing --- 基于進程的并行 — Python 3.10.0 文檔

Process 類

在 multiprocessing 中，通過創(chuàng)建一個 Process 對象然后調(diào)用它的 start() 方法來生成進程。

Process 和 threading.Thread API 相同。

一個簡單的多進程程序示例是：

from multiprocessing import Process
 
def f(name):
    print('hello', name)
 
if __name__ == '__main__':
    p = Process(target=f, args=('bob',))
    p.start()
    p.join()

常見問題

實際業(yè)務(wù)中會經(jīng)常用到數(shù)據(jù)庫等長連接的操作，如數(shù)據(jù)庫等，

可能會報如下錯誤：

ERROR:base.py:Line 705:_finalize_fairy:Exception during reset or similar

Traceback (most recent call last):
File "/home/tsalazar/.cache/pypoetry/virtualenvs/ufos--PZ7y9g--py3.8/lib/python3.8/site-packages/sqlalchemy/pool/base.py", line 697, in _finalize_fairy
fairy._reset(pool)

File "/home/tsalazar/.cache/pypoetry/virtualenvs/ufos--PZ7y9g--py3.8/lib/python3.8/site-packages/sqlalchemy/pool/base.py", line 893, in _reset
pool._dialect.do_rollback(self)

File "/home/tsalazar/.cache/pypoetry/virtualenvs/ufos--PZ7y9g--py3.8/lib/python3.8/site-packages/sqlalchemy/engine/default.py", line 558, in do_rollback
dbapi_connection.rollback()

psycopg2.OperationalError: SSL error: decryption failed or bad record mac