python項(xiàng)目運(yùn)行導(dǎo)致內(nèi)存越來越大的原因詳析
問題描述：
目前遇到的問題是這樣的，爬蟲程序部署到K8S服務(wù)器上運(yùn)行，但是會過幾個小時之后，程序就會被主動殺掉重啟，原因是因?yàn)閮?nèi)存過載，超過K8S設(shè)置的4G。
程序運(yùn)行現(xiàn)象分析：
在線下進(jìn)行程序測試時，未讓程序長時間運(yùn)行（及4-5個小時），程序無異常則直接上測試環(huán)境測試，然后部署上線了運(yùn)行了。
通過線下觀察，確實(shí)程序使用內(nèi)存會因?yàn)闀r間而不斷增加
增長的速度雖然不是很快，但卻是在穩(wěn)定增加，說明程序中存在內(nèi)存使用未被釋放。
嘗試解決：
根據(jù)上網(wǎng)提供的方案，
import gc
gc.collect()
無效，該增加還是在增加，說明不是全局的內(nèi)存使用未被釋放，內(nèi)存回收正常。
通過斷點(diǎn)調(diào)試，發(fā)現(xiàn)，程序在使用代理的時候，內(nèi)存才會增加
程序每次運(yùn)行時會去獲取一個代理賦值到session的proxies中，程序使用的是多線程，則單位時間內(nèi)會有大量的代理信息會賦值到session中。
通過注釋掉獲取代理的這一步，發(fā)現(xiàn)確實(shí)內(nèi)存不在繼續(xù)增加。
原因分析：
Session對象存儲特定用戶會話所需的屬性及配置信息，，存儲在Session對象中的變量將不會丟失，而是在整個用戶會話中一直存在下去。所以隨著時間的推移，session中記錄的proxies信息就會越來越多，最終導(dǎo)致內(nèi)存使用過大，程序被殺。
解決方法：
不使用session進(jìn)行請求，使用原生requests.get即可。
總結(jié)
到此這篇關(guān)于python項(xiàng)目運(yùn)行導(dǎo)致內(nèi)存越來越大的原因詳析的文章就介紹到這了,更多相關(guān)python項(xiàng)目運(yùn)行內(nèi)存越來越大內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
今天小編就為大家分享一篇關(guān)于Tesserocr庫的正確安裝方式，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2018-10-10
這篇文章主要介紹了Python 切分?jǐn)?shù)組實(shí)例解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-11-11
anaconda虛擬環(huán)境默認(rèn)路徑的更改圖文教程
在Anaconda中如果沒有指定路徑,虛擬環(huán)境會默認(rèn)安裝在anaconda所安裝的目錄下,這篇文章主要給大家介紹了關(guān)于anaconda虛擬環(huán)境默認(rèn)路徑更改的相關(guān)資料,需要的朋友可以參考下2023-10-10
Pytorch生成隨機(jī)數(shù)Tensor的方法匯總
這篇文章主要介紹了Pytorch生成隨機(jī)數(shù)Tensor的方法匯總，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-09-09
python是先運(yùn)行metaclass還是先有類屬性解析
這篇文章主要為大家介紹了python是先運(yùn)行metaclass還是先有類屬性的問題原理解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-05-05
今天帶大家了解python異常捕獲及標(biāo)簽過濾,文中有非常詳細(xì)的代碼示例,對正在學(xué)習(xí)python爬蟲的小伙伴們很有幫助,需要的朋友可以參考下2021-05-05
這篇文章主要介紹了Python讀寫文件模式和文件對象方法,結(jié)合實(shí)例形式詳細(xì)分析了Python文件操作常用技巧與相關(guān)注意事項(xiàng),需要的朋友可以參考下2019-09-09
這篇文章主要介紹了Python isinstance函數(shù)介紹,本文用實(shí)例講解了判斷變量是否是某個指定類型,需要的朋友可以參考下2015-04-04
今天小編就為大家分享一篇python DataFrame 取差集實(shí)例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
在本篇文章里小編給大家分享的是一篇關(guān)于python能否java成為主流語言的相關(guān)知識點(diǎn)，有興趣的朋友們參考下。2020-06-06