欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python內存監(jiān)控工具memory_profiler和guppy的用法詳解

 更新時間:2019年07月29日 10:22:11   作者:一江明澈的水  
這篇文章主要介紹了python內存監(jiān)控工具memory_profiler和guppy的用法,本文給大家介紹的非常詳細,具有一定的參考借鑒價值,需要的朋友可以參考下

python2.7在內存管理上相比python3還是有些坑的,其釋放后的內存仍然保留在python的內存池中,不被系統(tǒng)所用。python循環(huán)引用的變量不會被回收,這會導致程序越運行,占用的內存越大。我在跑py-faster-rcnn的demo時,基本上跑2000張圖像,16g內存就要爆了。于是嘗試用python的內存監(jiān)控工具來調試程序,找到不能膨脹的變量,然后del之,再手動回收內存gc.collec()

下面是我用的兩個內存監(jiān)視工具,一個是按每行代碼查看內存占用的工具memory_profiler,一個是查看占用內存前十位變量的工具guppy。

1. memory_profiler

首先是安裝:

pip install -U memory_profiler

然后用profile修飾想要查看的函數名:如:

@profile
def my_func():
 a = [1] * (10 ** 6)
 b = [2] * (2 * 10 ** 7)
 del b
 return a

if __name__ == '__main__':
 my_func()

輸出結果:

Line #    Mem usage  Increment   Line Contents
==============================================
     3                           @profile
     4      5.97 MB    0.00 MB   def my_func():
     5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
     6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
     7     13.61 MB -152.59 MB       del b
     8     13.61 MB    0.00 MB       return a

memory_profiler功能強大,更多功能可以看官網這里

2. guppy

首先安裝:

pip install guppy

然后import下

from guppy import hpy
hxx = hpy()
heap = hxx.heap()
byrcs = hxx.heap().byrcs;

在主程序下增加:

print(heap)

輸出示例:

Index Count %  Size % Cumulative % Kind (class / dict of class)
  0 10124 22 81944416 95 81944416 95 list
  1 16056 34 1325464 2 83269880 96 str
  2 9147 20 745616 1 84015496 97 tuple
  3 102 0 366480 0 84381976 98 dict of module
  4 287 1 313448 0 84695424 98 dict of type
  5 2426 5 310528 0 85005952 98 types.CodeType
  6 2364 5 283680 0 85289632 99 function
  7 287 1 256960 0 85546592 99 type
  8 169 0 192088 0 85738680 99 dict (no owner)
  9 123 0 142728 0 85881408 99 dict of class

可以看到第一個list占了95%的內存,若print(heap)在主程序的循環(huán)中,可以查看每次循環(huán)后的變量內存占用情況。

輸入以下命令,查看這個占內存最大的list中的數據類型:
byrcs[0].byid

最后測試后發(fā)現,test.pyget_im_blob等函數占用內存不斷增大,每檢測一副圖像,該函數增加6-10MB內存開銷。但奇怪的是用guppy查看前十個變量,并沒有發(fā)現哪個變量有明顯的內存增大跡象。于是猜測可能是每張圖像推理后,推理的結果bbox,label,img等數據保存在了內存中,這樣方便所有圖像推理結束后,plt.show().于是修改程序,每張圖像推理后,plt.show()一下。用memory_profiler發(fā)現內存不再繼續(xù)增大,interesting!其實把plt.show()改成plt.close()也可以防止內存不斷增大。具體原因肯定是python 的內存回收機制規(guī)則導致的。

總結

以上所述是小編給大家介紹的python內存監(jiān)控工具memory_profiler和guppy的用法詳解,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對腳本之家網站的支持!
如果你覺得本文對你有幫助,歡迎轉載,煩請注明出處,謝謝!

相關文章

  • Python中HMAC加密算法的應用

    Python中HMAC加密算法的應用

    HMAC?算法可用于驗證在應用程序之間傳遞或存儲在潛在易受攻擊位置的信息的完整性,因此本文為大家整理了一些Python中HMAC加密算法的應用,希望對大家有所幫助
    2023-05-05
  • Python讀取實時數據流示例

    Python讀取實時數據流示例

    今天小編就為大家分享一篇Python讀取實時數據流示例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-12-12
  • 如何為Python終端提供持久性歷史記錄

    如何為Python終端提供持久性歷史記錄

    這篇文章主要介紹了如何為Python終端提供持久性歷史記錄,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2019-09-09
  • 詳解python變量的命名和使用

    詳解python變量的命名和使用

    變量名只能包含字母、數字和下劃線,本文主要介紹了詳解python變量的命名和使用,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2023-12-12
  • 五分鐘學會怎么用Pygame做一個簡單的貪吃蛇

    五分鐘學會怎么用Pygame做一個簡單的貪吃蛇

    這篇文章主要介紹了五分鐘學會怎么用Pygame做一個簡單的貪吃蛇,幫助大家更好的理解和使用python,感興趣的朋友可以了解下
    2021-01-01
  • Python+Turtle繪制可愛的可達鴨

    Python+Turtle繪制可愛的可達鴨

    一年一度的六一兒童節(jié)又來了,祝大朋友小朋友節(jié)日快樂!本文主要介紹如何運用Python中的turtle庫控制函數繪制可達鴨,希望你會喜歡
    2022-05-05
  • python元組的概念知識點

    python元組的概念知識點

    在本篇文章里我們給各位整理的是關于python元組的概念知識點以及實例內容,需要的朋友們參考下。
    2019-11-11
  • Python中使用PyHook監(jiān)聽鼠標和鍵盤事件實例

    Python中使用PyHook監(jiān)聽鼠標和鍵盤事件實例

    這篇文章主要介紹了Python中使用PyHook監(jiān)聽鼠標和鍵盤事件實例,這個庫依賴于另一個Python庫PyWin32,并且只能運行在Windows平臺,需要的朋友可以參考下
    2014-07-07
  • Python編程實現下載器自動爬取采集B站彈幕示例

    Python編程實現下載器自動爬取采集B站彈幕示例

    這篇文章主要介紹了使用Python編程來實現一個下載器可以自動爬取采集B站彈幕的示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步早日升職加薪
    2021-10-10
  • python使用pyqt寫帶界面工具的示例代碼

    python使用pyqt寫帶界面工具的示例代碼

    本篇文章主要介紹了python使用pyqt寫帶界面工具的示例代碼,小編覺得挺不錯的,現在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2017-10-10

最新評論