快捷導(dǎo)航

python?memory_profiler庫(kù)生成器和迭代器內(nèi)存占用的時(shí)間分析

更新時(shí)間：2022年06月28日 14:41:48 作者：MAR-Sky

這篇文章主要介紹了python?memory_profiler庫(kù)生成器和迭代器內(nèi)存占用的時(shí)間分析，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，感興趣的小伙伴可以參考一下

不進(jìn)行計(jì)算時(shí)，生成器和list空間占用

import time
from memory_profiler import profile
@profile(precision=4)
def list_fun():
	start = time.time()
	total = ([i for i in range(5000000)])
	print('iter_spend_time:',time.time()-start)

@profile(precision=4)
def gent_func():
	gent_start = time.time()
	total = (i for i in range(5000000))

	print('gent_spend_time:',time.time()-gent_start)

iter_fun()
gent_func()

顯示結(jié)果的含義：第一列表示已分析代碼的行號(hào)，第二列（Mem 使用情況）表示執(zhí)行該行后 Python 解釋器的內(nèi)存使用情況。第三列（增量）表示當(dāng)前行相對(duì)于最后一行的內(nèi)存差異。最后一列（行內(nèi)容）打印已分析的代碼。
分析：在不進(jìn)行計(jì)算的情況下，列表list和迭代器會(huì)占用空間，但對(duì)于生成器不會(huì)占用空間

當(dāng)需要計(jì)算時(shí)，list和生成器的花費(fèi)時(shí)間和占用內(nèi)存

使用sum內(nèi)置函數(shù)，list和生成器求和10000000個(gè)數(shù)據(jù)，list內(nèi)存占用較大，生成器花費(fèi)時(shí)間大概是list的兩倍

import time
from memory_profiler import profile
@profile(precision=4)
def iter_fun():
	start = time.time()
	total = sum([i for i in range(10000000)])
	print('iter_spend_time:',time.time()-start)
@profile(precision=4)
def gent_func():
	gent_start = time.time()
	total = sum(i for i in range(10000000))

	print('gent_spend_time:',time.time()-gent_start)

iter_fun()
gent_func()

比較分析，如果需要對(duì)數(shù)據(jù)進(jìn)行迭代使用時(shí)，生成器方法的耗時(shí)較長(zhǎng)，但內(nèi)存使用方面還是較少，因?yàn)槭褂蒙善鲿r(shí)，內(nèi)存只存儲(chǔ)每次迭代計(jì)算的數(shù)據(jù)。分析原因時(shí)個(gè)人認(rèn)為，生成器的迭代計(jì)算過(guò)程中，在迭代數(shù)據(jù)和計(jì)算直接不斷轉(zhuǎn)換，相比與迭代器對(duì)象中先將數(shù)據(jù)全部保存在內(nèi)存中（雖然占內(nèi)存，但讀取比再次迭代要快），因此，生成器比較費(fèi)時(shí)間，但占用內(nèi)存小。

記錄數(shù)據(jù)循環(huán)求和500000個(gè)數(shù)據(jù)，迭代器和生成器循環(huán)得到時(shí)

總結(jié)：幾乎同時(shí)完成，迭代器的占用內(nèi)存較大

import time
from memory_profiler import profile
itery = iter([i for i in range(5000000)])
gent = (i for i in range(5000000))
@profile(precision=4)
def iter_fun():
	start = time.time()
	total= 0
	for item in itery:
		total+=item
	print('iter:',time.time()-start)
@profile(precision=4)
def gent_func():
	gent_start = time.time()
	total = 0
	for item in gent:
		total+=item
	print('gent:',time.time()-gent_start)
iter_fun()
gent_func()

list，迭代器和生成器共同使用sum計(jì)算5000000個(gè)數(shù)據(jù)時(shí)間比較

總結(jié)：list+sum和迭代器+sum計(jì)算時(shí)長(zhǎng)差不多，但生成器+sum計(jì)算的時(shí)長(zhǎng)幾乎長(zhǎng)一倍，

import time
from memory_profiler import profile
@profile(precision=4)
def list_fun():
	start = time.time()
	print('start!!!')
	list_data = [i for i in range(5000000)]
	total = sum(list_data)
	print('iter_spend_time:',time.time()-start)
@profile(precision=4)
def iter_fun():
	start = time.time()
	total = 0
	total = sum(iter([i for i in range(5000000)]))
	print('total:',total)
	print('iter_spend_time:',time.time()-start)

@profile(precision=4)
def gent_func():
	gent_start = time.time()
	total = sum(i for i in range(5000000))
	print('total:',total)
	print('gent_spend_time:',time.time()-gent_start)
list_fun()
iter_fun()
gent_func()

到此這篇關(guān)于python memory_profiler庫(kù)生成器和迭代器內(nèi)存占用的時(shí)間分析的文章就介紹到這了,更多相關(guān)python的memory_profiler 內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: