舉例詳解Python中yield生成器的用法
yield是生成的意思,但是在python中則是作為生成器理解,生成器的用處主要可以迭代,這樣簡(jiǎn)化了很多運(yùn)算模型(還不是很了解是如何簡(jiǎn)化的)。
yield是一個(gè)表達(dá)式,是有返回值的.
當(dāng)一個(gè)函數(shù)中含有yield時(shí),它不再是一個(gè)普通的函數(shù),而是一個(gè)生成器.當(dāng)該函數(shù)被調(diào)用時(shí)不會(huì)自動(dòng)執(zhí)行,而是暫停,見(jiàn)第一個(gè)例子:
例1:
>>> def mygenerator(): ... print 'start...' ... yield 5 ... >>> mygenerator() //在此處調(diào)用,并沒(méi)有打印出start...說(shuō)明存在yield的函數(shù)沒(méi)有被運(yùn)行,即暫停 <generator object mygenerator at 0xb762502c> >>> mygenerator().next() //調(diào)用next()即可讓函數(shù)運(yùn)行. start... 5 >>>
如一個(gè)函數(shù)中出現(xiàn)多個(gè)yield則next()會(huì)停止在下一個(gè)yield前,見(jiàn)例2:
例2:
>>> def mygenerator(): ... print 'start...' ... yield 5 ... >>> mygenerator() //在此處調(diào)用,并沒(méi)有打印出start...說(shuō)明存在yield的函數(shù)沒(méi)有被運(yùn)行,即暫停 <generator object mygenerator at 0xb762502c> >>> mygenerator().next() //調(diào)用next()即可讓函數(shù)運(yùn)行. start... 5 >>>
為什么yield 5會(huì)輸出5,yield 23會(huì)輸出23?
我們猜測(cè)可能是因?yàn)閥ield是表達(dá)式,存在返回值.
那么這是否可以認(rèn)為yield 5的返回值一定是5嗎?實(shí)際上并不是這樣,這個(gè)與send函數(shù)存在一定的關(guān)系,這個(gè)函數(shù)實(shí)質(zhì)上與next()是相似的,區(qū)別是send是傳遞yield表達(dá)式的值進(jìn)去,而next不能傳遞特定的值,只能傳遞None進(jìn)去,因此可以認(rèn)為g.next()和g.send(None)是相同的。見(jiàn)例3:
例3:
>>> def fun(): ... print 'start...' ... m = yield 5 ... print m ... print 'middle...' ... d = yield 12 ... print d ... print 'end...' ... >>> m = fun() //創(chuàng)建一個(gè)對(duì)象 >>> m.next() //會(huì)使函數(shù)執(zhí)行到下一個(gè)yield前 start... 5 >>> m.send('message') //利用send()傳遞值 message //send()傳遞進(jìn)來(lái)的 middle... 12 >>> m.next() None //可見(jiàn)next()返回值為空 end... Traceback (most recent call last): File "<stdin>", line 1, in <module> StopIteration
在multiprocess中的使用
python在處理數(shù)據(jù)的時(shí)候,memory-heavy 的數(shù)據(jù)往往會(huì)導(dǎo)致程序沒(méi)辦反運(yùn)行或者運(yùn)行期間服務(wù)器其他程序效率受到影響。這種情況往往會(huì)把數(shù)據(jù)集合變?yōu)橥ㄟ^(guò)genertor來(lái)遍歷。
但同時(shí)如我們所知,generoter看似只能被單進(jìn)程消費(fèi),這樣效率很低。
generator 可以被pool.map消費(fèi)。
看一下pool.py的源碼。
for i, task in enumerate(taskseq): ... try: put(task) except IOError: debug('could not put task on queue') break
實(shí)際是先將generator全部消費(fèi)掉放到queue中。然后通過(guò)map來(lái)并行。這樣是解決了使用map來(lái)并行。
但是依然沒(méi)有解決占用內(nèi)存的問(wèn)題。這里有兩步占用內(nèi)存。
- 第一步是全部消費(fèi)掉的generator。
- 第二步并行運(yùn)算全部data。
解決第一個(gè)問(wèn)題,通過(guò)部分消費(fèi)generator來(lái)達(dá)到。
解決第二個(gè)問(wèn)題,可以通過(guò)imap來(lái)達(dá)到.
示例代碼如下:
import multiprocessing as mp import itertools import time def g(): for el in xrange(50): print el yield el import os def f(x): time.sleep(1) print str(os.getpid()) +" "+ str(x) return x * x if __name__ == '__main__': pool = mp.Pool(processes=4) # start 4 worker processes go = g() result = [] N = 11 while True: g2 = pool.imap(f, itertools.islice(go, N)) if g2: for i in g2: result.append(i) time.sleep(1) else: break print(result)
ps: 使用注意事項(xiàng)。在produce數(shù)據(jù)的時(shí)候,盡量少做操作,應(yīng)為即使是map也是單線程的來(lái)消費(fèi)數(shù)據(jù)。所以盡量把操作放到map中作。這樣才能更好的利用多進(jìn)程提高效率。
相關(guān)文章
python多進(jìn)程使用apply_async的使用方法詳解
這篇文章主要介紹了python多進(jìn)程使用apply_async使用方法詳解,apply_async是異步非阻塞式,不用等待當(dāng)前進(jìn)程執(zhí)行完畢,隨時(shí)跟進(jìn)操作系統(tǒng)調(diào)度來(lái)進(jìn)行進(jìn)程切換,即多個(gè)進(jìn)程并行執(zhí)行,提高程序的執(zhí)行效率2022-09-09python 實(shí)現(xiàn)德洛內(nèi)三角剖分的操作
這篇文章主要介紹了python 實(shí)現(xiàn)德洛內(nèi)三角剖分的操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-04-04Python實(shí)現(xiàn)快速多線程ping的方法
這篇文章主要介紹了Python實(shí)現(xiàn)快速多線程ping的方法,實(shí)例分析了Python多線程及ICMP數(shù)據(jù)包的發(fā)送技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-07-07pytorch finetuning 自己的圖片進(jìn)行訓(xùn)練操作
這篇文章主要介紹了pytorch finetuning 自己的圖片進(jìn)行訓(xùn)練操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2021-06-06Python獲取當(dāng)前腳本文件夾(Script)的絕對(duì)路徑方法代碼
在本篇文章中小編給各位整理了關(guān)于Python獲取當(dāng)前腳本文件夾(Script)的絕對(duì)路徑實(shí)例代碼內(nèi)容,有需要的朋友們學(xué)習(xí)下。2019-08-08Python使用openpyxl實(shí)現(xiàn)Excel超鏈接批量化設(shè)置
在Excel中,超鏈接是一種非常有用的功能,本文我們將介紹如何使用Python來(lái)處理Excel中的超鏈接,以及如何將超鏈接與對(duì)應(yīng)的工作表鏈接起來(lái),需要的可以參考一下2023-07-07python爬取NUS-WIDE數(shù)據(jù)庫(kù)圖片
本文給大家分享的是使用Python制作爬蟲(chóng)爬取圖片的小程序,非常的簡(jiǎn)單,但是很實(shí)用,有需要的小伙伴可以參考下2016-10-10對(duì)python讀取zip壓縮文件里面的csv數(shù)據(jù)實(shí)例詳解
今天小編就為大家分享一篇對(duì)python讀取zip壓縮文件里面的csv數(shù)據(jù)實(shí)例詳解,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-02-02python編寫(xiě)根據(jù)年份判斷生肖實(shí)例
這篇文章主要為大家介紹了python編寫(xiě)根據(jù)年份判斷生肖實(shí)例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2024-01-01利用OpenCV+Tensorflow實(shí)現(xiàn)的手勢(shì)識(shí)別
這幾天沒(méi)事,想著再學(xué)點(diǎn)一些視覺(jué)識(shí)別方向的東西,因?yàn)橹白隽蓑?yàn)證碼識(shí)別,有了機(jī)器學(xué)習(xí)的信心,因此這次打算做個(gè)手勢(shì)識(shí)別,下面這篇文章主要給大家介紹了關(guān)于利用OpenCV+Tensorflow實(shí)現(xiàn)的手勢(shì)識(shí)別的相關(guān)資料,需要的朋友可以參考下2022-11-11