在Python中如何使用yield
一、生成器
如果在一個(gè)方法內(nèi),包含了 yield
關(guān)鍵字,那么這個(gè)函數(shù)就是一個(gè)「生成器」。
生成器其實(shí)就是一個(gè)特殊的迭代器,它可以像迭代器那樣,迭代輸出方法內(nèi)的每個(gè)元素。
我們來(lái)看一個(gè)包含 yield 關(guān)鍵字的方法:
# coding: utf8 # 生成器 def gen(n): for i in range(n): yield i g = gen(5) # 創(chuàng)建一個(gè)生成器 print(g) # <generator object gen at 0x10bb46f50> print(type(g)) # <type 'generator'> # 迭代生成器中的數(shù)據(jù) for i in g: print(i) # Output: # 0 1 2 3 4
注意,在這個(gè)例子中,當(dāng)我們執(zhí)行 g = gen(5)
時(shí),gen
中的代碼其實(shí)并沒(méi)有執(zhí)行,此時(shí)我們只是創(chuàng)建了一個(gè)「生成器對(duì)象」,它的類(lèi)型是 generator
。
然后,當(dāng)我們執(zhí)行 for i in g
,每執(zhí)行一次循環(huán),就會(huì)執(zhí)行到 yield
處,返回一次 yield
后面的值。
這個(gè)迭代過(guò)程是和迭代器最大的區(qū)別。
換句話說(shuō),如果我們想輸出 5 個(gè)元素,在創(chuàng)建生成器時(shí),這個(gè) 5 個(gè)元素其實(shí)還并沒(méi)有產(chǎn)生,什么時(shí)候產(chǎn)生呢?只有在執(zhí)行for
循環(huán)遇到 yield
時(shí),才會(huì)依次生成每個(gè)元素。
此外,生成器除了和迭代器一樣實(shí)現(xiàn)迭代數(shù)據(jù)之外,還包含了其他方法:
generator.__next__()
:執(zhí)行for
時(shí)調(diào)用此方法,每次執(zhí)行到yield
就會(huì)停止,然后返回yield
后面的值,如果沒(méi)有數(shù)據(jù)可迭代,拋出StopIterator
異常,for
循環(huán)結(jié)束generator.send(value)
:外部傳入一個(gè)值到生成器內(nèi)部,改變yield
前面的值generator.throw(type[, value[, traceback]])
:外部向生成器拋出一個(gè)異常generator.close()
:關(guān)閉生成器
通過(guò)使用生成器的這些方法,我們可以完成很多有意思的功能。
二、next
先來(lái)看生成器的 __next__
方法,我們看下面這個(gè)例子。
# coding: utf8 def gen(n): for i in range(n): print('yield before') yield i print('yield after') g = gen(3) # 創(chuàng)建一個(gè)生成器 print(g.__next__()) # 0 print('----') print(g.__next__()) # 1 print('----') print(g.__next__()) # 2 print('----') print(g.__next__()) # StopIteration # Output: # yield before # 0 # ---- # yield after # yield before # 1 # ---- # yield after # yield before # 2 # ---- # yield after # Traceback (most recent call last): # File "gen.py", line 16, in <module> # print(g.__next__()) # StopIteration # StopIteration
在這個(gè)例子中,我們定義了 gen
方法,這個(gè)方法包含了 yield
關(guān)鍵字。然后我們執(zhí)行 g = gen(3)
創(chuàng)建一個(gè)生成器,但是這次沒(méi)有執(zhí)行 for
去迭代它,而是多次調(diào)用 g.__next__()
去輸出生成器中的元素。
我們看到,當(dāng)執(zhí)行 g.__next__()
時(shí),代碼就會(huì)執(zhí)行到 yield
處,然后返回 yield 后面的值,如果繼續(xù)調(diào)用 g.__next__()
,注意,你會(huì)發(fā)現(xiàn),這次執(zhí)行的開(kāi)始位置,是上次 yield
結(jié)束的地方,并且它還保留了上一次執(zhí)行的上下文,繼續(xù)向后迭代。
這就是使用 yield
的作用,在迭代生成器時(shí),每一次執(zhí)行都可以保留上一次的狀態(tài),而不是像普通方法那樣,遇到 return
就返回結(jié)果,下一次執(zhí)行只能再次重復(fù)上一次的流程。
生成器除了能保存狀態(tài)之外,我們還可以通過(guò)其他方式,改變其內(nèi)部的狀態(tài),這就是下面要講的 send
和 throw
方法。
三、send
上面的例子中,我們只展示了在 yield
后有值的情況,其實(shí)還可以使用 j = yield i
這種語(yǔ)法,我們看下面的代碼:
# coding: utf8 def gen(): i = 1 while True: j = yield i i *= 2 if j == -1: break
此時(shí)如果我們執(zhí)行下面的代碼:
for i in gen(): print(i) time.sleep(1)
輸出結(jié)果會(huì)是 1 2 4 8 16 32 64 ...
一直循環(huán)下去, 直到我們殺死這個(gè)進(jìn)程才能停止。
這段代碼一直循環(huán)的原因在于,它無(wú)法執(zhí)行到 j == -1
這個(gè)分支里 break
出來(lái),如果我們想讓代碼執(zhí)行到這個(gè)地方,如何做呢?
這里就要用到生成器的 send
方法了,send
方法可以把外部的值傳入生成器內(nèi)部,從而改變生成器的狀態(tài)。
g = gen() # 創(chuàng)建一個(gè)生成器 print(g.__next__()) # 1 print(g.__next__()) # 2 print(g.__next__()) # 4 # send 把 -1 傳入生成器內(nèi)部 走到了 j = -1 這個(gè)分支 print(g.send(-1)) # StopIteration 迭代停止
當(dāng)我們執(zhí)行 g.send(-1)
時(shí),相當(dāng)于把 -1
傳入到了生成器內(nèi)部,然后賦值給了 yield
前面的 j
,此時(shí) j = -1
,然后這個(gè)方法就會(huì) break
出來(lái),不會(huì)繼續(xù)迭代下去。
四、throw
外部除了可以向生成器內(nèi)部傳入一個(gè)值外,還可以傳入一個(gè)異常,也就是調(diào)用 throw
方法:
# coding: utf8 def gen(): try: yield 1 except ValueError: yield 'ValueError' finally: print('finally') g = gen() # 創(chuàng)建一個(gè)生成器 print(g.__next__()) # 1 # 向生成器內(nèi)部傳入異常 返回ValueError print(g.throw(ValueError)) # Output: # 1 # ValueError # finally
這個(gè)例子創(chuàng)建好生成器后,使用 g.throw(ValueError)
的方式,向生成器內(nèi)部傳入了一個(gè)異常,走到了生成器異常處理的分支邏輯。
五、close
生成器的 close
方法也比較簡(jiǎn)單,就是手動(dòng)關(guān)閉這個(gè)生成器,關(guān)閉后的生成器無(wú)法再進(jìn)行操作。
>>> g = gen() >>> g.close() # 關(guān)閉生成器 >>> g.__next__() # 無(wú)法迭代數(shù)據(jù) Traceback (most recent call last): File "<stdin>", line 1, in <module> StopIteration
close
方法我們?cè)陂_(kāi)發(fā)中使用得比較少,了解一下就好。
六、使用場(chǎng)景
了解了 yield
和生成器的使用方式,那么 yield
和生成器
一般用在哪些業(yè)務(wù)場(chǎng)景中呢?
下面我介紹幾個(gè)例子,分別是大集合的生成、簡(jiǎn)化代碼結(jié)構(gòu)、協(xié)程與并發(fā),你可以參考這些使用場(chǎng)景來(lái)使用 yield
。
大集合的生成
如果你想生成一個(gè)非常大的集合,如果使用 list
創(chuàng)建一個(gè)集合,這會(huì)導(dǎo)致在內(nèi)存中申請(qǐng)一個(gè)很大的存儲(chǔ)空間,例如想下面這樣:
# coding: utf8 def big_list(): result = [] for i in range(10000000000): result.append(i) return result # 一次性在內(nèi)存中生成大集合 內(nèi)存占用非常大 for i in big_list(): print(i)
這種場(chǎng)景,我們使用生成器就能很好地解決這個(gè)問(wèn)題。
因?yàn)樯善髦挥性趫?zhí)行到 yield
時(shí)才會(huì)迭代數(shù)據(jù),這時(shí)只會(huì)申請(qǐng)需要返回元素的內(nèi)存空間,代碼可以這樣寫(xiě):
# coding: utf8 def big_list(): for i in range(10000000000): yield i # 只有在迭代時(shí) 才依次生成元素 減少內(nèi)存占用 for i in big_list(): print(i)
簡(jiǎn)化代碼結(jié)構(gòu)
我們?cè)陂_(kāi)發(fā)時(shí)還經(jīng)常遇到這樣一種場(chǎng)景,如果一個(gè)方法要返回一個(gè) list
,但這個(gè) list
是多個(gè)邏輯塊組合后才能產(chǎn)生的,這就會(huì)導(dǎo)致我們的代碼結(jié)構(gòu)變得很復(fù)雜:
# coding: utf8 def gen_list(): # 多個(gè)邏輯塊 組成生成一個(gè)列表 result = [] for i in range(10): result.append(i) for j in range(5): result.append(j * j) for k in [100, 200, 300]: result.append(k) return result for item in gen_list(): print(item)
這種情況下,我們只能在每個(gè)邏輯塊內(nèi)使用 append
向 list
中追加元素,代碼寫(xiě)起來(lái)比較啰嗦。
此時(shí)如果使用 yield
來(lái)生成這個(gè) list
,代碼就簡(jiǎn)潔很多:
# coding: utf8 def gen_list(): # 多個(gè)邏輯塊 使用yield 生成一個(gè)列表 for i in range(10): yield i for j in range(5): yield j * j for k in [100, 200, 300]: yield k for item in gen_list(): print(i)
使用 yield
后,就不再需要定義 list
類(lèi)型的變量,只需在每個(gè)邏輯塊直接 yield
返回元素即可,可以達(dá)到和前面例子一樣的功能。
我們看到,使用 yield
的代碼更加簡(jiǎn)潔,結(jié)構(gòu)也更清晰,另外的好處是只有在迭代元素時(shí)才申請(qǐng)內(nèi)存空間,降低了內(nèi)存資源的消耗。
七、協(xié)程與并發(fā)
還有一種場(chǎng)景是 yield
使用非常多的,那就是「協(xié)程與并發(fā)」。
如果我們想提高程序的執(zhí)行效率,通常會(huì)使用多進(jìn)程、多線程的方式編寫(xiě)程序代碼,最常用的編程模型就是「生產(chǎn)者-消費(fèi)者」模型,即一個(gè)進(jìn)程 / 線程生產(chǎn)數(shù)據(jù),其他進(jìn)程 / 線程消費(fèi)數(shù)據(jù)。
在開(kāi)發(fā)多進(jìn)程、多線程程序時(shí),為了防止共享資源被篡改,我們通常還需要加鎖進(jìn)行保護(hù),這樣就增加了編程的復(fù)雜度。
在 Python 中,除了使用進(jìn)程和線程之外,我們還可以使用「協(xié)程」來(lái)提高代碼的運(yùn)行效率。
什么是協(xié)程?
簡(jiǎn)單來(lái)說(shuō),由多個(gè)程序塊組合協(xié)作執(zhí)行的程序,稱(chēng)之為「協(xié)程」。
而在 Python 中使用「協(xié)程」,就需要用到 yield
關(guān)鍵字來(lái)配合。
可能這么說(shuō)還是太好理解,我們用 yield
實(shí)現(xiàn)一個(gè)協(xié)程生產(chǎn)者、消費(fèi)者的例子:
# coding: utf8 def consumer(): i = None while True: # 拿到 producer 發(fā)來(lái)的數(shù)據(jù) j = yield i print('consume %s' % j) def producer(c): c.__next__() for i in range(5): print('produce %s' % i) # 發(fā)數(shù)據(jù)給 consumer c.send(i) c.close() c = consumer() producer(c) # Output: # produce 0 # consume 0 # produce 1 # consume 1 # produce 2 # consume 2 # produce 3 # consume 3 ...
這個(gè)程序的執(zhí)行流程如下:
1.c = consumer()
創(chuàng)建一個(gè)生成器對(duì)象
2.producer(c)
開(kāi)始執(zhí)行,c.__next()__
會(huì)啟動(dòng)生成器 consumer
直到代碼運(yùn)行到 j = yield i
處,此時(shí) consumer
第一次執(zhí)行完畢,返回
3.producer
函數(shù)繼續(xù)向下執(zhí)行,直到 c.send(i)
處,這里利用生成器的 send 方法,向 consumer 發(fā)送數(shù)據(jù)
4.consumer
函數(shù)被喚醒,從 j = yield i
處繼續(xù)開(kāi)始執(zhí)行,并且接收到 producer
傳來(lái)的數(shù)據(jù)賦值給 j
,然后打印輸出,直到再次執(zhí)行到 yield
處,返回
5.producer
繼續(xù)循環(huán)執(zhí)行上面的過(guò)程,依次發(fā)送數(shù)據(jù)給 cosnumer
,直到循環(huán)結(jié)束
6.最終 c.close()
關(guān)閉 consumer
生成器,程序退出
在這個(gè)例子中我們發(fā)現(xiàn),程序在 producer
和 consumer
這 2 個(gè)函數(shù)之間來(lái)回切換執(zhí)行,相互協(xié)作,完成了生產(chǎn)任務(wù)、消費(fèi)任務(wù)的業(yè)務(wù)場(chǎng)景,最重要的是,整個(gè)程序是在單進(jìn)程單線程下完成的。
到此這篇關(guān)于在Python中如何使用yield的文章就介紹到這了,更多相關(guān)yield的用法內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
淺談在django中使用filter()(即對(duì)QuerySet操作)時(shí)踩的坑
這篇文章主要介紹了淺談在django中使用filter()(即對(duì)QuerySet操作)時(shí)踩的坑,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-03-03Python動(dòng)態(tài)可視化模塊Pynimate初體驗(yàn)
Pynimate是python第三方用于動(dòng)態(tài)可視化的數(shù)據(jù)模塊,是一位專(zhuān)攻?Python?語(yǔ)言的程序員開(kāi)發(fā)的安裝包。本文將通過(guò)幾個(gè)簡(jiǎn)單的示例,講解一下Pynimate的使用方法,需要的可以參考一下2023-02-02Python基于回溯法子集樹(shù)模板解決數(shù)字組合問(wèn)題實(shí)例
這篇文章主要介紹了Python基于回溯法子集樹(shù)模板解決數(shù)字組合問(wèn)題,簡(jiǎn)單描述了數(shù)字組合問(wèn)題并結(jié)合實(shí)例形式分析了Python回溯法子集樹(shù)模板解決數(shù)字組合問(wèn)題的具體步驟與相關(guān)操作技巧,需要的朋友可以參考下2017-09-09PyQt5入門(mén)之基于QListWidget版本實(shí)現(xiàn)圖片縮略圖列表功能
這篇文章主要介紹了PyQt5入門(mén)之基于QListWidget版本實(shí)現(xiàn)圖片縮略圖列表功能,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-09-09基于MSELoss()與CrossEntropyLoss()的區(qū)別詳解
今天小編就為大家分享一篇基于MSELoss()與CrossEntropyLoss()的區(qū)別詳解,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-01-01Python實(shí)現(xiàn)的讀取電腦硬件信息功能示例
這篇文章主要介紹了Python實(shí)現(xiàn)的讀取電腦硬件信息功能,結(jié)合實(shí)例形式分析了Python基于wmi庫(kù)讀取電腦CPU、磁盤(pán)、網(wǎng)絡(luò)、進(jìn)程等硬件信息相關(guān)操作技巧,需要的朋友可以參考下2018-05-05