深入了解Python中yield?from語(yǔ)法的使用
1. 為什么要使用協(xié)程
在上一篇中，我們從生成器的基本認(rèn)識(shí)與使用，成功過(guò)渡到了協(xié)程。
但一定有許多人，只知道協(xié)程是個(gè)什么東西，但并不知道為什么要用協(xié)程？換句話來(lái)說(shuō)，并不知道在什么情況下用協(xié)程？ 它相比多線程來(lái)說(shuō)，有哪些過(guò)人之處呢？
在開(kāi)始講yield from 之前，我想先解決一下這個(gè)給很多人帶來(lái)困惑的問(wèn)題。
舉個(gè)例子。 假如我們做一個(gè)爬蟲(chóng)。我們要爬取多個(gè)網(wǎng)頁(yè)，這里簡(jiǎn)單舉例兩個(gè)網(wǎng)頁(yè)(兩個(gè)spider函數(shù))，獲取HTML（耗IO耗時(shí)），然后再對(duì)HTML對(duì)行解析取得我們感興趣的數(shù)據(jù)。
我們的代碼結(jié)構(gòu)精簡(jiǎn)如下：
def spider_01(url):
html = get_html(url)
...
data = parse_html(html)
def spider_02(url):
html = get_html(url)
...
data = parse_html(html)
我們都知道，get_html()等待返回網(wǎng)頁(yè)是非常耗IO的，一個(gè)網(wǎng)頁(yè)還好，如果我們爬取的網(wǎng)頁(yè)數(shù)據(jù)極其龐大，這個(gè)等待時(shí)間就非常驚人，是極大的浪費(fèi)。
聰明的程序員，當(dāng)然會(huì)想如果能在get_html()這里暫停一下，不用傻乎乎地去等待網(wǎng)頁(yè)返回，而是去做別的事。等過(guò)段時(shí)間再回過(guò)頭來(lái)到剛剛暫停的地方，接收返回的html內(nèi)容，然后還可以接下去解析parse_html(html)。
利用常規(guī)的方法，幾乎是沒(méi)辦法實(shí)現(xiàn)如上我們想要的效果的。所以Python想得很周到，從語(yǔ)言本身給我們實(shí)現(xiàn)了這樣的功能，這就是yield語(yǔ)法?？梢詫?shí)現(xiàn)在某一函數(shù)中暫停的效果。
試著思考一下，假如沒(méi)有協(xié)程，我們要寫一個(gè)并發(fā)程序?？赡苡幸韵聠?wèn)題
1. 使用最常規(guī)的同步編程要實(shí)現(xiàn)異步并發(fā)效果并不理想，或者難度極高。
2. 由于GIL鎖的存在，多線程的運(yùn)行需要頻繁的加鎖解鎖，切換線程，這極大地降低了并發(fā)性能；
而協(xié)程的出現(xiàn)，剛好可以解決以上的問(wèn)題。它的特點(diǎn)有
1. 協(xié)程是在單線程里實(shí)現(xiàn)任務(wù)的切換的
2. 利用同步的方式去實(shí)現(xiàn)異步
3. 不再需要鎖，提高了并發(fā)性能
2. yield from的用法詳解
yield from 是在Python3.3才出現(xiàn)的語(yǔ)法。所以這個(gè)特性在Python2中是沒(méi)有的。
yield from 后面需要加的是可迭代對(duì)象，它可以是普通的可迭代對(duì)象，也可以是迭代器，甚至是生成器。
2.1 簡(jiǎn)單應(yīng)用：拼接可迭代對(duì)象
我們可以用一個(gè)使用yield和一個(gè)使用yield from的例子來(lái)對(duì)比看下。
使用yield
# 字符串
astr='ABC'
# 列表
alist=[1,2,3]
# 字典
adict={"name":"wangbm","age":18}
# 生成器
agen=(i for i in range(4,8))
def gen(*args, **kw):
for item in args:
for i in item:
yield i
new_list=gen(astr, alist, adict, agen)
print(list(new_list))
# ['A', 'B', 'C', 1, 2, 3, 'name', 'age', 4, 5, 6, 7]使用yield from
# 字符串
astr='ABC'
# 列表
alist=[1,2,3]
# 字典
adict={"name":"wangbm","age":18}
# 生成器
agen=(i for i in range(4,8))
def gen(*args, **kw):
for item in args:
yield from item
new_list=gen(astr, alist, adict, agen)
print(list(new_list))
# ['A', 'B', 'C', 1, 2, 3, 'name', 'age', 4, 5, 6, 7]由上面兩種方式對(duì)比，可以看出，yield from后面加上可迭代對(duì)象，他可以把可迭代對(duì)象里的每個(gè)元素一個(gè)一個(gè)的yield出來(lái)，對(duì)比yield來(lái)說(shuō)代碼更加簡(jiǎn)潔，結(jié)構(gòu)更加清晰。
2.2 復(fù)雜應(yīng)用：生成器的嵌套
如果你認(rèn)為只是 yield from 僅僅只有上述的功能的話，那你就太小瞧了它，它的更強(qiáng)大的功能還在后面。
當(dāng) yield from 后面加上一個(gè)生成器后，就實(shí)現(xiàn)了生成的嵌套。
當(dāng)然實(shí)現(xiàn)生成器的嵌套，并不是一定必須要使用yield from，而是使用yield from可以讓我們避免讓我們自己處理各種料想不到的異常，而讓我們專注于業(yè)務(wù)代碼的實(shí)現(xiàn)。
如果自己用yield去實(shí)現(xiàn)，那只會(huì)加大代碼的編寫難度，降低開(kāi)發(fā)效率，降低代碼的可讀性。既然Python已經(jīng)想得這么周到，我們當(dāng)然要好好利用起來(lái)。
講解它之前，首先要知道這個(gè)幾個(gè)概念 >1、調(diào)用方：調(diào)用委派生成器的客戶端（調(diào)用方）代碼 >2、委托生成器：包含yield from表達(dá)式的生成器函數(shù) >3、子生成器：yield from后面加的生成器函數(shù)
你可能不知道他們都是什么意思，沒(méi)關(guān)系，來(lái)看下這個(gè)例子。
這個(gè)例子，是實(shí)現(xiàn)實(shí)時(shí)計(jì)算平均值的。 比如，第一次傳入10，那返回平均數(shù)自然是10. 第二次傳入20，那返回平均數(shù)是(10+20)/2=15 第三次傳入30，那返回平均數(shù)(10+20+30)/3=20
# 子生成器
def average_gen():
total = 0
count = 0
average = 0
while True:
new_num = yield average
count += 1
total += new_num
average = total/count
# 委托生成器
def proxy_gen():
while True:
yield from average_gen()
# 調(diào)用方
def main():
calc_average = proxy_gen()
next(calc_average) # 預(yù)激下生成器
print(calc_average.send(10)) # 打?。?0.0
print(calc_average.send(20)) # 打?。?5.0
print(calc_average.send(30)) # 打?。?0.0
if __name__ == '__main__':
main()
認(rèn)真閱讀以上代碼，你應(yīng)該很容易能理解，調(diào)用方、委托生成器、子生成器之間的關(guān)系。我就不多說(shuō)了
委托生成器的作用是：在調(diào)用方與子生成器之間建立一個(gè)雙向通道。
所謂的雙向通道是什么意思呢？ 調(diào)用方可以通過(guò)send()直接發(fā)送消息給子生成器，而子生成器yield的值，也是直接返回給調(diào)用方。
你可能會(huì)經(jīng)?？吹接行┐a，還可以在yield from前面看到可以賦值。這是什么用法？
你可能會(huì)以為，子生成器yield回來(lái)的值，被委托生成器給攔截了。你可以親自寫個(gè)demo運(yùn)行試驗(yàn)一下，并不是你想的那樣。 因?yàn)槲覀冎罢f(shuō)了，委托生成器，只起一個(gè)橋梁作用，它建立的是一個(gè)雙向通道，它并沒(méi)有權(quán)利也沒(méi)有辦法，對(duì)子生成器yield回來(lái)的內(nèi)容做攔截。
為了解釋這個(gè)用法，我還是用上述的例子，并對(duì)其進(jìn)行了一些改造。添加了一些注釋，希望你能看得明白。
按照慣例，我們還是舉個(gè)例子。
# 子生成器
def average_gen():
total = 0
count = 0
average = 0
while True:
new_num = yield average
if new_num is None:
break
count += 1
total += new_num
average = total/count
# 每一次return，都意味著當(dāng)前協(xié)程結(jié)束。
return total,count,average
# 委托生成器
def proxy_gen():
while True:
# 只有子生成器要結(jié)束（return）了，yield from左邊的變量才會(huì)被賦值，后面的代碼才會(huì)執(zhí)行。
total, count, average = yield from average_gen()
print("計(jì)算完畢！！\n總共傳入 {} 個(gè)數(shù)值， 總和：{}，平均數(shù)：{}".format(count, total, average))
# 調(diào)用方
def main():
calc_average = proxy_gen()
next(calc_average) # 預(yù)激協(xié)程
print(calc_average.send(10)) # 打?。?0.0
print(calc_average.send(20)) # 打?。?5.0
print(calc_average.send(30)) # 打?。?0.0
calc_average.send(None) # 結(jié)束協(xié)程
# 如果此處再調(diào)用calc_average.send(10)，由于上一協(xié)程已經(jīng)結(jié)束，將重開(kāi)一協(xié)程
if __name__ == '__main__':
main()運(yùn)行后，輸出
10.0
15.0
20.0
計(jì)算完畢！！
總共傳入 3 個(gè)數(shù)值， 總和：60，平均數(shù)：20.0
3. 為什么要使用yield from
學(xué)到這里，我相信你肯定要問(wèn)，既然委托生成器，起到的只是一個(gè)雙向通道的作用，我還需要委托生成器做什么？我調(diào)用方直接調(diào)用子生成器不就好啦？
高能預(yù)警~~~
下面我們來(lái)一起探討一下，到底yield from 有什么過(guò)人之處，讓我們非要用它不可。
3.1 因?yàn)樗梢詭臀覀兲幚懋惓?/h3>
如果我們?nèi)サ粑猩善?，而直接調(diào)用子生成器。那我們就需要把代碼改成像下面這樣，我們需要自己捕獲異常并處理。而不像使yield from那樣省心。
# 子生成器
# 子生成器
def average_gen():
total = 0
count = 0
average = 0
while True:
new_num = yield average
if new_num is None:
break
count += 1
total += new_num
average = total/count
return total,count,average
# 調(diào)用方
def main():
calc_average = average_gen()
next(calc_average) # 預(yù)激協(xié)程
print(calc_average.send(10)) # 打印：10.0
print(calc_average.send(20)) # 打?。?5.0
print(calc_average.send(30)) # 打印：20.0
# ----------------注意-----------------
try:
calc_average.send(None)
except StopIteration as e:
total, count, average = e.value
print("計(jì)算完畢??！\n總共傳入 {} 個(gè)數(shù)值， 總和：{}，平均數(shù)：{}".format(count, total, average))
# ----------------注意-----------------
if __name__ == '__main__':
main()此時(shí)的你，可能會(huì)說(shuō)，不就一個(gè)StopIteration的異常嗎？自己捕獲也沒(méi)什么大不了的。
你要是知道yield from在背后為我們默默無(wú)聞地做了哪些事，你就不會(huì)這樣說(shuō)了。
具體yield from為我們做了哪些事，可以參考如下這段代碼。
#一些說(shuō)明
"""
_i：子生成器，同時(shí)也是一個(gè)迭代器
_y：子生成器生產(chǎn)的值
_r：yield from 表達(dá)式最終的值
_s：調(diào)用方通過(guò)send()發(fā)送的值
_e：異常對(duì)象
"""
_i = iter(EXPR)
try:
_y = next(_i)
except StopIteration as _e:
_r = _e.value
else:
while 1:
try:
_s = yield _y
except GeneratorExit as _e:
try:
_m = _i.close
except AttributeError:
pass
else:
_m()
raise _e
except BaseException as _e:
_x = sys.exc_info()
try:
_m = _i.throw
except AttributeError:
raise _e
else:
try:
_y = _m(*_x)
except StopIteration as _e:
_r = _e.value
break
else:
try:
if _s is None:
_y = next(_i)
else:
_y = _i.send(_s)
except StopIteration as _e:
_r = _e.value
break
RESULT = _r以上的代碼，稍微有點(diǎn)復(fù)雜，有興趣的同學(xué)可以結(jié)合以下說(shuō)明去研究看看。
- 迭代器（即可指子生成器）產(chǎn)生的值直接返還給調(diào)用者
- 任何使用send()方法發(fā)給委派生產(chǎn)器（即外部生產(chǎn)器）的值被直接傳遞給迭代器。如果send值是None，則調(diào)用迭代器next()方法；如果不為None，則調(diào)用迭代器的send()方法。如果對(duì)迭代器的調(diào)用產(chǎn)生StopIteration異常，委派生產(chǎn)器恢復(fù)繼續(xù)執(zhí)行yield from后面的語(yǔ)句；若迭代器產(chǎn)生其他任何異常，則都傳遞給委派生產(chǎn)器。
- 子生成器可能只是一個(gè)迭代器，并不是一個(gè)作為協(xié)程的生成器，所以它不支持.throw()和.close()方法,即可能會(huì)產(chǎn)生AttributeError 異常。
- 除了GeneratorExit 異常外的其他拋給委派生產(chǎn)器的異常，將會(huì)被傳遞到迭代器的throw()方法。如果迭代器throw()調(diào)用產(chǎn)生了StopIteration異常，委派生產(chǎn)器恢復(fù)并繼續(xù)執(zhí)行，其他異常則傳遞給委派生產(chǎn)器。
- 如果GeneratorExit異常被拋給委派生產(chǎn)器，或者委派生產(chǎn)器的close()方法被調(diào)用，如果迭代器有close()的話也將被調(diào)用。如果close()調(diào)用產(chǎn)生異常，異常將傳遞給委派生產(chǎn)器。否則，委派生產(chǎn)器將拋出GeneratorExit 異常。
- 當(dāng)?shù)鹘Y(jié)束并拋出異常時(shí)，yield from表達(dá)式的值是其StopIteration 異常中的第一個(gè)參數(shù)。
- 一個(gè)生成器中的return expr語(yǔ)句將會(huì)從生成器退出并拋出 StopIteration(expr)異常。
沒(méi)興趣看的同學(xué)，只要知道，yield from幫我們做了很多的異常處理，而且全面，而這些如果我們要自己去實(shí)現(xiàn)的話，一個(gè)是編寫代碼難度增加，寫出來(lái)的代碼可讀性極差，這些我們就不說(shuō)了，最主要的是很可能有遺漏，只要哪個(gè)異常沒(méi)考慮到，都有可能導(dǎo)致程序崩潰什么的
到此這篇關(guān)于深入了解Python中yield from語(yǔ)法的使用的文章就介紹到這了,更多相關(guān)Python yield from語(yǔ)法內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
python GUI庫(kù)圖形界面開(kāi)發(fā)之PyQt5窗口布局控件QStackedWidget詳細(xì)使用方法
這篇文章主要介紹了python GUI庫(kù)圖形界面開(kāi)發(fā)之PyQt5窗口布局控件QStackedWidget詳細(xì)使用方法,需要的朋友可以參考下2020-02-02
python實(shí)現(xiàn)socket+threading處理多連接的方法
今天小編就為大家分享一篇python實(shí)現(xiàn)socket+threading處理多連接的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07
用Python進(jìn)行柵格數(shù)據(jù)的分區(qū)統(tǒng)計(jì)和批量提取
該教程其實(shí)源于web，我看到之后覺(jué)得很實(shí)用，于是自己又重復(fù)做了一遍，寫了詳細(xì)的注釋分享給大家，希望對(duì)大家的研究有幫助，本文講述了柵格的分區(qū)統(tǒng)計(jì)，批量提取，深化理解遍歷循環(huán)等內(nèi)容2021-05-05
python中的不可變數(shù)據(jù)類型與可變數(shù)據(jù)類型詳解
探尋python的數(shù)據(jù)類型是否可變，也可以更好的理解python對(duì)內(nèi)存的使用情況，下面這篇文章主要給大家介紹了關(guān)于python中不可變數(shù)據(jù)類型與可變數(shù)據(jù)類型的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，需要的朋友可以參考下2018-09-09
編程的樂(lè)趣之一是想辦法讓程序執(zhí)行的越來(lái)越快,代碼越寫越優(yōu)雅,這篇文章主要給大家介紹了關(guān)于Python并發(fā)編程實(shí)例教程之線程的相關(guān)資料,需要的朋友可以參考下2021-06-06
這篇文章主要介紹了編程語(yǔ)言Python的發(fā)展史,本文詳細(xì)介紹了Python語(yǔ)言的發(fā)展歷史,需要的朋友可以參考下2014-09-09
python selenium禁止加載某些請(qǐng)求的實(shí)現(xiàn)
本文主要介紹了python selenium禁止加載某些請(qǐng)求的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-01-01
這篇文章主要介紹了Django之騰訊云短信的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-06-06
python3應(yīng)用windows api對(duì)后臺(tái)程序窗口及桌面截圖并保存的方法
今天小編就為大家分享一篇python3應(yīng)用windows api對(duì)后臺(tái)程序窗口及桌面截圖并保存的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-08-08
這篇文章主要介紹了在Python中操作字符串之rstrip()方法的使用,是Python入門中的基礎(chǔ)知識(shí),需要的朋友可以參考下2015-05-05