深入了解Python中yield?from語法的使用
1. 為什么要使用協(xié)程
在上一篇中,我們從生成器的基本認識與使用,成功過渡到了協(xié)程。
但一定有許多人,只知道協(xié)程是個什么東西,但并不知道為什么要用協(xié)程?換句話來說,并不知道在什么情況下用協(xié)程? 它相比多線程來說,有哪些過人之處呢?
在開始講yield from 之前,我想先解決一下這個給很多人帶來困惑的問題。
舉個例子。 假如我們做一個爬蟲。我們要爬取多個網(wǎng)頁,這里簡單舉例兩個網(wǎng)頁(兩個spider函數(shù)),獲取HTML(耗IO耗時),然后再對HTML對行解析取得我們感興趣的數(shù)據(jù)。
我們的代碼結(jié)構(gòu)精簡如下:
def spider_01(url): html = get_html(url) ... data = parse_html(html) def spider_02(url): html = get_html(url) ... data = parse_html(html)
我們都知道,get_html()
等待返回網(wǎng)頁是非常耗IO的,一個網(wǎng)頁還好,如果我們爬取的網(wǎng)頁數(shù)據(jù)極其龐大,這個等待時間就非常驚人,是極大的浪費。
聰明的程序員,當然會想如果能在get_html()
這里暫停一下,不用傻乎乎地去等待網(wǎng)頁返回,而是去做別的事。等過段時間再回過頭來到剛剛暫停的地方,接收返回的html內(nèi)容,然后還可以接下去解析parse_html(html)
。
利用常規(guī)的方法,幾乎是沒辦法實現(xiàn)如上我們想要的效果的。所以Python想得很周到,從語言本身給我們實現(xiàn)了這樣的功能,這就是yield
語法。可以實現(xiàn)在某一函數(shù)中暫停的效果。
試著思考一下,假如沒有協(xié)程,我們要寫一個并發(fā)程序??赡苡幸韵聠栴}
1. 使用最常規(guī)的同步編程要實現(xiàn)異步并發(fā)效果并不理想,或者難度極高。
2. 由于GIL鎖的存在,多線程的運行需要頻繁的加鎖解鎖,切換線程,這極大地降低了并發(fā)性能;
而協(xié)程的出現(xiàn),剛好可以解決以上的問題。它的特點有
1. 協(xié)程是在單線程里實現(xiàn)任務(wù)的切換的
2. 利用同步的方式去實現(xiàn)異步
3. 不再需要鎖,提高了并發(fā)性能
2. yield from的用法詳解
yield from
是在Python3.3才出現(xiàn)的語法。所以這個特性在Python2中是沒有的。
yield from
后面需要加的是可迭代對象,它可以是普通的可迭代對象,也可以是迭代器,甚至是生成器。
2.1 簡單應(yīng)用:拼接可迭代對象
我們可以用一個使用yield
和一個使用yield from
的例子來對比看下。
使用yield
# 字符串 astr='ABC' # 列表 alist=[1,2,3] # 字典 adict={"name":"wangbm","age":18} # 生成器 agen=(i for i in range(4,8)) def gen(*args, **kw): for item in args: for i in item: yield i new_list=gen(astr, alist, adict, agen) print(list(new_list)) # ['A', 'B', 'C', 1, 2, 3, 'name', 'age', 4, 5, 6, 7]
使用yield from
# 字符串 astr='ABC' # 列表 alist=[1,2,3] # 字典 adict={"name":"wangbm","age":18} # 生成器 agen=(i for i in range(4,8)) def gen(*args, **kw): for item in args: yield from item new_list=gen(astr, alist, adict, agen) print(list(new_list)) # ['A', 'B', 'C', 1, 2, 3, 'name', 'age', 4, 5, 6, 7]
由上面兩種方式對比,可以看出,yield from后面加上可迭代對象,他可以把可迭代對象里的每個元素一個一個的yield出來,對比yield來說代碼更加簡潔,結(jié)構(gòu)更加清晰。
2.2 復(fù)雜應(yīng)用:生成器的嵌套
如果你認為只是 yield from
僅僅只有上述的功能的話,那你就太小瞧了它,它的更強大的功能還在后面。
當 yield from
后面加上一個生成器后,就實現(xiàn)了生成的嵌套。
當然實現(xiàn)生成器的嵌套,并不是一定必須要使用yield from
,而是使用yield from
可以讓我們避免讓我們自己處理各種料想不到的異常,而讓我們專注于業(yè)務(wù)代碼的實現(xiàn)。
如果自己用yield
去實現(xiàn),那只會加大代碼的編寫難度,降低開發(fā)效率,降低代碼的可讀性。既然Python已經(jīng)想得這么周到,我們當然要好好利用起來。
講解它之前,首先要知道這個幾個概念 >1、調(diào)用方
:調(diào)用委派生成器的客戶端(調(diào)用方)代碼 >2、委托生成器
:包含yield from表達式的生成器函數(shù) >3、子生成器
:yield from后面加的生成器函數(shù)
你可能不知道他們都是什么意思,沒關(guān)系,來看下這個例子。
這個例子,是實現(xiàn)實時計算平均值的。 比如,第一次傳入10,那返回平均數(shù)自然是10. 第二次傳入20,那返回平均數(shù)是(10+20)/2=15 第三次傳入30,那返回平均數(shù)(10+20+30)/3=20
# 子生成器 def average_gen(): total = 0 count = 0 average = 0 while True: new_num = yield average count += 1 total += new_num average = total/count # 委托生成器 def proxy_gen(): while True: yield from average_gen() # 調(diào)用方 def main(): calc_average = proxy_gen() next(calc_average) # 預(yù)激下生成器 print(calc_average.send(10)) # 打印:10.0 print(calc_average.send(20)) # 打?。?5.0 print(calc_average.send(30)) # 打印:20.0 if __name__ == '__main__': main()
認真閱讀以上代碼,你應(yīng)該很容易能理解,調(diào)用方、委托生成器、子生成器之間的關(guān)系。我就不多說了
委托生成器的作用是:在調(diào)用方與子生成器之間建立一個雙向通道
。
所謂的雙向通道是什么意思呢? 調(diào)用方可以通過send()
直接發(fā)送消息給子生成器,而子生成器yield的值,也是直接返回給調(diào)用方。
你可能會經(jīng)??吹接行┐a,還可以在yield from
前面看到可以賦值。這是什么用法?
你可能會以為,子生成器yield回來的值,被委托生成器給攔截了。你可以親自寫個demo運行試驗一下,并不是你想的那樣。 因為我們之前說了,委托生成器,只起一個橋梁作用,它建立的是一個雙向通道
,它并沒有權(quán)利也沒有辦法,對子生成器yield回來的內(nèi)容做攔截。
為了解釋這個用法,我還是用上述的例子,并對其進行了一些改造。添加了一些注釋,希望你能看得明白。
按照慣例,我們還是舉個例子。
# 子生成器 def average_gen(): total = 0 count = 0 average = 0 while True: new_num = yield average if new_num is None: break count += 1 total += new_num average = total/count # 每一次return,都意味著當前協(xié)程結(jié)束。 return total,count,average # 委托生成器 def proxy_gen(): while True: # 只有子生成器要結(jié)束(return)了,yield from左邊的變量才會被賦值,后面的代碼才會執(zhí)行。 total, count, average = yield from average_gen() print("計算完畢??!\n總共傳入 {} 個數(shù)值, 總和:{},平均數(shù):{}".format(count, total, average)) # 調(diào)用方 def main(): calc_average = proxy_gen() next(calc_average) # 預(yù)激協(xié)程 print(calc_average.send(10)) # 打?。?0.0 print(calc_average.send(20)) # 打印:15.0 print(calc_average.send(30)) # 打?。?0.0 calc_average.send(None) # 結(jié)束協(xié)程 # 如果此處再調(diào)用calc_average.send(10),由于上一協(xié)程已經(jīng)結(jié)束,將重開一協(xié)程 if __name__ == '__main__': main()
運行后,輸出
10.0
15.0
20.0
計算完畢??!
總共傳入 3 個數(shù)值, 總和:60,平均數(shù):20.0
3. 為什么要使用yield from
學(xué)到這里,我相信你肯定要問,既然委托生成器,起到的只是一個雙向通道的作用,我還需要委托生成器做什么?我調(diào)用方直接調(diào)用子生成器不就好啦?
高能預(yù)警~~~
下面我們來一起探討一下,到底yield from 有什么過人之處,讓我們非要用它不可。
3.1 因為它可以幫我們處理異常
如果我們?nèi)サ粑猩善?,而直接調(diào)用子生成器。那我們就需要把代碼改成像下面這樣,我們需要自己捕獲異常并處理。而不像使yield from
那樣省心。
# 子生成器 # 子生成器 def average_gen(): total = 0 count = 0 average = 0 while True: new_num = yield average if new_num is None: break count += 1 total += new_num average = total/count return total,count,average # 調(diào)用方 def main(): calc_average = average_gen() next(calc_average) # 預(yù)激協(xié)程 print(calc_average.send(10)) # 打?。?0.0 print(calc_average.send(20)) # 打?。?5.0 print(calc_average.send(30)) # 打印:20.0 # ----------------注意----------------- try: calc_average.send(None) except StopIteration as e: total, count, average = e.value print("計算完畢??!\n總共傳入 {} 個數(shù)值, 總和:{},平均數(shù):{}".format(count, total, average)) # ----------------注意----------------- if __name__ == '__main__': main()
此時的你,可能會說,不就一個StopIteration
的異常嗎?自己捕獲也沒什么大不了的。
你要是知道yield from
在背后為我們默默無聞地做了哪些事,你就不會這樣說了。
具體yield from
為我們做了哪些事,可以參考如下這段代碼。
#一些說明 """ _i:子生成器,同時也是一個迭代器 _y:子生成器生產(chǎn)的值 _r:yield from 表達式最終的值 _s:調(diào)用方通過send()發(fā)送的值 _e:異常對象 """ _i = iter(EXPR) try: _y = next(_i) except StopIteration as _e: _r = _e.value else: while 1: try: _s = yield _y except GeneratorExit as _e: try: _m = _i.close except AttributeError: pass else: _m() raise _e except BaseException as _e: _x = sys.exc_info() try: _m = _i.throw except AttributeError: raise _e else: try: _y = _m(*_x) except StopIteration as _e: _r = _e.value break else: try: if _s is None: _y = next(_i) else: _y = _i.send(_s) except StopIteration as _e: _r = _e.value break RESULT = _r
以上的代碼,稍微有點復(fù)雜,有興趣的同學(xué)可以結(jié)合以下說明去研究看看。
- 迭代器(即可指子生成器)產(chǎn)生的值直接返還給調(diào)用者
- 任何使用send()方法發(fā)給委派生產(chǎn)器(即外部生產(chǎn)器)的值被直接傳遞給迭代器。如果send值是None,則調(diào)用迭代器next()方法;如果不為None,則調(diào)用迭代器的send()方法。如果對迭代器的調(diào)用產(chǎn)生StopIteration異常,委派生產(chǎn)器恢復(fù)繼續(xù)執(zhí)行yield from后面的語句;若迭代器產(chǎn)生其他任何異常,則都傳遞給委派生產(chǎn)器。
- 子生成器可能只是一個迭代器,并不是一個作為協(xié)程的生成器,所以它不支持.throw()和.close()方法,即可能會產(chǎn)生AttributeError 異常。
- 除了GeneratorExit 異常外的其他拋給委派生產(chǎn)器的異常,將會被傳遞到迭代器的throw()方法。如果迭代器throw()調(diào)用產(chǎn)生了StopIteration異常,委派生產(chǎn)器恢復(fù)并繼續(xù)執(zhí)行,其他異常則傳遞給委派生產(chǎn)器。
- 如果GeneratorExit異常被拋給委派生產(chǎn)器,或者委派生產(chǎn)器的close()方法被調(diào)用,如果迭代器有close()的話也將被調(diào)用。如果close()調(diào)用產(chǎn)生異常,異常將傳遞給委派生產(chǎn)器。否則,委派生產(chǎn)器將拋出GeneratorExit 異常。
- 當?shù)鹘Y(jié)束并拋出異常時,yield from表達式的值是其StopIteration 異常中的第一個參數(shù)。
- 一個生成器中的return expr語句將會從生成器退出并拋出 StopIteration(expr)異常。
沒興趣看的同學(xué),只要知道,yield from
幫我們做了很多的異常處理,而且全面,而這些如果我們要自己去實現(xiàn)的話,一個是編寫代碼難度增加,寫出來的代碼可讀性極差,這些我們就不說了,最主要的是很可能有遺漏,只要哪個異常沒考慮到,都有可能導(dǎo)致程序崩潰什么的
到此這篇關(guān)于深入了解Python中yield from語法的使用的文章就介紹到這了,更多相關(guān)Python yield from語法內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
python GUI庫圖形界面開發(fā)之PyQt5窗口布局控件QStackedWidget詳細使用方法
這篇文章主要介紹了python GUI庫圖形界面開發(fā)之PyQt5窗口布局控件QStackedWidget詳細使用方法,需要的朋友可以參考下2020-02-02python實現(xiàn)socket+threading處理多連接的方法
今天小編就為大家分享一篇python實現(xiàn)socket+threading處理多連接的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07用Python進行柵格數(shù)據(jù)的分區(qū)統(tǒng)計和批量提取
該教程其實源于web,我看到之后覺得很實用,于是自己又重復(fù)做了一遍,寫了詳細的注釋分享給大家,希望對大家的研究有幫助,本文講述了柵格的分區(qū)統(tǒng)計,批量提取,深化理解遍歷循環(huán)等內(nèi)容2021-05-05python中的不可變數(shù)據(jù)類型與可變數(shù)據(jù)類型詳解
探尋python的數(shù)據(jù)類型是否可變,也可以更好的理解python對內(nèi)存的使用情況,下面這篇文章主要給大家介紹了關(guān)于python中不可變數(shù)據(jù)類型與可變數(shù)據(jù)類型的相關(guān)資料,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下2018-09-09python selenium禁止加載某些請求的實現(xiàn)
本文主要介紹了python selenium禁止加載某些請求的實現(xiàn),文中通過示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下2022-01-01python3應(yīng)用windows api對后臺程序窗口及桌面截圖并保存的方法
今天小編就為大家分享一篇python3應(yīng)用windows api對后臺程序窗口及桌面截圖并保存的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08