python中asyncio異步編程學(xué)習(xí)
1. 想學(xué)asyncio,得先了解協(xié)程
攜程的意義:
- 計(jì)算型的操作,利用協(xié)程來回切換執(zhí)行,沒有任何意義,來回切換并保存狀態(tài) 反倒會(huì)降低性能。
- IO型的操作,利用協(xié)程在IO等待時(shí)間就去切換執(zhí)行其他任務(wù),當(dāng)IO操作結(jié)束后再自動(dòng)回調(diào),那么就會(huì)大大節(jié)省資源并提供性能,從而實(shí)現(xiàn)異步編程(不等待任務(wù)結(jié)束就可以去執(zhí)行其他代碼
2.協(xié)程和多線程之間的共同點(diǎn)和區(qū)別:
共同點(diǎn):
都是并發(fā)操作,多線程同一時(shí)間點(diǎn)只能有一個(gè)線程在執(zhí)行,協(xié)程同一時(shí)間點(diǎn)只能有一個(gè)任務(wù)在執(zhí)行;
不同點(diǎn):
多線程,是在I/O阻塞時(shí)通過切換線程來達(dá)到并發(fā)的效果,在什么情況下做線程切換是由操作系統(tǒng)來決定的,開發(fā)者不用操心,但會(huì)造成競(jìng)爭(zhēng)條件 (race condition) ;
協(xié)程,只有一個(gè)線程,在I/O阻塞時(shí)通過在線程內(nèi)切換任務(wù)來達(dá)到并發(fā)的效果,在什么情況下做任務(wù)切換是開發(fā)者決定的,不會(huì)有競(jìng)爭(zhēng)條件 (race condition) 的情況;多線程的線程切換比協(xié)程的任務(wù)切換開銷更大;
對(duì)于開發(fā)者而言,多線程并發(fā)的代碼比協(xié)程并發(fā)的更容易書寫。
一般情況下協(xié)程并發(fā)的處理效率比多線程并發(fā)更高。
3. greenlet實(shí)現(xiàn)協(xié)程
greenlet用于創(chuàng)建協(xié)程,switch用于進(jìn)行協(xié)程之間的切換某個(gè)協(xié)程在執(zhí)行的過程中可以隨時(shí)的被其他協(xié)程通過switch函數(shù)來打斷,轉(zhuǎn)而去執(zhí)行其他協(xié)程,當(dāng)前協(xié)程的中斷現(xiàn)場(chǎng)會(huì)被保留,一旦中斷的協(xié)程再次獲得cpu的執(zhí)行權(quán)首先會(huì)恢復(fù)現(xiàn)場(chǎng)然后從中斷處繼續(xù)執(zhí)行這種機(jī)制下的協(xié)程是同步,不能并發(fā)
pip install greenlet
import time import greenlet def func1(): print("func11") gr2.switch() time.sleep(1) print("func22") gr2.switch() def func2(): print("func33") gr1.switch() time.sleep(1) print("func44") start = time.time() gr1 = greenlet.greenlet(func1) gr2 = greenlet.greenlet(func2) gr1.switch() end = time.time() print(end - start)
4. yield關(guān)鍵字實(shí)現(xiàn)協(xié)程
def func1(): yield 1 yield from func2() yield 3 def func2(): yield 2 yield 4 ff = func1() for item in ff: print(item)
5.gevent協(xié)程
(1)gevent實(shí)現(xiàn)協(xié)程
pip install gevent
from greenlet import greenlet from time import sleep def func1(): print("協(xié)程1") sleep(2) g2.switch() print("協(xié)程1恢復(fù)運(yùn)行") def func2(): print("協(xié)程2") sleep(1) g3.switch() def func3(): print("協(xié)程3") sleep(1) g1.switch() if __name__ == '__main__': # 使用greenlet來創(chuàng)建三個(gè)協(xié)程 g1 = greenlet(func1) g2 = greenlet(func2) g3 = greenlet(func3) # print(g1) g1.switch() # 讓協(xié)程g1取搶占cpu資源
(2) gevent實(shí)現(xiàn)異步協(xié)程
# 協(xié)程被創(chuàng)建出來以后默認(rèn)是多個(gè)協(xié)程同步執(zhí)行 # 我們可以加入monkey補(bǔ)丁,把同步的協(xié)程轉(zhuǎn)成異步協(xié)程 from gevent import monkey # 注意:monkey的引入必須在其他模塊之前 monkey.patch_all() # 用monkey給整個(gè)協(xié)程隊(duì)列,添加一個(gè)非阻塞I/O的補(bǔ)丁,使得他們成為異步協(xié)程 import time import requests import gevent headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} def func(url, i): print("協(xié)程%d開啟!" % i) res = requests.get(url=url, headers=headers) html = res.text print("協(xié)程%d執(zhí)行結(jié)束,獲取到的響應(yīng)體大小為:%d" % (i, len(html))) if __name__ == '__main__': start = time.time() urls = [ "https://www.baidu.com/", "https://www.qq.com/", "https://www.sina.com.cn", "https://www.ifeng.com/", "https://www.163.com/" ] # 創(chuàng)建5個(gè)協(xié)程分別對(duì)上面5個(gè)網(wǎng)站進(jìn)行訪問 g_list = [] for i in range(len(urls)): g = gevent.spawn(func, urls[i], i) g_list.append(g) # func(urls[i], i) gevent.joinall(g_list) end = time.time() print(end - start)
6. asyncio模塊實(shí)現(xiàn)異步協(xié)程
在python3.4及之后的版本使用,asyncio厲害之處在于:遇到IO操作時(shí)會(huì)自動(dòng)切換執(zhí)行其它任務(wù)
import time import asyncio @asyncio.coroutine def func1(): print(1) yield from asyncio.sleep(1) # 遇到IO耗時(shí)操作,自動(dòng)切換到tasks中的其它任務(wù) print(2) @asyncio.coroutine def func2(): print(3) yield from asyncio.sleep(1) # 遇到IO耗時(shí)操作,自動(dòng)切換到tasks中的其它任務(wù) print(4) tasks = [ asyncio.ensure_future(func1()), asyncio.ensure_future(func2()) ] start = time.time() loop = asyncio.get_event_loop() loop.run_until_complete(asyncio.wait(tasks)) end = time.time() print(end - start)
7. asyc & await關(guān)鍵字實(shí)現(xiàn)異步編程(現(xiàn)在推薦使用的用法)
在python3.5及之后的版本中可以使用
import time import asyncio async def func1(): print(1) await asyncio.sleep(1) print(2) async def func2(): print(3) await asyncio.sleep(1) print(4) tasks = [ asyncio.ensure_future(func1()), asyncio.ensure_future(func2()) ] start = time.time() loop = asyncio.get_event_loop() loop.run_until_complete(asyncio.wait(tasks)) end = time.time() print(end - start)
7.1 事件循環(huán)
事件循環(huán),可以把他當(dāng)做是一個(gè)while循環(huán),這個(gè)while循環(huán)在周期性的運(yùn)行并執(zhí)行一些任務(wù)
,在特定條件下終止循環(huán)。
偽代碼:
# 偽代碼 任務(wù)列表 = [ 任務(wù)1, 任務(wù)2, 任務(wù)3,... ] while True: 可執(zhí)行的任務(wù)列表,已完成的任務(wù)列表 = 去任務(wù)列表中檢查所有的任務(wù),將'可執(zhí)行'和'已完成'的任務(wù)返回 for 就緒任務(wù) in 已準(zhǔn)備就緒的任務(wù)列表: 執(zhí)行已就緒的任務(wù) for 已完成的任務(wù) in 已完成的任務(wù)列表: 在任務(wù)列表中移除 已完成的任務(wù) 如果 任務(wù)列表 中的任務(wù)都已完成,則終止循環(huán)
7.2 協(xié)程和異步編程
協(xié)程函數(shù),定義形式為 async def
的函數(shù)。
協(xié)程對(duì)象,調(diào)用 協(xié)程函數(shù) 所返回的對(duì)象。
# 定義一個(gè)協(xié)程函數(shù) async def func(): pass # 調(diào)用協(xié)程函數(shù),返回一個(gè)協(xié)程對(duì)象 result = func()
注意:調(diào)用協(xié)程函數(shù)時(shí),函數(shù)內(nèi)部代碼不會(huì)執(zhí)行,只是會(huì)返回一個(gè)協(xié)程對(duì)象。
7.3 基本應(yīng)用
程序中,如果想要執(zhí)行協(xié)程函數(shù)的內(nèi)部代碼,需要 事件循環(huán)
和 協(xié)程對(duì)象
配合才能實(shí)現(xiàn),如:
import asyncio async def func(): print("協(xié)程內(nèi)部代碼") # 調(diào)用協(xié)程函數(shù),返回一個(gè)協(xié)程對(duì)象。 result = func() # 方式一 # loop = asyncio.get_event_loop() # 創(chuàng)建一個(gè)事件循環(huán) # loop.run_until_complete(result) # 將協(xié)程當(dāng)做任務(wù)提交到事件循環(huán)的任務(wù)列表中,協(xié)程執(zhí)行完成之后終止。 # 方式二 # 本質(zhì)上方式一是一樣的,內(nèi)部先 創(chuàng)建事件循環(huán) 然后執(zhí)行 run_until_complete,一個(gè)簡便的寫法。 # asyncio.run 函數(shù)在 Python 3.7 中加入 asyncio 模塊, asyncio.run(result)
這個(gè)過程可以簡單理解為:將協(xié)程
當(dāng)做任務(wù)添加到 事件循環(huán)
的任務(wù)列表,然后事件循環(huán)檢測(cè)列表中的協(xié)程
是否 已準(zhǔn)備就緒(默認(rèn)可理解為就緒狀態(tài)),如果準(zhǔn)備就緒則執(zhí)行其內(nèi)部代碼。
7.4 await關(guān)鍵字
await是一個(gè)只能在協(xié)程函數(shù)中使用的關(guān)鍵字,用于遇到IO操作時(shí)掛起 當(dāng)前協(xié)程(任務(wù)),當(dāng)前協(xié)程(任務(wù))掛起過程中 事件循環(huán)可以去執(zhí)行其他的協(xié)程(任務(wù)),當(dāng)前協(xié)程IO處理完成時(shí),可以再次切換回來執(zhí)行await之后的代碼,
await + 可等待對(duì)象(協(xié)程對(duì)象、Future對(duì)象、Task對(duì)象)
示例1:await+協(xié)程對(duì)象
import asyncio async def func1(): print("start") await asyncio.sleep(1) print("end") return "func1執(zhí)行完畢" async def func2(): print("func2開始執(zhí)行") # await關(guān)鍵字后面可以跟可等待對(duì)象(協(xié)程對(duì)象、Future對(duì)象、Task對(duì)象) response = await func1() print(response) print("func2執(zhí)行完畢") asyncio.run(func2())
示例2: 協(xié)程函數(shù)中可以使用多次await關(guān)鍵字
import asyncio async def func1(): print("start") await asyncio.sleep(1) print("end") return "func1執(zhí)行完畢" async def func2(): print("func2開始執(zhí)行") # await關(guān)鍵字后面可以跟可等待對(duì)象(協(xié)程對(duì)象、Future對(duì)象、Task對(duì)象) response = await func1() print(response) response2 = await func1() print(response2) print("func2執(zhí)行完畢") asyncio.run(func2())
7.5 task對(duì)象
Tasks用于并發(fā)調(diào)度協(xié)程,通過asyncio.create_task(協(xié)程對(duì)象)
的方式創(chuàng)建Task對(duì)象,這樣可以讓協(xié)程加入事件循環(huán)中等待被調(diào)度執(zhí)行。除了使用 asyncio.create_task()
函數(shù)以外,還可以用低層級(jí)的 loop.create_task()
或 ensure_future()
函數(shù)。不建議手動(dòng)實(shí)例化 Task 對(duì)象。
本質(zhì)上是將協(xié)程對(duì)象封裝成task對(duì)象,并將協(xié)程立即加入事件循環(huán),同時(shí)追蹤協(xié)程的狀態(tài)。
注意:asyncio.create_task()
函數(shù)在 Python 3.7 中被加入。在 Python 3.7 之前,可以改用低層級(jí)的 asyncio.ensure_future()
函數(shù)。
示例1:
import asyncio async def func(): print(1) await asyncio.sleep(1) print(2) return "func的返回值" async def main(): print(3) # 創(chuàng)建協(xié)程,將協(xié)程封裝到一個(gè)task對(duì)象中并立即添加到事件循環(huán)列表中,等待事件循環(huán)去執(zhí)行,(默認(rèn)是就緒狀態(tài)) task1 = asyncio.create_task(func()) # 創(chuàng)建協(xié)程,將協(xié)程封裝到一個(gè)task對(duì)象中并立即添加到事件循環(huán)列表中,等待事件循環(huán)去執(zhí)行,(默認(rèn)是就緒狀態(tài)) task2 = asyncio.create_task(func()) # 當(dāng)執(zhí)行某協(xié)程遇到IO操作時(shí),會(huì)自動(dòng)化切換執(zhí)行其他任務(wù)。 # 此處的await是等待相對(duì)應(yīng)的協(xié)程全都執(zhí)行完畢并獲取結(jié)果 ret1 = await task1 ret2 = await task2 print(ret1, ret2) asyncio.run(main())
示例2:用的還是比較多的
import asyncio async def func(): print(1) await asyncio.sleep(1) print(2) return "func的返回值" async def main(): print(3) # 創(chuàng)建協(xié)程,將協(xié)程封裝到Task對(duì)象中并添加到事件循環(huán)的任務(wù)列表中,等待事件循環(huán)去執(zhí)行(默認(rèn)是就緒狀態(tài))。 # 在調(diào)用 task_list = [ asyncio.create_task(func()), asyncio.create_task(func()) ] # 當(dāng)執(zhí)行某協(xié)程遇到IO操作時(shí),會(huì)自動(dòng)化切換執(zhí)行其他任務(wù)。 # 此處的await是等待所有協(xié)程執(zhí)行完畢,并將所有協(xié)程的返回值保存到done # 如果設(shè)置了timeout值,則意味著此處最多等待的秒,完成的協(xié)程返回值寫入到done中,未完成則寫到pending中。 done, pending = await asyncio.wait(task_list, timeout=None) print(done) print(pending) asyncio.run(main())
示例3:
import asyncio async def func(): print("執(zhí)行協(xié)程函數(shù)內(nèi)部代碼") # 遇到IO操作掛起當(dāng)前協(xié)程(任務(wù)),等IO操作完成之后再繼續(xù)往下執(zhí)行。當(dāng)前協(xié)程掛起時(shí),事件循環(huán)可以去執(zhí)行其他協(xié)程(任務(wù))。 response = await asyncio.sleep(2) print("IO請(qǐng)求結(jié)束,結(jié)果為:", response) coroutine_list = [func(), func()] # 錯(cuò)誤:coroutine_list = [ asyncio.create_task(func()), asyncio.create_task(func()) ] # 此處不能直接 asyncio.create_task,因?yàn)閷ask立即加入到事件循環(huán)的任務(wù)列表, # 但此時(shí)事件循環(huán)還未創(chuàng)建,所以會(huì)報(bào)錯(cuò)。 # 使用asyncio.wait將列表封裝為一個(gè)協(xié)程,并調(diào)用asyncio.run實(shí)現(xiàn)執(zhí)行兩個(gè)協(xié)程 # asyncio.wait內(nèi)部會(huì)對(duì)列表中的每個(gè)協(xié)程執(zhí)行ensure_future,封裝為Task對(duì)象。 done, pending = asyncio.run(asyncio.wait(coroutine_list))
總結(jié):
在程序中只要看到async
和await
關(guān)鍵字,其內(nèi)部就是基于協(xié)程實(shí)現(xiàn)的異步編程,這種異步編程是通過一個(gè)線程在IO等待時(shí)間去執(zhí)行其他任務(wù),從而實(shí)現(xiàn)并發(fā)。
如果是 I/O 密集型,且 I/O 請(qǐng)求比較耗時(shí)的話,使用協(xié)程。
如果是 I/O 密集型,且 I/O 請(qǐng)求比較快的話,使用多線程。
如果是 計(jì)算 密集型,考慮可以使用多核 CPU,使用多進(jìn)程。
以上就是python中asyncio異步編程學(xué)習(xí)的詳細(xì)內(nèi)容,更多關(guān)于python中使用asyncio的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
Python unittest裝飾器實(shí)現(xiàn)原理及代碼
這篇文章主要介紹了Python unittest裝飾器實(shí)現(xiàn)原理及代碼,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-09-09Python動(dòng)態(tài)規(guī)劃實(shí)現(xiàn)虛擬機(jī)部署的算法思想
這篇文章主要介紹了Python動(dòng)態(tài)規(guī)劃實(shí)現(xiàn)虛擬機(jī)部署的算法思想,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-07-07Pycharm2017版本設(shè)置啟動(dòng)時(shí)默認(rèn)自動(dòng)打開項(xiàng)目的方法
今天小編就為大家分享一篇Pycharm2017版本設(shè)置啟動(dòng)時(shí)默認(rèn)自動(dòng)打開項(xiàng)目的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-10-10Python基于Dlib的人臉識(shí)別系統(tǒng)的實(shí)現(xiàn)
這篇文章主要介紹了Python基于Dlib的人臉識(shí)別系統(tǒng)的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02Python編程中對(duì)文件和存儲(chǔ)器的讀寫示例
這篇文章主要介紹了Python編程中對(duì)文件和存儲(chǔ)器的讀寫示例,包括使用cPickle儲(chǔ)存器存儲(chǔ)對(duì)象的例子,需要的朋友可以參考下2016-01-01python3實(shí)現(xiàn)字符串的全排列的方法(無重復(fù)字符)
這篇文章主要介紹了python3實(shí)現(xiàn)字符串的全排列的方法(無重復(fù)字符),小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-07-07python完成FizzBuzzWhizz問題(拉勾網(wǎng)面試題)示例
這篇文章主要介紹了python完成FizzBuzzWhizz問題(拉勾網(wǎng)面試題)示例,需要的朋友可以參考下2014-05-05