python進(jìn)階之協(xié)程你了解嗎
協(xié)程的定義
協(xié)程(Coroutine
),又稱微線程,纖程。(協(xié)程是一種用戶態(tài)的輕量級(jí)線程)
作用:在執(zhí)行 A 函數(shù)的時(shí)候,可以隨時(shí)中斷,去執(zhí)行 B 函數(shù),然后中斷B函數(shù),繼續(xù)執(zhí)行 A 函數(shù) (可以自動(dòng)切換),但這一過(guò)程并不是函數(shù)調(diào)用(沒(méi)有調(diào)用語(yǔ)句),過(guò)程很像多線程,然而協(xié)程只有一個(gè)線程在執(zhí)行
通俗的理解:在一個(gè)線程中的某個(gè)函數(shù),可以在任何地方保存當(dāng)前函數(shù)的一些臨時(shí)變量等信息,然后切換到另外一個(gè)函數(shù)中執(zhí)行,注意不是通過(guò)調(diào)用函數(shù)的方式做到的,并且切換的次數(shù)以及什么時(shí)候再切換到原來(lái)的函數(shù)都由開(kāi)發(fā)者自己確定
協(xié)程和線程差異
在實(shí)現(xiàn)多任務(wù)時(shí), 線程切換從系統(tǒng)層面遠(yuǎn)不止保存和恢復(fù) CPU上下文這么簡(jiǎn)單。 操作系統(tǒng)為了程序運(yùn)行的高效性每個(gè)線程都有自己緩存Cache等等數(shù)據(jù),操作系統(tǒng)還會(huì)幫你做這些數(shù)據(jù)的恢復(fù)操作。 所以線程的切換非常耗性能。但是協(xié)程的切換只是單純的操作CPU的上下文
,所以一秒鐘切換個(gè)上百萬(wàn)次系統(tǒng)都抗的住。
協(xié)程的標(biāo)準(zhǔn)
必須在只有一個(gè)單線程里實(shí)現(xiàn)并發(fā)
- 修改共享數(shù)據(jù)不需加鎖
- 用戶程序里自己保存多個(gè)控制流的上下文棧
- 一個(gè)協(xié)程遇到 IO 操作自動(dòng)切換到其它協(xié)程
協(xié)程的優(yōu)點(diǎn)
- 由于自身帶有上下文和棧,無(wú)需線程上下文切換的開(kāi)銷(xiāo),屬于程序級(jí)別的切換,操作系統(tǒng)完全感知不到,因而更加輕量級(jí)
- 無(wú)需原子操作的鎖定及同步的開(kāi)銷(xiāo)
- 方便切換控制流,簡(jiǎn)化編程模型
- 單線程內(nèi)就可以實(shí)現(xiàn)并發(fā)的效果,最大限度地利用 cpu,且可擴(kuò)展性高,成本低
協(xié)程的缺點(diǎn)
- 無(wú)法利用多核資源:協(xié)程的本質(zhì)是個(gè)單線程,它不能同時(shí)將 單個(gè) CPU 的多個(gè)核用上,協(xié)程需要和進(jìn)程配合才能運(yùn)行在多 CPU 上
- 進(jìn)行阻塞(Blocking)操作(如 IO 時(shí))會(huì)阻塞掉整個(gè)程序
- 計(jì)算型的操作,利用協(xié)程來(lái)回切換執(zhí)行,沒(méi)有任何意義,來(lái)回切換并保存狀態(tài) 反倒會(huì)降低性能。
python中實(shí)現(xiàn)協(xié)程的方式
greenlet
,是一個(gè)第三方模塊,用于實(shí)現(xiàn)協(xié)程代碼(Gevent協(xié)程就是基于greenlet實(shí)現(xiàn))yield
,生成器,借助生成器的特點(diǎn)也可以實(shí)現(xiàn)協(xié)程代碼。asyncio
,在Python3.4中引入的模塊用于編寫(xiě)協(xié)程代碼。async & awiat
,在Python3.5中引入的兩個(gè)關(guān)鍵字,結(jié)合asyncio
模塊可以更方便的編寫(xiě)協(xié)程代碼(推薦)。
async&await關(guān)鍵字
協(xié)程實(shí)現(xiàn)的方式有多種,目前最流行的方式就是async&await
,其他的方式了解即可,本文就介紹最流行的一種方式
使用協(xié)程需要了解2個(gè),事件循環(huán)和定義協(xié)程函數(shù)
事件循環(huán)
事件循環(huán)是一種處理多并發(fā)量的有效方式,可以理解為死循環(huán),循環(huán)過(guò)程中去檢測(cè)并執(zhí)行某些代碼,我們來(lái)看下面的偽代碼
任務(wù)列表 = [任務(wù)1, 任務(wù)2, 任務(wù)3............] while True: 可執(zhí)行的任務(wù)列表,已完成的任務(wù)列表 = 去任務(wù)列表中檢查所有的任務(wù),將'可執(zhí)行'和'已完成'的任務(wù)返回 for 就緒任務(wù) in 可執(zhí)行的任務(wù)列表: 執(zhí)行已就緒的任務(wù) for 已完成的任務(wù) in 已完成的任務(wù)列表: 在任務(wù)列表中移除 已完成的任務(wù) 如果任務(wù)列表中的任務(wù)都已完成,則終止循環(huán)
上面的偽代碼的意思:獲取事件循環(huán)中,然后不斷監(jiān)聽(tīng)任務(wù)列表,有任務(wù)就執(zhí)行,執(zhí)行完成的任務(wù)就移除,直到任務(wù)列表中的所有任務(wù)都完成,終止循環(huán)
使用事件循環(huán)的好處:使得程序員不用控制任務(wù)的添加、刪除和事件的控制
代碼中的寫(xiě)法如下:
import asyncio # 獲取事件循環(huán) loop = asyncio.get_event_loop() # 將任務(wù)放到`任務(wù)列表`,監(jiān)聽(tīng)事件循環(huán) loop.run_until_complete(任務(wù)) # 關(guān)閉事件 loop.close()
協(xié)程函數(shù)和協(xié)程對(duì)象
想要定義協(xié)程函數(shù),格式:async def 函數(shù)名
協(xié)程對(duì)象:執(zhí)行協(xié)程函數(shù)()得到的協(xié)程對(duì)象
# 定義協(xié)程函數(shù) async def func(): pass # 創(chuàng)建協(xié)程對(duì)象 result = func()
注意:執(zhí)行協(xié)程函數(shù),創(chuàng)建協(xié)程對(duì)象,函數(shù)代碼是不會(huì)運(yùn)行的,如果想要運(yùn)行協(xié)程函數(shù)的內(nèi)部代碼,必須要將協(xié)程對(duì)象交給事件循環(huán)來(lái)處理,看如下代碼
import asyncio async def func(): print("你好") result = func() # 方式1 loop = asyncio.get_event_loop() loop.run_until_complete(result) # 方式2 asyncio.run(result) # python3.7寫(xiě)法
await
await是一個(gè)只能在協(xié)程函數(shù)中使用的關(guān)鍵字,用于遇到IO操作時(shí)掛起 當(dāng)前協(xié)程(任務(wù)),當(dāng)前協(xié)程(任務(wù))掛起過(guò)程中 事件循環(huán)可以去執(zhí)行其他的協(xié)程(任務(wù)),當(dāng)前協(xié)程IO處理完成時(shí),可以再次切換回來(lái)執(zhí)行await之后的代碼。
舉例:我們創(chuàng)建了2個(gè)任務(wù),一個(gè)下載圖片,一個(gè)下載視頻,我們先執(zhí)行下載圖片任務(wù),這時(shí)遇到io操作,正常情況下會(huì)等待圖片下載完,但await可以先掛起下載圖片任務(wù),然后自動(dòng)切換到下載視頻任務(wù)
使用方法:await + 可等待對(duì)象(協(xié)程對(duì)象、Future對(duì)象、Task對(duì)象)
案例1
import asyncio async def func(): print("執(zhí)行協(xié)程函數(shù)內(nèi)部代碼") # 遇到IO操作掛起當(dāng)前協(xié)程(任務(wù)),等IO操作完成之后再繼續(xù)往下執(zhí)行。 # 當(dāng)前協(xié)程掛起時(shí),事件循環(huán)可以去執(zhí)行其他協(xié)程(任務(wù))。 response = await asyncio.sleep(2) print("IO請(qǐng)求結(jié)束,結(jié)果為:", response) result = func() asyncio.run(result)
案列2
import asyncio async def others(): print("start") # ④打印start await asyncio.sleep(2) # ⑤等待耗時(shí)2秒,這過(guò)程中可以切換到其他協(xié)程中去 print("end") # ⑥打印end return '返回值' async def func(): print("執(zhí)行協(xié)程函數(shù)內(nèi)部代碼") # ②執(zhí)行協(xié)程函數(shù),打印print代碼 response = await others() # ③等待協(xié)程函數(shù)others print(f"io請(qǐng)求結(jié)束,結(jié)果為{response}") # ⑦等待others結(jié)束后打印print語(yǔ)句 if __name__ == '__main__': asyncio.run(func()) # ①協(xié)程函數(shù)放入事件循環(huán)中運(yùn)行
上述的所有示例都只是創(chuàng)建了一個(gè)任務(wù),即:事件循環(huán)的任務(wù)列表中只有一個(gè)任務(wù),所以在IO等待時(shí)無(wú)法演示切換到其他任務(wù)效果。在程序想要?jiǎng)?chuàng)建多個(gè)任務(wù)對(duì)象,需要使用Task對(duì)象來(lái)實(shí)現(xiàn)。
Task對(duì)象
Tasks用于并發(fā)調(diào)度協(xié)程,通過(guò)asyncio.create_task(協(xié)程對(duì)象)
的方式創(chuàng)建Task對(duì)象,這樣可以讓協(xié)程加入事件循環(huán)中等待被調(diào)度執(zhí)行。除了使用 asyncio.create_task()
函數(shù)以外,還可以用低層級(jí)的loop.create_task()
或 ensure_future()
函數(shù)。不建議手動(dòng)實(shí)例化 Task
對(duì)象。
本質(zhì)上是將協(xié)程對(duì)象封裝成task對(duì)象,并將協(xié)程立即加入事件循環(huán),同時(shí)追蹤協(xié)程的狀態(tài)。
注意:asyncio.create_task()
函數(shù)在 Python 3.7 中被加入。在 Python 3.7 之前,可以改用低層級(jí)的 asyncio.ensure_future()
函數(shù)。
案例1
import asyncio async def func(): print(1) await asyncio.sleep(2) print(2) return "返回值" async def main(): print("main開(kāi)始") # 創(chuàng)建協(xié)程,將協(xié)程封裝到一個(gè)Task對(duì)象中并立即添加到事件循環(huán)的任務(wù)列表中,等待事件循環(huán)去執(zhí)行(默認(rèn)是就緒狀態(tài))。 task1 = asyncio.create_task(func()) # 創(chuàng)建協(xié)程,將協(xié)程封裝到一個(gè)Task對(duì)象中并立即添加到事件循環(huán)的任務(wù)列表中,等待事件循環(huán)去執(zhí)行(默認(rèn)是就緒狀態(tài))。 task2 = asyncio.create_task(func()) print("main結(jié)束") # 當(dāng)執(zhí)行某協(xié)程遇到IO操作時(shí),會(huì)自動(dòng)化切換執(zhí)行其他任務(wù)。 # 此處的await是等待相對(duì)應(yīng)的協(xié)程全都執(zhí)行完畢并獲取結(jié)果 ret1 = await task1 ret2 = await task2 print(ret1, ret2) asyncio.run(main())
案例await+任務(wù)列表(用的最多)
import asyncio async def func(): print(1) await asyncio.sleep(2) print(2) return "返回值" async def main(): print("main開(kāi)始") # 創(chuàng)建協(xié)程,將協(xié)程封裝到Task對(duì)象中并添加到事件循環(huán)的任務(wù)列表中,等待事件循環(huán)去執(zhí)行(默認(rèn)是就緒狀態(tài))。 # 在調(diào)用 task_list = [asyncio.create_task(func()), asyncio.create_task(func())] print("main結(jié)束") # 當(dāng)執(zhí)行某協(xié)程遇到IO操作時(shí),會(huì)自動(dòng)化切換執(zhí)行其他任務(wù)。 # 此處的await是等待所有協(xié)程執(zhí)行完畢,并將所有協(xié)程的返回值保存到done # 如果設(shè)置了timeout值,則意味著此處最多等待的秒,完成的協(xié)程返回值寫(xiě)入到done中,未完成則寫(xiě)到pending中。 done, pending = await asyncio.wait(task_list) print(done) asyncio.run(main())
注意: asyncio.wait
源碼內(nèi)部會(huì)對(duì)列表中的每個(gè)協(xié)程執(zhí)行ensure_future
從而封裝為Task
對(duì)象,所以在和wait
配合使用時(shí)task_list
的值為[func(),func()]
也是可以的。
asyncio.Future對(duì)象
asyncio中的Future對(duì)象是一個(gè)相對(duì)更偏向底層的可對(duì)象,通常我們不會(huì)直接用到這個(gè)對(duì)象,而是直接使用Task對(duì)象來(lái)完成任務(wù)的并和狀態(tài)的追蹤。( Task 是 Futrue的子類(lèi) )
Future為我們提供了異步編程中的 最終結(jié)果 的處理(Task類(lèi)也具備狀態(tài)處理的功能)
案例1
async def main(): # 獲取當(dāng)前事件循環(huán) loop = asyncio.get_running_loop() # 創(chuàng)建一個(gè)任務(wù)(Future對(duì)象),這個(gè)任務(wù)什么都不干。 fut = loop.create_future() # 等待任務(wù)最終結(jié)果(Future對(duì)象),沒(méi)有結(jié)果則會(huì)一直等下去。 await fut asyncio.run(main())
結(jié)果就是程序一直在等待,無(wú)法結(jié)束
案例2
import asyncio async def set_after(fut): await asyncio.sleep(2) fut.set_result("666") async def main(): # 獲取當(dāng)前事件循環(huán) loop = asyncio.get_running_loop() # 創(chuàng)建一個(gè)任務(wù)(Future對(duì)象),沒(méi)綁定任何行為,則這個(gè)任務(wù)永遠(yuǎn)不知道什么時(shí)候結(jié)束。 fut = loop.create_future() # 創(chuàng)建一個(gè)任務(wù)(Task對(duì)象),綁定了set_after函數(shù),函數(shù)內(nèi)部在2s之后,會(huì)給fut賦值。 # 即手動(dòng)設(shè)置future任務(wù)的最終結(jié)果,那么fut就可以結(jié)束了。 await loop.create_task(set_after(fut)) # 等待 Future對(duì)象獲取 最終結(jié)果,否則一直等下去 data = await fut print(data) asyncio.run(main())
Future對(duì)象本身函數(shù)進(jìn)行綁定,所以想要讓事件循環(huán)獲取Future的結(jié)果,則需要手動(dòng)設(shè)置。而Task對(duì)象繼承了Future對(duì)象,其實(shí)就對(duì)Future進(jìn)行擴(kuò)展,他可以實(shí)現(xiàn)在對(duì)應(yīng)綁定的函數(shù)執(zhí)行完成之后,自動(dòng)執(zhí)行set_result,從而實(shí)現(xiàn)自動(dòng)結(jié)束。
雖然,平時(shí)使用的是Task對(duì)象,但對(duì)于結(jié)果的處理本質(zhì)是基于Future對(duì)象來(lái)實(shí)現(xiàn)的。
futures.Future對(duì)象
在Python的concurrent.futures模塊中也有一個(gè)Future對(duì)象,這個(gè)對(duì)象是基于線程池和進(jìn)程池實(shí)現(xiàn)異步操作時(shí)使用的對(duì)象。
import time from concurrent.futures import Future from concurrent.futures.thread import ThreadPoolExecutor from concurrent.futures.process import ProcessPoolExecutor def func(value): time.sleep(1) print(value) pool = ThreadPoolExecutor(max_workers=5) # 或 pool = ProcessPoolExecutor(max_workers=5) for i in range(10): fut = pool.submit(func, i) print(fut)
兩個(gè)Future對(duì)象是不同的,他們是為不同的應(yīng)用場(chǎng)景而設(shè)計(jì),例如:concurrent.futures.Future
不支持await
語(yǔ)法 等。
在Python提供了一個(gè)將futures.Future
對(duì)象包裝成asyncio.Future
對(duì)象的函數(shù) asynic.wrap_future
。
接下里你肯定問(wèn):為什么python會(huì)提供這種功能?
其實(shí),一般在程序開(kāi)發(fā)中我們要么統(tǒng)一使用 asycio
的協(xié)程實(shí)現(xiàn)異步操作、要么都使用進(jìn)程池和線程池實(shí)現(xiàn)異步操作。但如果 協(xié)程的異步和 進(jìn)程池/線程池的異步 混搭時(shí),那么就會(huì)用到此功能了。
import time import asyncio import concurrent.futures def func1(): # 某個(gè)耗時(shí)操作 time.sleep(2) return "OK" async def main(): loop = asyncio.get_running_loop() # 方式1. Run in the default loop's executor ( 默認(rèn)ThreadPoolExecutor ) # 第一步:內(nèi)部會(huì)先調(diào)用 ThreadPoolExecutor 的 submit 方法去線程池中申請(qǐng)一個(gè)線程去執(zhí)行func1函數(shù),并返回一個(gè)concurrent.futures.Future對(duì)象 # 第二步:調(diào)用asyncio.wrap_future將concurrent.futures.Future對(duì)象包裝為asycio.Future對(duì)象。 # 因?yàn)閏oncurrent.futures.Future對(duì)象不支持await語(yǔ)法,所以需要包裝為 asycio.Future對(duì)象 才能使用。 fut = loop.run_in_executor(None, func1) result = await fut print('default thread pool', result) # 方式2. Run in a custom thread pool: # with concurrent.futures.ThreadPoolExecutor() as pool: # result = await loop.run_in_executor( # pool, func1) # print('custom thread pool', result) # 方式3. Run in a custom process pool: # with concurrent.futures.ProcessPoolExecutor() as pool: # result = await loop.run_in_executor( # pool, func1) # print('custom process pool', result) asyncio.run(main())
應(yīng)用場(chǎng)景:當(dāng)項(xiàng)目以協(xié)程式的異步編程開(kāi)發(fā)時(shí),如果要使用一個(gè)第三方模塊,而第三方模塊不支持協(xié)程方式異步編程時(shí),就需要用到這個(gè)功能,例如requests模塊:
import asyncio import requests async def download_image(url): # 發(fā)送網(wǎng)絡(luò)請(qǐng)求,下載圖片(遇到網(wǎng)絡(luò)下載圖片的IO請(qǐng)求,自動(dòng)化切換到其他任務(wù)) print("開(kāi)始下載:", url) loop = asyncio.get_event_loop() # requests模塊默認(rèn)不支持異步操作,所以就使用線程池來(lái)配合實(shí)現(xiàn)了。 future = loop.run_in_executor(None, requests.get, url) response = await future print('下載完成') # 圖片保存到本地文件 file_name = url.rsplit('_')[-1] with open(file_name, mode='wb') as file_object: file_object.write(response.content) if __name__ == '__main__': url_list = [ 'https://www3.autoimg.cn/newsdfs/g26/M02/35/A9/120x90_0_autohomecar__ChsEe12AXQ6AOOH_AAFocMs8nzU621.jpg', 'https://www2.autoimg.cn/newsdfs/g30/M01/3C/E2/120x90_0_autohomecar__ChcCSV2BBICAUntfAADjJFd6800429.jpg', 'https://www3.autoimg.cn/newsdfs/g26/M0B/3C/65/120x90_0_autohomecar__ChcCP12BFCmAIO83AAGq7vK0sGY193.jpg' ] tasks = [download_image(url) for url in url_list] loop = asyncio.get_event_loop() loop.run_until_complete( asyncio.wait(tasks) )
異步迭代器
什么是異步迭代器?
實(shí)現(xiàn)了__aiter__()
和__anext__()
方法的對(duì)象。__anext__
必須返回一個(gè) awaitable
對(duì)象。async for
會(huì)處理異步迭代器的__anext__()
方法所返回的可等待對(duì)象,直到其引發(fā)一個(gè) StopAsyncIteration
異常。
什么是異步可迭代對(duì)象?
可在 async for
語(yǔ)句中被使用的對(duì)象。必須通過(guò)它的 __aiter__()
方法返回一個(gè) asynchronous iterator
。
import asyncio class Reader(object): """ 自定義異步迭代器(同時(shí)也是異步可迭代對(duì)象) """ def __init__(self): self.count = 0 async def readline(self): # await asyncio.sleep(1) self.count += 1 if self.count == 100: return None return self.count def __aiter__(self): return self async def __anext__(self): val = await self.readline() if val == None: raise StopAsyncIteration return val async def func(): # 創(chuàng)建異步可迭代對(duì)象 async_iter = Reader() # async for 必須要放在async def函數(shù)內(nèi),否則語(yǔ)法錯(cuò)誤。 async for item in async_iter: print(item) asyncio.run(func())
異步迭代器其實(shí)沒(méi)什么太大的作用,只是支持了async for語(yǔ)法而已。
異步上下文管理器
此種對(duì)象通過(guò)定義 __aenter__()
和 __aexit__()
方法來(lái)對(duì) async with
語(yǔ)句中的環(huán)境進(jìn)行控制
import asyncio class AsyncContextManager: def __init__(self): self.conn = None async def do_something(self): # 異步操作數(shù)據(jù)庫(kù) return 666 async def __aenter__(self): # 異步鏈接數(shù)據(jù)庫(kù) self.conn = await asyncio.sleep(1) return self async def __aexit__(self, exc_type, exc, tb): # 異步關(guān)閉數(shù)據(jù)庫(kù)鏈接 await asyncio.sleep(1) async def func(): async with AsyncContextManager() as f: result = await f.do_something() print(result) asyncio.run(func())
這個(gè)異步的上下文管理器還是比較有用的,平時(shí)在開(kāi)發(fā)過(guò)程中 打開(kāi)、處理、關(guān)閉 操作時(shí),就可以用這種方式來(lái)處理。
uvloop
uvloop
是 asyncio
中的事件循環(huán)的替代方案,替換后可以使得asyncio性能提高。事實(shí)上,uvloop要比nodejs、gevent等其他python異步框架至少要快2倍,性能可以比肩Go語(yǔ)言。
安裝uvloop
pip3 install uvloop
在項(xiàng)目中想要使用uvloop替換asyncio的事件循環(huán)也非常簡(jiǎn)單,只要在代碼中這么做就行。
import asyncio import uvloop asyncio.set_event_loop_policy(uvloop.EventLoopPolicy()) # 編寫(xiě)asyncio的代碼,與之前寫(xiě)的代碼一致。 # 內(nèi)部的事件循環(huán)自動(dòng)化會(huì)變?yōu)閡vloop asyncio.run(...)
注意:知名的asgi uvicorn內(nèi)部就是使用的uvloop的事件循環(huán)。
異步redis
當(dāng)通過(guò)python去操作redis時(shí),鏈接、設(shè)置值、獲取值 這些都涉及網(wǎng)絡(luò)IO請(qǐng)求,使用asycio異步的方式可以在IO等待時(shí)去做一些其他任務(wù),從而提升性能。
安裝Python異步操作redis模塊
pip3 install aioredis
案例:連接多個(gè)redis做操作(遇到IO會(huì)切換其他任務(wù),提供了性能)
import asyncio import aioredis async def execute(address, password): print("開(kāi)始執(zhí)行", address) # 網(wǎng)絡(luò)IO操作:先去連接 77.95.4.197:6379,遇到IO則自動(dòng)切換任務(wù),去連接77.95.4.198:6379 redis = await aioredis.create_redis_pool(address, password=password) # 網(wǎng)絡(luò)IO操作:遇到IO會(huì)自動(dòng)切換任務(wù) await redis.hmset_dict('car', key1=1, key2=2, key3=3) # 網(wǎng)絡(luò)IO操作:遇到IO會(huì)自動(dòng)切換任務(wù) result = await redis.hgetall('car', encoding='utf-8') print(result) redis.close() # 網(wǎng)絡(luò)IO操作:遇到IO會(huì)自動(dòng)切換任務(wù) await redis.wait_closed() print("結(jié)束", address) task_list = [ execute('redis://77.95.4.197:6379', "123456"), execute('redis://77.95.4.198:6379', "123456") ] asyncio.run(asyncio.wait(task_list))
異步MySQL
當(dāng)通過(guò)python去操作MySQL時(shí),連接、執(zhí)行SQL、關(guān)閉都涉及網(wǎng)絡(luò)IO請(qǐng)求,使用asycio異步的方式可以在IO等待時(shí)去做一些其他任務(wù),從而提升性能。
安裝Python異步操作redis模塊
pip3 install aiomysql
案例
import asyncio import aiomysql async def execute(host, password): print("開(kāi)始", host) # 網(wǎng)絡(luò)IO操作:先去連接 77.95.40.197,遇到IO則自動(dòng)切換任務(wù),去連接77.95.40.198:6379 conn = await aiomysql.connect(host=host, port=3306, user='root', password=password, db='mysql') # 網(wǎng)絡(luò)IO操作:遇到IO會(huì)自動(dòng)切換任務(wù) cur = await conn.cursor() # 網(wǎng)絡(luò)IO操作:遇到IO會(huì)自動(dòng)切換任務(wù) await cur.execute("SELECT Host,User FROM user") # 網(wǎng)絡(luò)IO操作:遇到IO會(huì)自動(dòng)切換任務(wù) result = await cur.fetchall() print(result) # 網(wǎng)絡(luò)IO操作:遇到IO會(huì)自動(dòng)切換任務(wù) await cur.close() conn.close() print("結(jié)束", host) task_list = [ execute('77.95.40.197', "123456"), execute('77.95.40.198', "123456") ] asyncio.run(asyncio.wait(task_list))
爬蟲(chóng)
在編寫(xiě)爬蟲(chóng)應(yīng)用時(shí),需要通過(guò)網(wǎng)絡(luò)IO去請(qǐng)求目標(biāo)數(shù)據(jù),這種情況適合使用異步編程來(lái)提升性能,接下來(lái)我們使用支持異步編程的aiohttp模塊來(lái)實(shí)現(xiàn)。
安裝aiohttp模塊
pip3 install aiohttp
案例
import aiohttp import asyncio async def fetch(session, url): print(f"發(fā)送請(qǐng)求:{url}") async with session.get(url, verify_ssl=False) as response: text = await response.text() print("得到結(jié)果:", url, len(text)) async def main(): async with aiohttp.ClientSession() as session: url_list = ["http://www.baidu.com", "http://www.taobao.com", "http://www.jd.com"] tasks = [asyncio.create_task(fetch(session, url)) for url in url_list] await asyncio.wait(tasks) if __name__ == '__main__': asyncio.run(main())
總結(jié)
本篇文章就到這里了,希望能夠給你帶來(lái)幫助,也希望您能夠多多關(guān)注腳本之家的更多內(nèi)容!
相關(guān)文章
Python調(diào)用C語(yǔ)言開(kāi)發(fā)的共享庫(kù)方法實(shí)例
這篇文章主要介紹了Python調(diào)用C語(yǔ)言開(kāi)發(fā)的共享庫(kù)方法實(shí)例,本文同時(shí)給出了C語(yǔ)言和Python調(diào)用簡(jiǎn)單實(shí)例,需要的朋友可以參考下2015-03-03python編程開(kāi)發(fā)之類(lèi)型轉(zhuǎn)換convert實(shí)例分析
這篇文章主要介紹了python編程開(kāi)發(fā)之類(lèi)型轉(zhuǎn)換convert用法,結(jié)合實(shí)例形式分析了Python中常見(jiàn)的數(shù)據(jù)類(lèi)型及類(lèi)型轉(zhuǎn)換convert的具體使用方法,需要的朋友可以參考下2015-11-11用python的requests第三方模塊抓取王者榮耀所有英雄的皮膚實(shí)例
下面小編就為大家分享一篇用python的requests第三方模塊抓取王者榮耀所有英雄的皮膚實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨想過(guò)來(lái)看看吧2017-12-12pycharm配置python環(huán)境的詳細(xì)圖文教程
PyCharm是一款功能強(qiáng)大的Python編輯器,具有跨平臺(tái)性,下面這篇文章主要給大家介紹了關(guān)于pycharm配置python環(huán)境的詳細(xì)圖文教程,文中通過(guò)圖文介紹的非常詳細(xì),需要的朋友可以參考下2023-01-01Pytorch 統(tǒng)計(jì)模型參數(shù)量的操作 param.numel()
這篇文章主要介紹了Pytorch 統(tǒng)計(jì)模型參數(shù)量的操作 param.numel(),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2021-05-05Python Pandas中的shift()函數(shù)實(shí)現(xiàn)數(shù)據(jù)完美平移應(yīng)用場(chǎng)景探究
shift()?是 Pandas 中一個(gè)常用的數(shù)據(jù)處理函數(shù),它用于對(duì)數(shù)據(jù)進(jìn)行移動(dòng)或偏移操作,常用于時(shí)間序列數(shù)據(jù)或需要計(jì)算前后差值的情況,本文將詳細(xì)介紹?shift()?函數(shù)的用法,包括語(yǔ)法、參數(shù)、示例以及常見(jiàn)應(yīng)用場(chǎng)景2024-01-01