欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python進(jìn)階之協(xié)程你了解嗎

 更新時(shí)間:2022年02月22日 17:21:13   作者:Silent丿丶黑羽  
這篇文章主要為大家詳細(xì)介紹了python進(jìn)階之協(xié)程,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下,希望能夠給你帶來(lái)幫助

協(xié)程的定義

協(xié)程(Coroutine),又稱微線程,纖程。(協(xié)程是一種用戶態(tài)的輕量級(jí)線程)

作用:在執(zhí)行 A 函數(shù)的時(shí)候,可以隨時(shí)中斷,去執(zhí)行 B 函數(shù),然后中斷B函數(shù),繼續(xù)執(zhí)行 A 函數(shù) (可以自動(dòng)切換),但這一過(guò)程并不是函數(shù)調(diào)用(沒(méi)有調(diào)用語(yǔ)句),過(guò)程很像多線程,然而協(xié)程只有一個(gè)線程在執(zhí)行

通俗的理解:在一個(gè)線程中的某個(gè)函數(shù),可以在任何地方保存當(dāng)前函數(shù)的一些臨時(shí)變量等信息,然后切換到另外一個(gè)函數(shù)中執(zhí)行,注意不是通過(guò)調(diào)用函數(shù)的方式做到的,并且切換的次數(shù)以及什么時(shí)候再切換到原來(lái)的函數(shù)都由開(kāi)發(fā)者自己確定

協(xié)程和線程差異

在實(shí)現(xiàn)多任務(wù)時(shí), 線程切換從系統(tǒng)層面遠(yuǎn)不止保存和恢復(fù) CPU上下文這么簡(jiǎn)單。 操作系統(tǒng)為了程序運(yùn)行的高效性每個(gè)線程都有自己緩存Cache等等數(shù)據(jù),操作系統(tǒng)還會(huì)幫你做這些數(shù)據(jù)的恢復(fù)操作。 所以線程的切換非常耗性能。但是協(xié)程的切換只是單純的操作CPU的上下文,所以一秒鐘切換個(gè)上百萬(wàn)次系統(tǒng)都抗的住。

協(xié)程的標(biāo)準(zhǔn)

必須在只有一個(gè)單線程里實(shí)現(xiàn)并發(fā)

  • 修改共享數(shù)據(jù)不需加鎖
  • 用戶程序里自己保存多個(gè)控制流的上下文棧
  • 一個(gè)協(xié)程遇到 IO 操作自動(dòng)切換到其它協(xié)程

協(xié)程的優(yōu)點(diǎn)

  • 由于自身帶有上下文和棧,無(wú)需線程上下文切換的開(kāi)銷(xiāo),屬于程序級(jí)別的切換,操作系統(tǒng)完全感知不到,因而更加輕量級(jí)
  • 無(wú)需原子操作的鎖定及同步的開(kāi)銷(xiāo)
  • 方便切換控制流,簡(jiǎn)化編程模型
  • 單線程內(nèi)就可以實(shí)現(xiàn)并發(fā)的效果,最大限度地利用 cpu,且可擴(kuò)展性高,成本低

協(xié)程的缺點(diǎn)

  • 無(wú)法利用多核資源:協(xié)程的本質(zhì)是個(gè)單線程,它不能同時(shí)將 單個(gè) CPU 的多個(gè)核用上,協(xié)程需要和進(jìn)程配合才能運(yùn)行在多 CPU 上
  • 進(jìn)行阻塞(Blocking)操作(如 IO 時(shí))會(huì)阻塞掉整個(gè)程序
  • 計(jì)算型的操作,利用協(xié)程來(lái)回切換執(zhí)行,沒(méi)有任何意義,來(lái)回切換并保存狀態(tài) 反倒會(huì)降低性能。

python中實(shí)現(xiàn)協(xié)程的方式

  • greenlet,是一個(gè)第三方模塊,用于實(shí)現(xiàn)協(xié)程代碼(Gevent協(xié)程就是基于greenlet實(shí)現(xiàn))
  • yield,生成器,借助生成器的特點(diǎn)也可以實(shí)現(xiàn)協(xié)程代碼。
  • asyncio,在Python3.4中引入的模塊用于編寫(xiě)協(xié)程代碼。
  • async & awiat,在Python3.5中引入的兩個(gè)關(guān)鍵字,結(jié)合asyncio模塊可以更方便的編寫(xiě)協(xié)程代碼(推薦)。

async&await關(guān)鍵字

協(xié)程實(shí)現(xiàn)的方式有多種,目前最流行的方式就是async&await,其他的方式了解即可,本文就介紹最流行的一種方式

使用協(xié)程需要了解2個(gè),事件循環(huán)和定義協(xié)程函數(shù)

事件循環(huán)

事件循環(huán)是一種處理多并發(fā)量的有效方式,可以理解為死循環(huán),循環(huán)過(guò)程中去檢測(cè)并執(zhí)行某些代碼,我們來(lái)看下面的偽代碼

任務(wù)列表 = [任務(wù)1, 任務(wù)2, 任務(wù)3............]
while True:
    可執(zhí)行的任務(wù)列表,已完成的任務(wù)列表 = 去任務(wù)列表中檢查所有的任務(wù),將'可執(zhí)行'和'已完成'的任務(wù)返回
    for 就緒任務(wù) in 可執(zhí)行的任務(wù)列表:
        執(zhí)行已就緒的任務(wù)
    for 已完成的任務(wù) in 已完成的任務(wù)列表:
        在任務(wù)列表中移除 已完成的任務(wù)
    如果任務(wù)列表中的任務(wù)都已完成,則終止循環(huán)

上面的偽代碼的意思:獲取事件循環(huán)中,然后不斷監(jiān)聽(tīng)任務(wù)列表,有任務(wù)就執(zhí)行,執(zhí)行完成的任務(wù)就移除,直到任務(wù)列表中的所有任務(wù)都完成,終止循環(huán)

使用事件循環(huán)的好處:使得程序員不用控制任務(wù)的添加、刪除和事件的控制

代碼中的寫(xiě)法如下:

import asyncio
# 獲取事件循環(huán)
loop = asyncio.get_event_loop()
# 將任務(wù)放到`任務(wù)列表`,監(jiān)聽(tīng)事件循環(huán)
loop.run_until_complete(任務(wù))
# 關(guān)閉事件
loop.close()

協(xié)程函數(shù)和協(xié)程對(duì)象

想要定義協(xié)程函數(shù),格式:async def 函數(shù)名協(xié)程對(duì)象:執(zhí)行協(xié)程函數(shù)()得到的協(xié)程對(duì)象

# 定義協(xié)程函數(shù)
async def func():
    pass
# 創(chuàng)建協(xié)程對(duì)象
result = func()

注意:執(zhí)行協(xié)程函數(shù),創(chuàng)建協(xié)程對(duì)象,函數(shù)代碼是不會(huì)運(yùn)行的,如果想要運(yùn)行協(xié)程函數(shù)的內(nèi)部代碼,必須要將協(xié)程對(duì)象交給事件循環(huán)來(lái)處理,看如下代碼

import asyncio
async def func():
    print("你好")
result = func()
# 方式1
loop = asyncio.get_event_loop()
loop.run_until_complete(result)
# 方式2
asyncio.run(result)  # python3.7寫(xiě)法

await

await是一個(gè)只能在協(xié)程函數(shù)中使用的關(guān)鍵字,用于遇到IO操作時(shí)掛起 當(dāng)前協(xié)程(任務(wù)),當(dāng)前協(xié)程(任務(wù))掛起過(guò)程中 事件循環(huán)可以去執(zhí)行其他的協(xié)程(任務(wù)),當(dāng)前協(xié)程IO處理完成時(shí),可以再次切換回來(lái)執(zhí)行await之后的代碼。

舉例:我們創(chuàng)建了2個(gè)任務(wù),一個(gè)下載圖片,一個(gè)下載視頻,我們先執(zhí)行下載圖片任務(wù),這時(shí)遇到io操作,正常情況下會(huì)等待圖片下載完,但await可以先掛起下載圖片任務(wù),然后自動(dòng)切換到下載視頻任務(wù)

使用方法:await + 可等待對(duì)象(協(xié)程對(duì)象、Future對(duì)象、Task對(duì)象)

案例1

import asyncio
async def func():
    print("執(zhí)行協(xié)程函數(shù)內(nèi)部代碼")
    # 遇到IO操作掛起當(dāng)前協(xié)程(任務(wù)),等IO操作完成之后再繼續(xù)往下執(zhí)行。
    # 當(dāng)前協(xié)程掛起時(shí),事件循環(huán)可以去執(zhí)行其他協(xié)程(任務(wù))。
    response = await asyncio.sleep(2)
    print("IO請(qǐng)求結(jié)束,結(jié)果為:", response)
result = func()
asyncio.run(result)

案列2

import asyncio
async def others():
    print("start")  # ④打印start
    await asyncio.sleep(2)  # ⑤等待耗時(shí)2秒,這過(guò)程中可以切換到其他協(xié)程中去
    print("end")  # ⑥打印end
    return '返回值'
async def func():
    print("執(zhí)行協(xié)程函數(shù)內(nèi)部代碼")  # ②執(zhí)行協(xié)程函數(shù),打印print代碼
    response = await others()  # ③等待協(xié)程函數(shù)others
    print(f"io請(qǐng)求結(jié)束,結(jié)果為{response}")  # ⑦等待others結(jié)束后打印print語(yǔ)句
if __name__ == '__main__':
    asyncio.run(func())  # ①協(xié)程函數(shù)放入事件循環(huán)中運(yùn)行

上述的所有示例都只是創(chuàng)建了一個(gè)任務(wù),即:事件循環(huán)的任務(wù)列表中只有一個(gè)任務(wù),所以在IO等待時(shí)無(wú)法演示切換到其他任務(wù)效果。在程序想要?jiǎng)?chuàng)建多個(gè)任務(wù)對(duì)象,需要使用Task對(duì)象來(lái)實(shí)現(xiàn)。

Task對(duì)象

Tasks用于并發(fā)調(diào)度協(xié)程,通過(guò)asyncio.create_task(協(xié)程對(duì)象)的方式創(chuàng)建Task對(duì)象,這樣可以讓協(xié)程加入事件循環(huán)中等待被調(diào)度執(zhí)行。除了使用 asyncio.create_task() 函數(shù)以外,還可以用低層級(jí)的loop.create_task()或 ensure_future() 函數(shù)。不建議手動(dòng)實(shí)例化 Task 對(duì)象。

本質(zhì)上是將協(xié)程對(duì)象封裝成task對(duì)象,并將協(xié)程立即加入事件循環(huán),同時(shí)追蹤協(xié)程的狀態(tài)。

注意asyncio.create_task() 函數(shù)在 Python 3.7 中被加入。在 Python 3.7 之前,可以改用低層級(jí)的 asyncio.ensure_future() 函數(shù)。

案例1

import asyncio
async def func():
    print(1)
    await asyncio.sleep(2)
    print(2)
    return "返回值"
async def main():
    print("main開(kāi)始")
    # 創(chuàng)建協(xié)程,將協(xié)程封裝到一個(gè)Task對(duì)象中并立即添加到事件循環(huán)的任務(wù)列表中,等待事件循環(huán)去執(zhí)行(默認(rèn)是就緒狀態(tài))。
    task1 = asyncio.create_task(func())
    # 創(chuàng)建協(xié)程,將協(xié)程封裝到一個(gè)Task對(duì)象中并立即添加到事件循環(huán)的任務(wù)列表中,等待事件循環(huán)去執(zhí)行(默認(rèn)是就緒狀態(tài))。
    task2 = asyncio.create_task(func())
    print("main結(jié)束")
    # 當(dāng)執(zhí)行某協(xié)程遇到IO操作時(shí),會(huì)自動(dòng)化切換執(zhí)行其他任務(wù)。
    # 此處的await是等待相對(duì)應(yīng)的協(xié)程全都執(zhí)行完畢并獲取結(jié)果
    ret1 = await task1
    ret2 = await task2
    print(ret1, ret2)
asyncio.run(main())

案例await+任務(wù)列表(用的最多)

import asyncio
async def func():
    print(1)
    await asyncio.sleep(2)
    print(2)
    return "返回值"
async def main():
    print("main開(kāi)始")
    # 創(chuàng)建協(xié)程,將協(xié)程封裝到Task對(duì)象中并添加到事件循環(huán)的任務(wù)列表中,等待事件循環(huán)去執(zhí)行(默認(rèn)是就緒狀態(tài))。
    # 在調(diào)用
    task_list = [asyncio.create_task(func()), asyncio.create_task(func())]
    print("main結(jié)束")
    # 當(dāng)執(zhí)行某協(xié)程遇到IO操作時(shí),會(huì)自動(dòng)化切換執(zhí)行其他任務(wù)。
    # 此處的await是等待所有協(xié)程執(zhí)行完畢,并將所有協(xié)程的返回值保存到done
    # 如果設(shè)置了timeout值,則意味著此處最多等待的秒,完成的協(xié)程返回值寫(xiě)入到done中,未完成則寫(xiě)到pending中。
    done, pending = await asyncio.wait(task_list)
    print(done)
asyncio.run(main())

注意: asyncio.wait 源碼內(nèi)部會(huì)對(duì)列表中的每個(gè)協(xié)程執(zhí)行ensure_future從而封裝為Task對(duì)象,所以在和wait配合使用時(shí)task_list的值為[func(),func()] 也是可以的。

asyncio.Future對(duì)象

asyncio中的Future對(duì)象是一個(gè)相對(duì)更偏向底層的可對(duì)象,通常我們不會(huì)直接用到這個(gè)對(duì)象,而是直接使用Task對(duì)象來(lái)完成任務(wù)的并和狀態(tài)的追蹤。( Task 是 Futrue的子類(lèi) )

Future為我們提供了異步編程中的 最終結(jié)果 的處理(Task類(lèi)也具備狀態(tài)處理的功能)

案例1

async def main():
    # 獲取當(dāng)前事件循環(huán)
    loop = asyncio.get_running_loop()
    # 創(chuàng)建一個(gè)任務(wù)(Future對(duì)象),這個(gè)任務(wù)什么都不干。
    fut = loop.create_future()
    # 等待任務(wù)最終結(jié)果(Future對(duì)象),沒(méi)有結(jié)果則會(huì)一直等下去。
    await fut
asyncio.run(main())

結(jié)果就是程序一直在等待,無(wú)法結(jié)束

案例2

import asyncio
async def set_after(fut):
    await asyncio.sleep(2)
    fut.set_result("666")
async def main():
    # 獲取當(dāng)前事件循環(huán)
    loop = asyncio.get_running_loop()
    # 創(chuàng)建一個(gè)任務(wù)(Future對(duì)象),沒(méi)綁定任何行為,則這個(gè)任務(wù)永遠(yuǎn)不知道什么時(shí)候結(jié)束。
    fut = loop.create_future()
    # 創(chuàng)建一個(gè)任務(wù)(Task對(duì)象),綁定了set_after函數(shù),函數(shù)內(nèi)部在2s之后,會(huì)給fut賦值。
    # 即手動(dòng)設(shè)置future任務(wù)的最終結(jié)果,那么fut就可以結(jié)束了。
    await loop.create_task(set_after(fut))
    # 等待 Future對(duì)象獲取 最終結(jié)果,否則一直等下去
    data = await fut
    print(data)
asyncio.run(main())

Future對(duì)象本身函數(shù)進(jìn)行綁定,所以想要讓事件循環(huán)獲取Future的結(jié)果,則需要手動(dòng)設(shè)置。而Task對(duì)象繼承了Future對(duì)象,其實(shí)就對(duì)Future進(jìn)行擴(kuò)展,他可以實(shí)現(xiàn)在對(duì)應(yīng)綁定的函數(shù)執(zhí)行完成之后,自動(dòng)執(zhí)行set_result,從而實(shí)現(xiàn)自動(dòng)結(jié)束。

雖然,平時(shí)使用的是Task對(duì)象,但對(duì)于結(jié)果的處理本質(zhì)是基于Future對(duì)象來(lái)實(shí)現(xiàn)的。

futures.Future對(duì)象

在Python的concurrent.futures模塊中也有一個(gè)Future對(duì)象,這個(gè)對(duì)象是基于線程池和進(jìn)程池實(shí)現(xiàn)異步操作時(shí)使用的對(duì)象。

import time
from concurrent.futures import Future
from concurrent.futures.thread import ThreadPoolExecutor
from concurrent.futures.process import ProcessPoolExecutor
def func(value):
    time.sleep(1)
    print(value)
pool = ThreadPoolExecutor(max_workers=5)
# 或 pool = ProcessPoolExecutor(max_workers=5)
for i in range(10):
    fut = pool.submit(func, i)
    print(fut)

兩個(gè)Future對(duì)象是不同的,他們是為不同的應(yīng)用場(chǎng)景而設(shè)計(jì),例如:concurrent.futures.Future不支持await語(yǔ)法 等。

在Python提供了一個(gè)將futures.Future 對(duì)象包裝成asyncio.Future對(duì)象的函數(shù) asynic.wrap_future。

接下里你肯定問(wèn):為什么python會(huì)提供這種功能?

其實(shí),一般在程序開(kāi)發(fā)中我們要么統(tǒng)一使用 asycio 的協(xié)程實(shí)現(xiàn)異步操作、要么都使用進(jìn)程池和線程池實(shí)現(xiàn)異步操作。但如果 協(xié)程的異步和 進(jìn)程池/線程池的異步 混搭時(shí),那么就會(huì)用到此功能了。

import time
import asyncio
import concurrent.futures
def func1():
    # 某個(gè)耗時(shí)操作
    time.sleep(2)
    return "OK"
async def main():
    loop = asyncio.get_running_loop()
    # 方式1. Run in the default loop's executor ( 默認(rèn)ThreadPoolExecutor )
    # 第一步:內(nèi)部會(huì)先調(diào)用 ThreadPoolExecutor 的 submit 方法去線程池中申請(qǐng)一個(gè)線程去執(zhí)行func1函數(shù),并返回一個(gè)concurrent.futures.Future對(duì)象
    # 第二步:調(diào)用asyncio.wrap_future將concurrent.futures.Future對(duì)象包裝為asycio.Future對(duì)象。
    # 因?yàn)閏oncurrent.futures.Future對(duì)象不支持await語(yǔ)法,所以需要包裝為 asycio.Future對(duì)象 才能使用。
    fut = loop.run_in_executor(None, func1)
    result = await fut
    print('default thread pool', result)
    # 方式2. Run in a custom thread pool:
    # with concurrent.futures.ThreadPoolExecutor() as pool:
    #     result = await loop.run_in_executor(
    #         pool, func1)
    #     print('custom thread pool', result)
    # 方式3. Run in a custom process pool:
    # with concurrent.futures.ProcessPoolExecutor() as pool:
    #     result = await loop.run_in_executor(
    #         pool, func1)
    #     print('custom process pool', result)
asyncio.run(main())

應(yīng)用場(chǎng)景:當(dāng)項(xiàng)目以協(xié)程式的異步編程開(kāi)發(fā)時(shí),如果要使用一個(gè)第三方模塊,而第三方模塊不支持協(xié)程方式異步編程時(shí),就需要用到這個(gè)功能,例如requests模塊:

import asyncio
import requests
async def download_image(url):
    # 發(fā)送網(wǎng)絡(luò)請(qǐng)求,下載圖片(遇到網(wǎng)絡(luò)下載圖片的IO請(qǐng)求,自動(dòng)化切換到其他任務(wù))
    print("開(kāi)始下載:", url)
    loop = asyncio.get_event_loop()
    # requests模塊默認(rèn)不支持異步操作,所以就使用線程池來(lái)配合實(shí)現(xiàn)了。
    future = loop.run_in_executor(None, requests.get, url)
    response = await future
    print('下載完成')
    # 圖片保存到本地文件
    file_name = url.rsplit('_')[-1]
    with open(file_name, mode='wb') as file_object:
        file_object.write(response.content)
if __name__ == '__main__':
    url_list = [
        'https://www3.autoimg.cn/newsdfs/g26/M02/35/A9/120x90_0_autohomecar__ChsEe12AXQ6AOOH_AAFocMs8nzU621.jpg',
        'https://www2.autoimg.cn/newsdfs/g30/M01/3C/E2/120x90_0_autohomecar__ChcCSV2BBICAUntfAADjJFd6800429.jpg',
        'https://www3.autoimg.cn/newsdfs/g26/M0B/3C/65/120x90_0_autohomecar__ChcCP12BFCmAIO83AAGq7vK0sGY193.jpg'
    ]
    tasks = [download_image(url) for url in url_list]
    loop = asyncio.get_event_loop()
    loop.run_until_complete( asyncio.wait(tasks) )

異步迭代器

什么是異步迭代器?

實(shí)現(xiàn)了__aiter__()__anext__()方法的對(duì)象。__anext__ 必須返回一個(gè) awaitable 對(duì)象。async for 會(huì)處理異步迭代器的__anext__()方法所返回的可等待對(duì)象,直到其引發(fā)一個(gè) StopAsyncIteration 異常。

什么是異步可迭代對(duì)象?

可在 async for 語(yǔ)句中被使用的對(duì)象。必須通過(guò)它的 __aiter__() 方法返回一個(gè) asynchronous iterator。

import asyncio
class Reader(object):
    """ 自定義異步迭代器(同時(shí)也是異步可迭代對(duì)象) """
    def __init__(self):
        self.count = 0
    async def readline(self):
        # await asyncio.sleep(1)
        self.count += 1
        if self.count == 100:
            return None
        return self.count
    def __aiter__(self):
        return self
    async def __anext__(self):
        val = await self.readline()
        if val == None:
            raise StopAsyncIteration
        return val
async def func():
    # 創(chuàng)建異步可迭代對(duì)象
    async_iter = Reader()
    # async for 必須要放在async def函數(shù)內(nèi),否則語(yǔ)法錯(cuò)誤。
    async for item in async_iter:
        print(item)
asyncio.run(func())

異步迭代器其實(shí)沒(méi)什么太大的作用,只是支持了async for語(yǔ)法而已。

異步上下文管理器

此種對(duì)象通過(guò)定義 __aenter__() 和 __aexit__() 方法來(lái)對(duì) async with 語(yǔ)句中的環(huán)境進(jìn)行控制

import asyncio
class AsyncContextManager:
    def __init__(self):
        self.conn = None
    async def do_something(self):
        # 異步操作數(shù)據(jù)庫(kù)
        return 666
    async def __aenter__(self):
        # 異步鏈接數(shù)據(jù)庫(kù)
        self.conn = await asyncio.sleep(1)
        return self
    async def __aexit__(self, exc_type, exc, tb):
        # 異步關(guān)閉數(shù)據(jù)庫(kù)鏈接
        await asyncio.sleep(1)
async def func():
    async with AsyncContextManager() as f:
        result = await f.do_something()
        print(result)
asyncio.run(func())

這個(gè)異步的上下文管理器還是比較有用的,平時(shí)在開(kāi)發(fā)過(guò)程中 打開(kāi)、處理、關(guān)閉 操作時(shí),就可以用這種方式來(lái)處理。

uvloop

uvloop是 asyncio 中的事件循環(huán)的替代方案,替換后可以使得asyncio性能提高。事實(shí)上,uvloop要比nodejs、gevent等其他python異步框架至少要快2倍,性能可以比肩Go語(yǔ)言。

安裝uvloop

pip3 install uvloop

在項(xiàng)目中想要使用uvloop替換asyncio的事件循環(huán)也非常簡(jiǎn)單,只要在代碼中這么做就行。

import asyncio
import uvloop
asyncio.set_event_loop_policy(uvloop.EventLoopPolicy())
# 編寫(xiě)asyncio的代碼,與之前寫(xiě)的代碼一致。
# 內(nèi)部的事件循環(huán)自動(dòng)化會(huì)變?yōu)閡vloop
asyncio.run(...)

注意:知名的asgi uvicorn內(nèi)部就是使用的uvloop的事件循環(huán)。

異步redis

當(dāng)通過(guò)python去操作redis時(shí),鏈接、設(shè)置值、獲取值 這些都涉及網(wǎng)絡(luò)IO請(qǐng)求,使用asycio異步的方式可以在IO等待時(shí)去做一些其他任務(wù),從而提升性能。

安裝Python異步操作redis模塊

pip3 install aioredis

案例:連接多個(gè)redis做操作(遇到IO會(huì)切換其他任務(wù),提供了性能)

import asyncio
import aioredis
async def execute(address, password):
    print("開(kāi)始執(zhí)行", address)
    # 網(wǎng)絡(luò)IO操作:先去連接 77.95.4.197:6379,遇到IO則自動(dòng)切換任務(wù),去連接77.95.4.198:6379
    redis = await aioredis.create_redis_pool(address, password=password)
    # 網(wǎng)絡(luò)IO操作:遇到IO會(huì)自動(dòng)切換任務(wù)
    await redis.hmset_dict('car', key1=1, key2=2, key3=3)
    # 網(wǎng)絡(luò)IO操作:遇到IO會(huì)自動(dòng)切換任務(wù)
    result = await redis.hgetall('car', encoding='utf-8')
    print(result)
    redis.close()
    # 網(wǎng)絡(luò)IO操作:遇到IO會(huì)自動(dòng)切換任務(wù)
    await redis.wait_closed()
    print("結(jié)束", address)
task_list = [
    execute('redis://77.95.4.197:6379', "123456"),
    execute('redis://77.95.4.198:6379', "123456")
]
asyncio.run(asyncio.wait(task_list))

異步MySQL

當(dāng)通過(guò)python去操作MySQL時(shí),連接、執(zhí)行SQL、關(guān)閉都涉及網(wǎng)絡(luò)IO請(qǐng)求,使用asycio異步的方式可以在IO等待時(shí)去做一些其他任務(wù),從而提升性能。

安裝Python異步操作redis模塊

pip3 install aiomysql

案例

import asyncio
import aiomysql
async def execute(host, password):
    print("開(kāi)始", host)
    # 網(wǎng)絡(luò)IO操作:先去連接 77.95.40.197,遇到IO則自動(dòng)切換任務(wù),去連接77.95.40.198:6379
    conn = await aiomysql.connect(host=host, port=3306, user='root', password=password, db='mysql')
    # 網(wǎng)絡(luò)IO操作:遇到IO會(huì)自動(dòng)切換任務(wù)
    cur = await conn.cursor()
    # 網(wǎng)絡(luò)IO操作:遇到IO會(huì)自動(dòng)切換任務(wù)
    await cur.execute("SELECT Host,User FROM user")
    # 網(wǎng)絡(luò)IO操作:遇到IO會(huì)自動(dòng)切換任務(wù)
    result = await cur.fetchall()
    print(result)
    # 網(wǎng)絡(luò)IO操作:遇到IO會(huì)自動(dòng)切換任務(wù)
    await cur.close()
    conn.close()
    print("結(jié)束", host)
task_list = [
    execute('77.95.40.197', "123456"),
    execute('77.95.40.198', "123456")
]
asyncio.run(asyncio.wait(task_list))

爬蟲(chóng)

在編寫(xiě)爬蟲(chóng)應(yīng)用時(shí),需要通過(guò)網(wǎng)絡(luò)IO去請(qǐng)求目標(biāo)數(shù)據(jù),這種情況適合使用異步編程來(lái)提升性能,接下來(lái)我們使用支持異步編程的aiohttp模塊來(lái)實(shí)現(xiàn)。

安裝aiohttp模塊

pip3 install aiohttp

案例

import aiohttp
import asyncio
async def fetch(session, url):
    print(f"發(fā)送請(qǐng)求:{url}")
    async with session.get(url, verify_ssl=False) as response:
        text = await response.text()
        print("得到結(jié)果:", url, len(text))
async def main():
    async with aiohttp.ClientSession() as session:
        url_list = ["http://www.baidu.com", "http://www.taobao.com", "http://www.jd.com"]
        tasks = [asyncio.create_task(fetch(session, url)) for url in url_list]
        await asyncio.wait(tasks)
if __name__ == '__main__':
    asyncio.run(main())

總結(jié)

本篇文章就到這里了,希望能夠給你帶來(lái)幫助,也希望您能夠多多關(guān)注腳本之家的更多內(nèi)容!      

相關(guān)文章

  • Python調(diào)用C語(yǔ)言開(kāi)發(fā)的共享庫(kù)方法實(shí)例

    Python調(diào)用C語(yǔ)言開(kāi)發(fā)的共享庫(kù)方法實(shí)例

    這篇文章主要介紹了Python調(diào)用C語(yǔ)言開(kāi)發(fā)的共享庫(kù)方法實(shí)例,本文同時(shí)給出了C語(yǔ)言和Python調(diào)用簡(jiǎn)單實(shí)例,需要的朋友可以參考下
    2015-03-03
  • Python集合set()使用的方法詳解

    Python集合set()使用的方法詳解

    這篇文章主要為大家詳細(xì)介紹了Python集合set()使用的方法,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下,希望能夠給你帶來(lái)幫助
    2022-03-03
  • python列表和字符串的三種逆序遍歷操作

    python列表和字符串的三種逆序遍歷操作

    這篇文章主要介紹了python列表和字符串的三種逆序遍歷操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2021-06-06
  • 深入淺析Python 命令行模塊 Click

    深入淺析Python 命令行模塊 Click

    這篇文章主要介紹了Python 命令行模塊 Click的相關(guān)知識(shí),本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2020-03-03
  • python編程開(kāi)發(fā)之類(lèi)型轉(zhuǎn)換convert實(shí)例分析

    python編程開(kāi)發(fā)之類(lèi)型轉(zhuǎn)換convert實(shí)例分析

    這篇文章主要介紹了python編程開(kāi)發(fā)之類(lèi)型轉(zhuǎn)換convert用法,結(jié)合實(shí)例形式分析了Python中常見(jiàn)的數(shù)據(jù)類(lèi)型及類(lèi)型轉(zhuǎn)換convert的具體使用方法,需要的朋友可以參考下
    2015-11-11
  • 用python的requests第三方模塊抓取王者榮耀所有英雄的皮膚實(shí)例

    用python的requests第三方模塊抓取王者榮耀所有英雄的皮膚實(shí)例

    下面小編就為大家分享一篇用python的requests第三方模塊抓取王者榮耀所有英雄的皮膚實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨想過(guò)來(lái)看看吧
    2017-12-12
  • pycharm配置python環(huán)境的詳細(xì)圖文教程

    pycharm配置python環(huán)境的詳細(xì)圖文教程

    PyCharm是一款功能強(qiáng)大的Python編輯器,具有跨平臺(tái)性,下面這篇文章主要給大家介紹了關(guān)于pycharm配置python環(huán)境的詳細(xì)圖文教程,文中通過(guò)圖文介紹的非常詳細(xì),需要的朋友可以參考下
    2023-01-01
  • Pytorch 統(tǒng)計(jì)模型參數(shù)量的操作 param.numel()

    Pytorch 統(tǒng)計(jì)模型參數(shù)量的操作 param.numel()

    這篇文章主要介紹了Pytorch 統(tǒng)計(jì)模型參數(shù)量的操作 param.numel(),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2021-05-05
  • python編寫(xiě)微信公眾號(hào)首圖思路詳解

    python編寫(xiě)微信公眾號(hào)首圖思路詳解

    這篇文章主要介紹了python編寫(xiě)微信公眾號(hào)首圖的思路,根據(jù)微信公眾號(hào)首圖要求,可以上傳一個(gè)不超過(guò)5M的圖片,且圖片尺寸要是2.35:1的尺寸,具體實(shí)現(xiàn)思路及代碼感興趣的朋友跟隨小編一起看看吧
    2019-12-12
  • Python Pandas中的shift()函數(shù)實(shí)現(xiàn)數(shù)據(jù)完美平移應(yīng)用場(chǎng)景探究

    Python Pandas中的shift()函數(shù)實(shí)現(xiàn)數(shù)據(jù)完美平移應(yīng)用場(chǎng)景探究

    shift()?是 Pandas 中一個(gè)常用的數(shù)據(jù)處理函數(shù),它用于對(duì)數(shù)據(jù)進(jìn)行移動(dòng)或偏移操作,常用于時(shí)間序列數(shù)據(jù)或需要計(jì)算前后差值的情況,本文將詳細(xì)介紹?shift()?函數(shù)的用法,包括語(yǔ)法、參數(shù)、示例以及常見(jiàn)應(yīng)用場(chǎng)景
    2024-01-01

最新評(píng)論