python中concurrent.futures的具體使用
concurrent.futures
是 Python 標準庫中用于并行編程的高級模塊,它提供了一種高級別的接口來管理線程和進程。通過這個模塊,你可以輕松地利用多線程和多進程來并行執(zhí)行任務(wù),進而提高程序的執(zhí)行效率。
1. concurrent.futures 概述
concurrent.futures
提供了兩種執(zhí)行器類型:
ThreadPoolExecutor:用于管理線程池。
ProcessPoolExecutor:用于管理進程池。
這兩種執(zhí)行器都實現(xiàn)了同樣的接口,因此你可以使用相同的代碼邏輯來管理線程和進程。
2. 核心 API
2.1 concurrent.futures.Executor
Executor
是一個抽象基類,它定義了任務(wù)提交和管理的核心接口。以下是 Executor
提供的主要方法:
submit(fn, *args, **kwargs)
:
- 提交一個函數(shù)給執(zhí)行器,函數(shù)會在獨立的線程或進程中執(zhí)行。返回一個
Future
對象。 - 場景:當你需要執(zhí)行一個后臺任務(wù)并獲取結(jié)果時使用。
from concurrent.futures import ThreadPoolExecutor def square(n): return n * n with ThreadPoolExecutor() as executor: future = executor.submit(square, 10) print(future.result()) # 輸出: 100
提交一個函數(shù)給執(zhí)行器,函數(shù)會在獨立的線程或進程中執(zhí)行。返回一個 Future
對象。
場景:當你需要執(zhí)行一個后臺任務(wù)并獲取結(jié)果時使用。
map(func, *iterables, timeout=None, chunksize=1)
:
- 將一個函數(shù)應(yīng)用于一個或多個迭代器中的每個元素,并行地執(zhí)行。類似于內(nèi)置的
map()
函數(shù),但它會并行執(zhí)行。 - 場景:當你有一組數(shù)據(jù)需要并行處理時使用。
with ThreadPoolExecutor() as executor: results = executor.map(square, range(10)) print(list(results)) # 輸出: [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
shutdown(wait=True, cancel_futures=False)
:
- 釋放執(zhí)行器資源。如果
wait=True
,則會等待所有提交的任務(wù)完成;如果cancel_futures=True
,則會取消所有未開始的任務(wù)。 - 場景:當你需要優(yōu)雅地關(guān)閉執(zhí)行器時使用。
executor.shutdown(wait=True)
2.2 concurrent.futures.Future
Future
對象用于表示異步執(zhí)行的任務(wù)結(jié)果。以下是 Future
提供的主要方法:
result(timeout=None)
:
- 獲取任務(wù)的結(jié)果,如果任務(wù)還未完成,則會等待。你可以設(shè)置一個超時時間。
- 場景:當你需要獲取異步任務(wù)的執(zhí)行結(jié)果時使用。
result = future.result(timeout=5) # 等待最多5秒
exception(timeout=None)
:
- 如果任務(wù)拋出了異常,則返回該異常對象,否則返回
None
。 - 場景:當你想處理任務(wù)中的異常時使用。
try: result = future.result() except Exception as e: print(f"Error occurred: {e}")
done()
:
- 檢查任務(wù)是否已完成。
- 場景:當你想知道任務(wù)是否已經(jīng)完成時使用。
if future.done(): print("Task is completed.")
add_done_callback(fn)
:
- 為
Future
對象添加一個回調(diào)函數(shù),當任務(wù)完成時會自動調(diào)用此回調(diào)。 - 場景:當你需要在任務(wù)完成后自動觸發(fā)某些操作時使用。
def on_done(fut): print(f"Task done with result: {fut.result()}") future.add_done_callback(on_done)
3. ThreadPoolExecutor 與 ProcessPoolExecutor
3.1 ThreadPoolExecutor
線程池執(zhí)行器,用于管理線程。適用于 I/O 密集型任務(wù),如文件操作、網(wǎng)絡(luò)請求等。
with ThreadPoolExecutor(max_workers=5) as executor: future = executor.submit(square, 10)
參數(shù)說明:
max_workers
:最大并發(fā)線程數(shù)。
3.2 ProcessPoolExecutor
進程池執(zhí)行器,用于管理進程。適用于 CPU 密集型任務(wù),如計算密集型操作。
from concurrent.futures import ProcessPoolExecutor with ProcessPoolExecutor(max_workers=5) as executor: future = executor.submit(square, 10)
參數(shù)說明:
max_workers
:最大并發(fā)進程數(shù)。
4. 使用場景
4.1 I/O 密集型任務(wù)
場景:當你有多個需要等待 I/O 操作(如文件讀取、網(wǎng)絡(luò)請求)的任務(wù)時,可以使用 ThreadPoolExecutor
來并行執(zhí)行這些任務(wù),從而減少總的等待時間。
import requests def fetch_url(url): response = requests.get(url) return response.status_code urls = ['https://www.example.com', 'https://www.google.com', 'https://www.github.com'] with ThreadPoolExecutor(max_workers=3) as executor: results = executor.map(fetch_url, urls) print(list(results))
4.2 CPU 密集型任務(wù)
場景:當你有多個需要大量計算的任務(wù)時,可以使用 ProcessPoolExecutor
來并行執(zhí)行,從而充分利用多核 CPU 提高效率。
def fibonacci(n): if n <= 1: return n else: return fibonacci(n-1) + fibonacci(n-2) with ProcessPoolExecutor(max_workers=3) as executor: results = executor.map(fibonacci, range(10, 20)) print(list(results))
5. 總結(jié)
concurrent.futures
提供了一個方便的接口來管理多線程和多進程的并發(fā)執(zhí)行。通過理解和使用這些 API,你可以更有效地編寫并行程序,提高程序的執(zhí)行效率。在選擇使用 ThreadPoolExecutor
還是 ProcessPoolExecutor
時,應(yīng)根據(jù)任務(wù)的性質(zhì)(I/O 密集型或 CPU 密集型)來決定。
到此這篇關(guān)于python中concurrent.futures的具體使用的文章就介紹到這了,更多相關(guān)python concurrent.futures內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
python機器學(xué)習創(chuàng)建基于規(guī)則聊天機器人過程示例詳解
這篇文章主要為大家介紹了python實現(xiàn)基于規(guī)則聊天機器人的過程示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步早日升職加薪2021-11-11詳解Python如何實現(xiàn)發(fā)送帶附件的電子郵件
SMTP(Simple Mail Transfer Protocol)即簡單郵件傳輸協(xié)議,它是一組用于由源地址到目的地址傳送郵件的規(guī)則,由它來控制信件的中轉(zhuǎn)方式。本文將利用SMTP實現(xiàn)發(fā)送帶附件的電子郵件,感興趣的可以了解一下2023-04-04