一、線程池簡介

傳統(tǒng)多線程方案會使用“即時創(chuàng)建，即時銷毀”的策略。盡管與創(chuàng)建進(jìn)程相比，創(chuàng)建線程的時間已經(jīng)大大的縮短，但是如果提交給線程的任務(wù)時執(zhí)行時間較短，而且執(zhí)行次數(shù)及其頻繁，那么服務(wù)器將處于不停的創(chuàng)建線程，銷毀線程的狀態(tài)。

一個線程的運(yùn)行時間可以分為三部分：線程的啟動時間、線程體的運(yùn)行時間和線程的銷毀時間。

在多線程處理的情景中，如果線程不能被重用，就意味著每次線程運(yùn)行都要經(jīng)過啟動、銷毀和運(yùn)行3個過程。這必然會增加系統(tǒng)相應(yīng)的時間，減低了效率。

線程池在系統(tǒng)啟動時即創(chuàng)建大量空閑的線程，程序只要將一個函數(shù)提交給線程池，線程池就會啟動一個空閑的線程來執(zhí)行它。

當(dāng)該函數(shù)執(zhí)行結(jié)束后，該線程并不會死亡，而是再次返回到線程池中變成空閑狀態(tài)，等待執(zhí)行下一個函數(shù)，因此能夠避免多次創(chuàng)建線程，從而節(jié)省線程創(chuàng)建和銷毀的開銷，能帶來更好的性能和穩(wěn)定性。

此外，使用線程池可以有效地控制系統(tǒng)中并發(fā)線程的數(shù)量。當(dāng)系統(tǒng)中包含有大量的并發(fā)線程時，會導(dǎo)致系統(tǒng)性能急劇下降，甚至導(dǎo)致Python解釋器崩潰，而線程池的最大線程數(shù)參數(shù)可以控制系統(tǒng)中并發(fā)線程的數(shù)量不超過此數(shù)。

服務(wù)器CPU數(shù)有限，能夠同時并發(fā)的線程數(shù)有限，并不是開得越多越好，以及線程切換時有開銷的，如果線程切換過于頻繁，反而會使性能降低。

線程池適用于：突發(fā)性大量請求或需要大量線程完成任務(wù)，但實際任務(wù)處理時間較短的場景

二、線程池在python中的應(yīng)用

從python3.2開始，標(biāo)準(zhǔn)庫提供了concurrent.futures模塊，它提供了兩個子類：ThreadPoolExecutor和ProcessPoolExecutor。其中ThreadPoolExecutor用于創(chuàng)建線程池，而ProcessPoolExecutor用于創(chuàng)建進(jìn)程池。不僅可以自動調(diào)度線程，還可以做到：

• 主線程可以獲取某一個線程（或任務(wù)）的狀態(tài)，以及返回值
• 當(dāng)一個線程完成的時候，主線程能夠立即知道
• 讓多線程和多進(jìn)程編碼接口一致

使用線程池/進(jìn)程池來管理并發(fā)編程，只要將相應(yīng)的 task 函數(shù)提交給線程池/進(jìn)程池，剩下的事情就由線程池/進(jìn)程池來搞定。

ThreadPoolExecutor構(gòu)造函數(shù)有兩個參數(shù)：

一個是max_workers參數(shù)，用于指定線程池的最大線程數(shù)，如果不指定的話則默認(rèn)是CPU核數(shù)的5倍。

另一個參數(shù)是thread_name_prefix，它用來指定線程池中線程的名稱前綴（可選），如下：

threadPool = ThreadPoolExecutor(max_workers=self.max_workers, thread_name_prefix="test_")

Exectuor 提供了如下常用方法：

程序?qū)?task 函數(shù)提交（submit）給線程池后，submit 方法會返回一個 Future 對象，F(xiàn)uture 類主要用于獲取線程任務(wù)函數(shù)的返回值。由于線程任務(wù)會在新線程中以異步方式執(zhí)行，因此線程執(zhí)行的函數(shù)相當(dāng)于一個“將來完成”的任務(wù)，所以 Python 使用 Future 來代表。

Future 提供了如下方法：

線程池用完后，應(yīng)調(diào)用線程池的shutdown()方法，關(guān)閉線程池。也可使用with語句來管理線程池，可避免手動關(guān)閉線程池

示例一(使用submit方式)：

from concurrent.futures import ThreadPoolExecutor # 導(dǎo)入ThreadPoolExecutor模塊
import time
 
max_workers = 5
t = []
t1 = time.time()
 
# 作為線程任務(wù)的函數(shù)
def task(x, y):
    return x + y
 
threadPool = ThreadPoolExecutor(max_workers)    # 創(chuàng)建最大線程數(shù)為max_workers的線程池
 
for i in range(20):     # 循環(huán)向線程池中提交task任務(wù)
    future = threadPool.submit(task, i, i+1)
    t.append(future)
 
# 若不需要獲取返回值，則可不需要下面兩行代碼
for i in t:
    print(i.result())   # 獲取每個任務(wù)的返回值，result()會阻塞主線程
 
threadPool.shutdown()   # 阻塞主線程，所有任務(wù)執(zhí)行完后關(guān)閉線程池
print(time.time() - t1)

示例二（使用map方式）：

from concurrent.futures import ThreadPoolExecutor	# 導(dǎo)入ThreadPoolExecutor模塊
 
max_workers = 5
t = []
t1 = time.time()
 
# 作為線程任務(wù)的函數(shù)
def task(x):
    return x + (x + 1)
 
args = (0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19)
 
with ThreadPoolExecutor(max_workers) as threadPool:   # 創(chuàng)建最大線程數(shù)為max_workers的線程池
    results = threadPool.map(task, args)    # 啟動線程,并收集每個線任務(wù)的返回結(jié)果
 
    # 若無返回值，則可不需要下面兩行代碼
    for i in results:
        print(i)   

示例三：

as_complete():是一個生成器，在沒有任務(wù)完成的時候會阻塞，在有某個任務(wù)完成的時候會yield這個任務(wù)，執(zhí)行語句，繼續(xù)阻塞，循環(huán)到所有任務(wù)結(jié)束，先完成的任務(wù)會先通知主線程

from concurrent.futures import ThreadPoolExecutor, as_completed
import time
 
max_workers = 5
t = []
t1 = time.time()
 
# 作為線程任務(wù)的函數(shù)
def task(x, y):
    return x + y
 
def handle_result(future):
    print(future.result())
 
with ThreadPoolExecutor(max_workers) as threadPool:    # 創(chuàng)建最大線程數(shù)為max_workers的線程池
 
    for i in range(20):     # 循環(huán)向線程池中提交task任務(wù)
        future = threadPool.submit(task, i, i+1)
        t.append(future)
 
    # 若不需要獲取返回值，則可不需要下面兩行代碼
    for future in as_completed(t):  # as_completed,哪個先完成就先處理哪個，會阻塞主線程，直到完成所有，除非設(shè)置timeout
        future.add_done_callback(handle_result)

到此這篇關(guān)于淺談一下python線程池簡單應(yīng)用的文章就介紹到這了,更多相關(guān)python線程池簡單應(yīng)用內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論