前言

抨擊線程的往往是系統(tǒng)程序員，他們考慮的使用場(chǎng)景對(duì)一般的應(yīng)用程序員來(lái)說(shuō)，也許一生都不會(huì)遇到……應(yīng)用程序員遇到的使用場(chǎng)景，99% 的情況下只需知道如何派生一堆獨(dú)立的線程，然后用隊(duì)列收集結(jié)果。

本文章記錄了本人在學(xué)習(xí)Python基礎(chǔ)之控制流程篇的重點(diǎn)知識(shí)及個(gè)人心得，打算入門Python的朋友們可以來(lái)一起學(xué)習(xí)并交流。

本文重點(diǎn)：

      1、掌握異步編程的相關(guān)概念；

      2、了解期物future的概念、意義和使用方法；

      3、了解Python中的阻塞型I/O函數(shù)釋放GIL的特點(diǎn)。

一、異步編程相關(guān)概念

阻塞：程序未得到所需計(jì)算資源時(shí)被掛起的狀態(tài)。換句話說(shuō)，程序在等待某個(gè)操作完成期間，自身無(wú)法繼續(xù)干別的事情，則稱該程序在該操作上是阻塞的。

并發(fā)：描述的是程序的組織結(jié)構(gòu)。指程序要被設(shè)計(jì)成多個(gè)可獨(dú)立執(zhí)行的子任務(wù)。并發(fā)以利用有限的計(jì)算機(jī)資源使多個(gè)任務(wù)可以被實(shí)時(shí)或近實(shí)時(shí)執(zhí)行為目的。

并行：指的是多任務(wù)同時(shí)執(zhí)行的程序狀態(tài)，以利用多核CPU加速完成多任務(wù)為目的。

異步：為完成某個(gè)任務(wù)，不同程序單元之間過(guò)程中無(wú)需通信協(xié)調(diào)，也能完成任務(wù)的方式。

不相關(guān)的程序單元之間可以是異步的。簡(jiǎn)言之，異步意味著無(wú)序。

異步編程：以進(jìn)程、線程、協(xié)程、函數(shù)/方法作為執(zhí)行任務(wù)的基本單位，結(jié)合回調(diào)，事件循環(huán)、信號(hào)量等機(jī)制，以提高整體執(zhí)行效率和并發(fā)能力的編程方式。

二、期物

就下載國(guó)旗為目標(biāo)實(shí)現(xiàn)的三個(gè)客戶端中，兩個(gè)HTTP并發(fā)客戶端比依序下載的腳本性能高很多。

由此說(shuō)明使用并發(fā)可以高效處理網(wǎng)絡(luò)I/O。

期物(future)指一種對(duì)象，表示異步執(zhí)行的操作。

期物對(duì)象：concurrent.futures.Future或asyncio.Future類的實(shí)例。

三大方法：

• Executor.submit()：創(chuàng)建期物。
• concurrent.futures.as_completed()：迭代運(yùn)行結(jié)束的期物，返回一個(gè)迭代器。
• Executor.map(): 處理參數(shù)不同的同一個(gè)可調(diào)用對(duì)象。

小結(jié)：Executor.submit()加futures.as_completed()的組合比Executor.map()更靈活，因?yàn)閟ubmit()能處理不同的可調(diào)用對(duì)象和參數(shù)。

concurrent.futures模塊的主要特色是ThreadPoolExecutor和ProcessPoolExecutor類，這兩個(gè)類實(shí)現(xiàn)的接口能分別在不同的線程或進(jìn)程中執(zhí)行可調(diào)用的對(duì)象。

注意：通常情況下自己不應(yīng)該創(chuàng)建期物，而只能由并發(fā)框架(concurrent.futures或asyncio)實(shí)例化。

實(shí)例：concurrent.futures模塊應(yīng)用

from concurrent import futures
from flags import save_flag, get_flag, show, main
MAX_WORKERS = 20
def download_one(cc): 
  image = get_flag(cc)
  show(cc)
  save_flag(image, cc.lower() + '.gif')
  return cc
def download_many(cc_list):
  workers = min(MAX_WORKERS, len(cc_list)) 
  with futures.ThreadPoolExecutor(workers) as executor: 
    res = executor.map(download_one, sorted(cc_list)) 
  return len(list(res))
if __name__ == '__main__':
  main(download_many) 

三、阻塞性I/O與GIL

Python標(biāo)準(zhǔn)庫(kù)中所有阻塞型I/O函數(shù)都會(huì)釋放全局解釋器鎖（GIL），允許其他線程運(yùn)行。

因此盡管有GIL，Python線程仍然適合在I/O密集型系統(tǒng)使用。

四、線程和多進(jìn)程的替代方案

對(duì)CPU密集型工作來(lái)說(shuō)，要啟動(dòng)多個(gè)進(jìn)程，規(guī)避GIL。

創(chuàng)建多進(jìn)程最簡(jiǎn)單的方式是使用futures.ProcessPoolExecutor類。

threading和multiprocessing模塊：是Python中多線程和多進(jìn)程并發(fā)的低層實(shí)現(xiàn)。

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，如果有疑問(wèn)大家可以留言交流，謝謝大家對(duì)腳本之家的支持。

最新評(píng)論