快捷導(dǎo)航

python多進(jìn)程執(zhí)行方法apply_async使用說明

更新時(shí)間：2021年03月05日 09:52:46 作者：yyyyyyyyyyang

這篇文章主要介紹了python多進(jìn)程執(zhí)行方法apply_async使用說明，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧

apply_async簡介

python在同一個(gè)線程中多次執(zhí)行同一方法時(shí)，該方法執(zhí)行耗時(shí)較長且每次執(zhí)行過程及結(jié)果互不影響，如果只在主進(jìn)程中執(zhí)行，效率會(huì)很低，因此使用multiprocessing.Pool(processes=n)及其apply_async()方法提高程序執(zhí)行的并行度從而提高程序的執(zhí)行效率,其中processes=n為程序并行執(zhí)行的進(jìn)程數(shù)。

apply_async使用簡明代碼

import multiprocessing
#method為多次調(diào)用的方法
def method(param):
 pass
if __name__ == '__main__':
 pool = multiprocessing.Pool(processes=5)
 params= ['param1', 'param2', 'param3', 'param4', 'param5']
 for param in params:
  pool.apply_async(method, args=(param, )) 
 pool.close()

使用總結(jié)：

apply_async是異步非阻塞式，不用等待當(dāng)前進(jìn)程執(zhí)行完畢，隨時(shí)跟進(jìn)操作系統(tǒng)調(diào)度來進(jìn)行進(jìn)程切換，即多個(gè)進(jìn)程并行執(zhí)行，提高程序的執(zhí)行效率。

補(bǔ)充：記錄python multiprocessing Pool的map和apply_async方法

遇到的問題

在學(xué)習(xí)python多進(jìn)程時(shí)，進(jìn)程上運(yùn)行的方法接收多個(gè)參數(shù)和多個(gè)結(jié)果時(shí)遇到了問題，現(xiàn)在經(jīng)過學(xué)習(xí)在這里總結(jié)一下

Pool.map()多參數(shù)任務(wù)

在給map方法傳入帶多個(gè)參數(shù)的方法不能達(dá)到預(yù)期的效果，像下面這樣

def job(x ,y):
 return x * y
if __name__ == "__main__":
 pool = multiprocessing.Pool()
 res = pool.map(job, 2, 3)
 print res

所以只能通過對有多個(gè)參數(shù)的方法進(jìn)行封裝，在進(jìn)程中運(yùn)行封裝后的方法如下

def job(x ,y):
 return x * y
def job1(z):
 return job(z[0], z[1])
if __name__ == "__main__":
 pool = multiprocessing.Pool()
 res = pool.map(job1, [(2, 3), (3, 4)])
 print res

這樣就能達(dá)到傳遞多個(gè)參數(shù)的效果

ps：如果需要得到多個(gè)結(jié)果可以傳入多個(gè)元組在一個(gè)列表中

Pool.apply_async()輸出多個(gè)迭代結(jié)果

在使用apply_async()方法接收多個(gè)參數(shù)的方法時(shí)，在任務(wù)方法中正常定義多個(gè)參數(shù)，參數(shù)以元組形式傳入即可

但是給apply_async()方法傳入多個(gè)值獲取多個(gè)迭代結(jié)果時(shí)就會(huì)報(bào)錯(cuò)，因?yàn)樵摲椒ㄖ荒芙邮找粋€(gè)值，所以可以將該方法放入一個(gè)列表生成式中，如下

def job(x):
 return x * x
if __name__ == "__main__":
 pool multiprocessing.Pool()
 res = [pool.apply_async(target=job, (i,)) for i in range(3)]
 print [r.get() for r in res]

python 3中提供了starmap和startmap_async兩個(gè)方法

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教。

您可能感興趣的文章: