python中multiprosessing模塊的Pool類中的apply函數(shù)和apply_async函數(shù)的區(qū)別
1、二者的區(qū)別
apply():
- 非異步(子進(jìn)程不是同時(shí)執(zhí)行的),堵塞主進(jìn)程。
- 它的非異步體現(xiàn)在:一個(gè)一個(gè)按順序執(zhí)行子進(jìn)程, 子進(jìn)程不是同時(shí)執(zhí)行的。
- 它的堵塞體現(xiàn)在:等到全部子進(jìn)程都執(zhí)行完畢后,繼續(xù)執(zhí)行apply()后面主進(jìn)程的代碼。
apply_async():
- 異步的,不堵塞主進(jìn)程。
- 它的異步體現(xiàn)在:子進(jìn)程之間是同時(shí)執(zhí)行的。子進(jìn)程被分配到不同的cpu上被執(zhí)行。
- 它的非堵塞體現(xiàn)在:他不會(huì)等待子進(jìn)程完全執(zhí)行完畢, 主進(jìn)程會(huì)繼續(xù)執(zhí)行, 他會(huì)根據(jù)系統(tǒng)調(diào)度來(lái)進(jìn)行進(jìn)程之間的切換。如果想堵塞主要進(jìn)程,需要用.join()函數(shù)來(lái)堵塞主進(jìn)程。
2、apply()
import time import multiprocessing def doIt(num): print("Process num is : %s" % num) time.sleep(1) print('process %s end' % num) if __name__ == '__main__': print('mainProcess start') #記錄一下開始執(zhí)行的時(shí)間 start_time = time.time() # 創(chuàng)建一個(gè)進(jìn)程池,允許最多可以有3個(gè)子進(jìn)程可以同時(shí)執(zhí)行。 pool = multiprocessing.Pool(3) print('Child start') for i in range(3): pool.apply(doIt,[i]) print('mainProcess done time:%s s' % (time.time() - start_time))
結(jié)果如下所示:
從結(jié)果中我們可以看到,主進(jìn)程開始執(zhí)行之后, 創(chuàng)建的三個(gè)子進(jìn)程也隨即開始執(zhí)行, 后面的主進(jìn)程被阻塞。而且三個(gè)子進(jìn)程是一個(gè)接一個(gè)按順序地執(zhí)行, 等到子進(jìn)程全部執(zhí)行完畢之后, 后面的主進(jìn)程才會(huì)繼續(xù)執(zhí)行, 打印出最后一句。所以,apply()函數(shù)果然是可以堵塞主進(jìn)程,而且是非異步的。
3、apply_async()
顧名思義,async就是異步的意思。接下來(lái)是使用apply_async(), 只需要把上面的代碼使用 apply()的地方改成apply_async() 即可, 代碼不再貼上
我們來(lái)看看運(yùn)行結(jié)果, 可以看出來(lái), 截圖的第一句是上一個(gè)程序(也就是apply()函數(shù))的執(zhí)行消耗時(shí)間,
最后一句是使用apply_async()所消耗的時(shí)間, 在這里, 主進(jìn)程沒(méi)有被阻塞, 驗(yàn)證了apply_async()是非阻塞主進(jìn)程的, 子進(jìn)程沒(méi)有執(zhí)行, 驗(yàn)證了他是根據(jù)系統(tǒng)調(diào)度完成的,
為什么會(huì)這樣呢?
原因是, 進(jìn)程的切換時(shí)操作系統(tǒng)控制的, 我們首先運(yùn)行的是主進(jìn)程, 而CPU運(yùn)行得又很快, 快到還沒(méi)等系統(tǒng)調(diào)度到子線程, 主進(jìn)程就已經(jīng)運(yùn)行完畢了, 并且退出程序. 所以子進(jìn)程就沒(méi)有運(yùn)行了.
那么我們?cè)谑褂胊pply_async()函數(shù)是不是就不能執(zhí)行子進(jìn)程呢?肯定可以?。。?!小老弟,想啥呢??還記得join()的作用嗎?他可以阻塞主進(jìn)程, 等待所有子進(jìn)程結(jié)束之后再運(yùn)行,join()就是告訴主進(jìn)程老子要運(yùn)行子進(jìn)程了,你先等等。
import time import multiprocessing def doIt(num): print("Process num is : %s" % num) time.sleep(1) print('process %s end' % num) if __name__ == '__main__': print('mainProcess start') #記錄一下開始執(zhí)行的時(shí)間 start_time = time.time() # 創(chuàng)建一個(gè)進(jìn)程池,最大允許3個(gè)子進(jìn)程同時(shí)執(zhí)行。 pool = multiprocessing.Pool(3) print('Child start') for i in range(3): pool.apply_async(doIt,[i]) pool.close() pool.join() print('mainProcess done time:%s s' % (time.time() - start_time))
結(jié)果如下所示:
我們看看加入這兩句的運(yùn)行結(jié)果, 我們可以看到即使是使用了非阻塞主進(jìn)程的apply_async() 也能讓子進(jìn)程運(yùn)行完畢之后再執(zhí)行主進(jìn)程了。
CPU在執(zhí)行第一個(gè)子進(jìn)程的時(shí)候, 還沒(méi)等第一個(gè)子進(jìn)程結(jié)束, 系統(tǒng)調(diào)度到了按順序調(diào)度到了第二個(gè)子進(jìn)程, 以此類推, 一直調(diào)度運(yùn)行子進(jìn)程, 一個(gè)接一個(gè)地結(jié)束子進(jìn)程的運(yùn)行, 最后運(yùn)行主進(jìn)程, 而且我們可以看到使用apply_async()的執(zhí)行效力會(huì)更高,看一下他們各自執(zhí)行結(jié)果最后一句的執(zhí)行消耗時(shí)間就知道了, 這也是官方推薦我們使用apply_async()的主要原因吧
到此這篇關(guān)于python中multiprosessing模塊的Pool()類中的apply()函數(shù)和apply_async()函數(shù)的區(qū)別的文章就介紹到這了,更多相關(guān)python multiprosessing內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python with語(yǔ)句上下文管理器兩種實(shí)現(xiàn)方法分析
這篇文章主要介紹了Python with語(yǔ)句上下文管理器兩種實(shí)現(xiàn)方法,結(jié)合實(shí)例形式較為詳細(xì)的分析了Python上下文管理器的相關(guān)概念、功能、使用方法及相關(guān)操作注意事項(xiàng),需要的朋友可以參考下2018-02-02關(guān)于Python-faker的函數(shù)效果一覽
今天小編就為大家分享一篇關(guān)于Python-faker的函數(shù)效果一覽,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-11-11在Python中使用Fsolve函數(shù)的過(guò)程解析
這篇文章主要介紹了在Python中使用Fsolve函數(shù)的過(guò)程解析,在這篇文章中,我們了解到fsolve?是用來(lái)尋找非線性方程的根的,了解到fsolve?可以接受的不同種類的參數(shù)以及每個(gè)參數(shù)的含義,需要的朋友可以參考下2023-06-06如何一分鐘內(nèi)找出pandas DataFrame某列中的nan值
這篇文章主要介紹了如何一分鐘內(nèi)找出pandas DataFrame某列中的nan值問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-09-09python使用cStringIO實(shí)現(xiàn)臨時(shí)內(nèi)存文件訪問(wèn)的方法
這篇文章主要介紹了python使用cStringIO實(shí)現(xiàn)臨時(shí)內(nèi)存文件訪問(wèn)的方法,涉及Python使用cStringIO模塊操作內(nèi)存的技巧,需要的朋友可以參考下2015-03-03python實(shí)戰(zhàn)串口助手_解決8串口多個(gè)發(fā)送的問(wèn)題
今天小編就為大家分享一篇python實(shí)戰(zhàn)串口助手_解決8串口多個(gè)發(fā)送的問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-06-06Python?數(shù)據(jù)類型中的字符串和數(shù)字
這篇文章主要介紹了Python?數(shù)據(jù)類型中的字符串和數(shù)字,Python3中有六個(gè)標(biāo)準(zhǔn)的數(shù)據(jù)類型,Number、String、List、Tuple、Set、Dictionary,加先來(lái)我們就來(lái)看看這幾種數(shù)據(jù)類型的具體相關(guān)介紹,需要的小伙伴可以參考一下2022-02-02