對(duì)Python3之進(jìn)程池與回調(diào)函數(shù)的實(shí)例詳解
進(jìn)程池
代碼演示
方式一
from multiprocessing import Pool def deal_task(n): n -= 1 return n if __name__ == '__main__': n = 10 p = Pool(4) for i in range(4): res = p.apply(deal_task, args=(n,)) #調(diào)用apply是一個(gè)串行的效果,任務(wù)會(huì)被進(jìn)程一個(gè)一個(gè)的處理,直接得到結(jié)果 #前提是執(zhí)行的任務(wù)必須要有返回值 print(res)
方式二
from multiprocessing import Pool def deal_task(n): n -= 1 return n if __name__ == '__main__': n = 10 p = Pool(4) obj_l = [] for i in range(4): #調(diào)用apply_async會(huì)返回一個(gè)對(duì)象,主進(jìn)程會(huì)不斷扔任務(wù)給線程池,讓子線程處理 obj = p.apply_async(deal_task, args=(n,)) obj_l.append(obj) #首先函數(shù)要有返回值 #調(diào)用close目的是防止join期間會(huì)有別的任務(wù)被添加到任務(wù)列表中 #不調(diào)用close會(huì)報(bào)錯(cuò) p.close() p.join() #join是要讓子進(jìn)程全部處理完之后得到結(jié)果統(tǒng)一處理,還有一個(gè)非常重要的原因是進(jìn)程池依附于主進(jìn)程,主進(jìn)程結(jié)束,進(jìn)程池消失。進(jìn)程池的任務(wù)沒有被處理程序就結(jié)束了。 for obj in obj_l: print(obj.get())
方式三
from multiprocessing import Pool import requests def get_page(url): ret = requests.get(url).text return {'url': url, 'ret': ret} def parse_page(ret): with open('ab.txt', 'a') as f: f.write('%s - %s\n' % (ret['url'], len(ret['ret']))) if __name__ == '__main__': urls = [ 'https://www.baidu.com', 'http://www.openstack.org', 'https://www.python.org', 'https://help.github.com/', 'http://www.sina.com.cn/' ] p = Pool() for url in urls: #使用回調(diào)函數(shù),當(dāng)get_page下載完后,主線程調(diào)用parse_page自動(dòng)處理get_page下載的結(jié)果,節(jié)省了parse_page的時(shí)間,該場(chǎng)景用于一個(gè)函數(shù)為耗時(shí)操作并且產(chǎn)生數(shù)據(jù),另一個(gè)函數(shù)是非耗時(shí)操作,這樣就節(jié)省了非耗時(shí)操作函數(shù)的時(shí)間 p.apply_async(get_page, args=(url,), callback=parse_page) p.close() p.join() print('主')
join是要讓子進(jìn)程全部處理完之后得到結(jié)果統(tǒng)一處理,還有一個(gè)非常重要的原因是進(jìn)程池依附于主進(jìn)程,主進(jìn)程結(jié)束,進(jìn)程池消失。進(jìn)程池的任務(wù)沒有被處理程序就結(jié)束了。
以上這篇對(duì)Python3之進(jìn)程池與回調(diào)函數(shù)的實(shí)例詳解就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
Python進(jìn)程multiprocessing.Process()的使用解讀
這篇文章主要介紹了Python進(jìn)程multiprocessing.Process()的使用,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-02-02使用Python爬取最好大學(xué)網(wǎng)大學(xué)排名
這篇文章主要介紹了如何使用Python爬取最好大學(xué)網(wǎng)大學(xué)排名,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2018-02-02使用pyplot.matshow()函數(shù)添加繪圖標(biāo)題
這篇文章主要介紹了使用pyplot.matshow()函數(shù)添加繪圖標(biāo)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-06-06Python2和Python3讀取文本文件的區(qū)別及說(shuō)明
這篇文章主要介紹了Python2和Python3讀取文本文件的區(qū)別及說(shuō)明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-02-02Python使用logging結(jié)合decorator模式實(shí)現(xiàn)優(yōu)化日志輸出的方法
這篇文章主要介紹了Python使用logging結(jié)合decorator模式實(shí)現(xiàn)優(yōu)化日志輸出的方法,實(shí)例分析了Python使用logging模塊操作日志的相關(guān)技巧,需要的朋友可以參考下2016-04-04Python Web框架Flask中使用百度云存儲(chǔ)BCS實(shí)例
這篇文章主要介紹了Python Web框架Flask中使用百度云存儲(chǔ)BCS實(shí)例,本文調(diào)用了百度云存儲(chǔ)Python SDK中的相關(guān)類,需要的朋友可以參考下2015-02-02