淺談python3.x pool.map()方法的實(shí)質(zhì)
我使用多進(jìn)程的一般方式,都是multiprocessing模塊中的Pool.map()方法。下面寫一個簡單的示例和解析。至于此種方法使用多進(jìn)程的效率問題,還希望大佬予以指正。
示例:
""" 探索pool.map多進(jìn)程執(zhí)行方式的實(shí)質(zhì) """ from multiprocessing import Pool from time import sleep from datetime import datetime class forMap: def __init__(self): self.name = '沒啥用的初始化' def forPrinit(self, i): sleep(i) print(i) return i ** 2
基本的代碼已經(jīng)寫好,下面看看怎么使用多進(jìn)程去執(zhí)行。
執(zhí)行示例1:
if __name__ == '__main__': s = datetime.now() tt = forMap() # 進(jìn)程池中創(chuàng)建兩個進(jìn)程,調(diào)用計算機(jī)的兩個內(nèi)核去幫我做事。 p = Pool(2) l = [2, 4, 6] rList = p.map(tt.forTest, l) print(rList) p.close() p.join() e = datetime.now() print('多進(jìn)程執(zhí)行時間:', e - s)
運(yùn)行結(jié)果:
2
4
6
[4, 16, 36]
多進(jìn)程執(zhí)行時間: 0:00:08.191251
由于在進(jìn)程池中創(chuàng)建了兩個進(jìn)程,所以代碼會調(diào)用計算機(jī)的兩個內(nèi)核。而列表l中的三個元素中的前兩個(“2”和“4”),會依次傳入函數(shù)中,由計算機(jī)內(nèi)核A和B去執(zhí)行。當(dāng)某一個內(nèi)核執(zhí)行完,會繼續(xù)接收下一個傳入?yún)?shù)“6”函數(shù)。而且內(nèi)核A執(zhí)行的函數(shù),只會sleep兩秒,所以,傳入?yún)?shù)“6”的函數(shù)會由內(nèi)核A去執(zhí)行。所以A一共執(zhí)行了2 + 6 為8秒,又由于是并行,所以總的執(zhí)行時間是8秒(多的那零點(diǎn)幾是初始化、賦值、打印等操作)。
執(zhí)行示例2:
if __name__ == '__main__': s = datetime.now() tt = forMap() # 進(jìn)程池中創(chuàng)建三個進(jìn)程 p = Pool(3) l = [2, 4, 6] rList = p.map(tt.forTest, l) print(rList) p.close() p.join() e = datetime.now() print('多進(jìn)程執(zhí)行時間:', e - s)
執(zhí)行結(jié)果:
2
4
6
[4, 16, 36]
多進(jìn)程執(zhí)行時間: 0:00:06.273263
創(chuàng)建了三個進(jìn)程 ,并行執(zhí)行,所以執(zhí)行時間是6秒
執(zhí)行示例3:
if __name__ == '__main__': s = datetime.now() tt = forMap() # 進(jìn)程池中創(chuàng)建三個進(jìn)程 p = Pool(3) l = [2, 4, 6, 8] rList = p.map(tt.forTest, l) print(rList) p.close() p.join() e = datetime.now() print('多進(jìn)程執(zhí)行時間:', e - s)
執(zhí)行結(jié)果:
2
4
6
8
[4, 16, 36, 64]
多進(jìn)程執(zhí)行時間: 0:00:10.211451
在列表中添加一個元素,首先內(nèi)核A、B、C分別執(zhí)行2, 4, 6。A先結(jié)束,所以8也會由A來執(zhí)行。
執(zhí)行示例4:
if __name__ == '__main__': s = datetime.now() tt = forMap() # 進(jìn)程池中創(chuàng)建三個進(jìn)程 p = Pool(2) l = [2, 4, 8, 6] rList = p.map(tt.forTest, l) print(rList) p.close() p.join() e = datetime.now() print('多進(jìn)程執(zhí)行時間:', e - s)
執(zhí)行結(jié)果:
2
4
8
6
[4, 16, 64, 36]
多進(jìn)程執(zhí)行時間: 0:00:10.200389
還是創(chuàng)建兩個進(jìn)程,將列表中第3和第4個元素交換位置,執(zhí)行結(jié)果為10秒多,而且返回值也是交換過位置之后的,說明map方法中,可迭代對象傳入函數(shù)是從前到后逐個提取元素。
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
python的set處理二維數(shù)組轉(zhuǎn)一維數(shù)組的方法示例
這篇文章主要介紹了python的set處理二維數(shù)組轉(zhuǎn)一維數(shù)組的方法示例,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2019-05-05python 實(shí)現(xiàn)讀取一個excel多個sheet表并合并的方法
今天小編就為大家分享一篇python 實(shí)現(xiàn)讀取一個excel多個sheet表并合并的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-02-02K近鄰法(KNN)相關(guān)知識總結(jié)以及如何用python實(shí)現(xiàn)
這篇文章主要介紹了K近鄰法(KNN)相關(guān)知識總結(jié)以及如何用python實(shí)現(xiàn),幫助大家更好的利用python實(shí)現(xiàn)機(jī)器學(xué)習(xí),感興趣的朋友可以了解下2021-01-01python抓取豆瓣圖片并自動保存示例學(xué)習(xí)
python抓取豆瓣圖片并自動保存示例學(xué)習(xí),示例使用了beautifulsoup庫分析HTML代碼,beautifulsoup是一個HTML/XML解析器,可以用來做網(wǎng)頁爬蟲2014-01-01Python趣味挑戰(zhàn)之用pygame實(shí)現(xiàn)飛機(jī)塔防游戲
一步步實(shí)現(xiàn)有趣的飛機(jī)塔防游戲,有興趣了解一下嗎?文中有非常詳細(xì)的代碼示例,對喜歡玩游戲的小伙伴們很有幫助哦,需要的朋友可以參考下2021-05-05Numpy對數(shù)組的操作:創(chuàng)建、變形(升降維等)、計算、取值、復(fù)制、分割、合并
這篇文章主要介紹了Numpy對數(shù)組的操作:創(chuàng)建、變形(升降維等)、計算、取值、復(fù)制、分割、合并,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-08-08