淺談python3.x pool.map()方法的實質(zhì)
我使用多進程的一般方式,都是multiprocessing模塊中的Pool.map()方法。下面寫一個簡單的示例和解析。至于此種方法使用多進程的效率問題,還希望大佬予以指正。
示例:
""" 探索pool.map多進程執(zhí)行方式的實質(zhì) """ from multiprocessing import Pool from time import sleep from datetime import datetime class forMap: def __init__(self): self.name = '沒啥用的初始化' def forPrinit(self, i): sleep(i) print(i) return i ** 2
基本的代碼已經(jīng)寫好,下面看看怎么使用多進程去執(zhí)行。
執(zhí)行示例1:
if __name__ == '__main__': s = datetime.now() tt = forMap() # 進程池中創(chuàng)建兩個進程,調(diào)用計算機的兩個內(nèi)核去幫我做事。 p = Pool(2) l = [2, 4, 6] rList = p.map(tt.forTest, l) print(rList) p.close() p.join() e = datetime.now() print('多進程執(zhí)行時間:', e - s)
運行結果:
2
4
6
[4, 16, 36]
多進程執(zhí)行時間: 0:00:08.191251
由于在進程池中創(chuàng)建了兩個進程,所以代碼會調(diào)用計算機的兩個內(nèi)核。而列表l中的三個元素中的前兩個(“2”和“4”),會依次傳入函數(shù)中,由計算機內(nèi)核A和B去執(zhí)行。當某一個內(nèi)核執(zhí)行完,會繼續(xù)接收下一個傳入?yún)?shù)“6”函數(shù)。而且內(nèi)核A執(zhí)行的函數(shù),只會sleep兩秒,所以,傳入?yún)?shù)“6”的函數(shù)會由內(nèi)核A去執(zhí)行。所以A一共執(zhí)行了2 + 6 為8秒,又由于是并行,所以總的執(zhí)行時間是8秒(多的那零點幾是初始化、賦值、打印等操作)。
執(zhí)行示例2:
if __name__ == '__main__': s = datetime.now() tt = forMap() # 進程池中創(chuàng)建三個進程 p = Pool(3) l = [2, 4, 6] rList = p.map(tt.forTest, l) print(rList) p.close() p.join() e = datetime.now() print('多進程執(zhí)行時間:', e - s)
執(zhí)行結果:
2
4
6
[4, 16, 36]
多進程執(zhí)行時間: 0:00:06.273263
創(chuàng)建了三個進程 ,并行執(zhí)行,所以執(zhí)行時間是6秒
執(zhí)行示例3:
if __name__ == '__main__': s = datetime.now() tt = forMap() # 進程池中創(chuàng)建三個進程 p = Pool(3) l = [2, 4, 6, 8] rList = p.map(tt.forTest, l) print(rList) p.close() p.join() e = datetime.now() print('多進程執(zhí)行時間:', e - s)
執(zhí)行結果:
2
4
6
8
[4, 16, 36, 64]
多進程執(zhí)行時間: 0:00:10.211451
在列表中添加一個元素,首先內(nèi)核A、B、C分別執(zhí)行2, 4, 6。A先結束,所以8也會由A來執(zhí)行。
執(zhí)行示例4:
if __name__ == '__main__': s = datetime.now() tt = forMap() # 進程池中創(chuàng)建三個進程 p = Pool(2) l = [2, 4, 8, 6] rList = p.map(tt.forTest, l) print(rList) p.close() p.join() e = datetime.now() print('多進程執(zhí)行時間:', e - s)
執(zhí)行結果:
2
4
8
6
[4, 16, 64, 36]
多進程執(zhí)行時間: 0:00:10.200389
還是創(chuàng)建兩個進程,將列表中第3和第4個元素交換位置,執(zhí)行結果為10秒多,而且返回值也是交換過位置之后的,說明map方法中,可迭代對象傳入函數(shù)是從前到后逐個提取元素。
以上就是本文的全部內(nèi)容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。
相關文章
python的set處理二維數(shù)組轉一維數(shù)組的方法示例
這篇文章主要介紹了python的set處理二維數(shù)組轉一維數(shù)組的方法示例,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2019-05-05python 實現(xiàn)讀取一個excel多個sheet表并合并的方法
今天小編就為大家分享一篇python 實現(xiàn)讀取一個excel多個sheet表并合并的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-02-02K近鄰法(KNN)相關知識總結以及如何用python實現(xiàn)
這篇文章主要介紹了K近鄰法(KNN)相關知識總結以及如何用python實現(xiàn),幫助大家更好的利用python實現(xiàn)機器學習,感興趣的朋友可以了解下2021-01-01Python趣味挑戰(zhàn)之用pygame實現(xiàn)飛機塔防游戲
一步步實現(xiàn)有趣的飛機塔防游戲,有興趣了解一下嗎?文中有非常詳細的代碼示例,對喜歡玩游戲的小伙伴們很有幫助哦,需要的朋友可以參考下2021-05-05Numpy對數(shù)組的操作:創(chuàng)建、變形(升降維等)、計算、取值、復制、分割、合并
這篇文章主要介紹了Numpy對數(shù)組的操作:創(chuàng)建、變形(升降維等)、計算、取值、復制、分割、合并,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2019-08-08