Python多進程編程常用方法解析
更新時間：2020年03月26日 11:14:55 作者：Python熱愛者
這篇文章主要介紹了Python多進程編程常用方法解析,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
python中的多線程其實并不是真正的多線程，如果想要充分地使用多核CPU資源，在python中大部分情況需要使用多進程。python提供了非常好用的多進程包Multiprocessing，只需要定義一個函數(shù)，python會完成其它所有事情。借助這個包，可以輕松完成從單進程到并發(fā)執(zhí)行的轉(zhuǎn)換。multiprocessing支持子進程、通信和共享數(shù)據(jù)、執(zhí)行不同形式的同步，提供了Process、Queue、Pipe、LocK等組件
一、Process
語法：Process([group[,target[,name[,args[,kwargs]]]]])
參數(shù)含義：target表示調(diào)用對象；args表示調(diào)用對象的位置參數(shù)元祖；kwargs表示調(diào)用對象的字典。name為別名，groups實際上不會調(diào)用。
方法：is_alive()：
join(timeout)：
run()：
start()：
terminate()：
屬性：authkey、daemon(要通過start()設(shè)置)、exitcode(進程在運行時為None、如果為-N，表示被信號N結(jié)束)、name、pid。其中daemon是父進程終止后自動終止，且自己不能產(chǎn)生新的進程，必須在start()之前設(shè)置。
1.創(chuàng)建函數(shù)，并將其作為單個進程
from multiprocessing import Process
def func(name):
print("%s曾經(jīng)是好人"%name)
if __name__ == "__main__":
p = Process(target=func,args=('kebi',))
p.start() #start()通知系統(tǒng)開啟這個進程
2.創(chuàng)建函數(shù)并將其作為多個進程
from multiprocessing import Process
import random,time
def hobby_motion(name):
print('%s喜歡運動'% name)
time.sleep(random.randint(1,3))
def hobby_game(name):
print('%s喜歡游戲'% name)
time.sleep(random.randint(1,3))
if __name__ == "__main__":
p1 = Process(target=hobby_motion,args=('付婷婷',))
p2 = Process(target=hobby_game,args=('科比',))
p1.start()
p2.start()
執(zhí)行結(jié)果：
付婷婷喜歡運動
科比喜歡游戲
3.將進程定義為類（開啟進程的另一種方法，并不是很常用）
from multiprocessing import Process
class MyProcess(Process):
def __init__(self,name):
super().__init__()
self.name = name
def run(self): #start()時，run自動調(diào)用，而且此處只能定義為run。
print("%s曾經(jīng)是好人"%self.name)
if __name__ == "__main__":
p = MyProcess('kebi')
p.start() #將Process當作父類，并且自定義一個函數(shù)。
4.daemon程序?qū)Ρ刃Ч?/strong>
不加daemon屬性
import time
def func(name):
print("work start:%s"% time.ctime())
time.sleep(2)
print("work end:%s"% time.ctime())
if __name__ == "__main__":
p = Process(target=func,args=('kebi',))
p.start()
print("this is over")
#執(zhí)行結(jié)果
this is over
work start:Thu Nov 30 16:12:00 2017
work end:Thu Nov 30 16:12:02 2017
加上daemon屬性
from multiprocessing import Process
import time
def func(name):
print("work start:%s"% time.ctime())
time.sleep(2)
print("work end:%s"% time.ctime())
if __name__ == "__main__":
p = Process(target=func,args=('kebi',))
p.daemon = True #父進程終止后自動終止，不能產(chǎn)生新進程，必須在start()之前設(shè)置
p.start()
print("this is over")
#執(zhí)行結(jié)果
this is over
設(shè)置了daemon屬性又想執(zhí)行完的方法：
import time
def func(name):
print("work start:%s"% time.ctime())
time.sleep(2)
print("work end:%s"% time.ctime())
if __name__ == "__main__":
p = Process(target=func,args=('kebi',))
p.daemon = True
p.start()
p.join() #執(zhí)行完前面的代碼再執(zhí)行后面的
print("this is over")
#執(zhí)行結(jié)果
work start:Thu Nov 30 16:18:39 2017
work end:Thu Nov 30 16:18:41 2017
this is over
5.join()：上面的代碼執(zhí)行完畢之后，才會執(zhí)行后i面的代碼。
先看一個例子：
from multiprocessing import Process
import time,os,random
def func(name,hour):
print("A lifelong friend:%s,%s"% (name,os.getpid()))
time.sleep(hour)
print("Good bother:%s"%name)
if __name__ == "__main__":
p = Process(target=func,args=('kebi',2))
p1 = Process(target=func,args=('maoxian',1))
p2 = Process(target=func,args=('xiaoniao',3))
p.start()
p1.start()
p2.start()
print("this is over")
執(zhí)行結(jié)果：
this is over #最后執(zhí)行，最先打印，說明start()只是開啟進程，并不是說一定要執(zhí)行完
A lifelong friend:kebi,12048
A lifelong friend:maoxian,8252
A lifelong friend:xiaoniao,6068
Good bother:maoxian #最先打印，第二位執(zhí)行
Good bother:kebi
Good bother:xiaoniao
添加join（）
from multiprocessing import Process
import time,os,random
def func(name,hour):
print("A lifelong friend:%s,%s"% (name,os.getpid()))
time.sleep(hour)
print("Good bother:%s"%name)
start = time.time()
if __name__ == "__main__":
p = Process(target=func,args=('kebi',2))
p1 = Process(target=func,args=('maoxian',1))
p2 = Process(target=func,args=('xiaoniao',3))
p.start()
p.join() #上面的代碼執(zhí)行完畢之后，再執(zhí)行后面的
p1.start()
p1.join()
p2.start()
p2.join()
print("this is over")
print(time.time() - start)
#執(zhí)行結(jié)果
A lifelong friend:kebi,14804
Good bother:kebi
A lifelong friend:maoxian,11120
Good bother:maoxian
A lifelong friend:xiaoniao,10252 #每個進程執(zhí)行完了，才會執(zhí)行下一個
Good bother:xiaoniao
this is over
6.497815370559692 #2+1+3+主程序執(zhí)行時間
改變一下位置
from multiprocessing import Process
import time,os,random
def func(name,hour):
print("A lifelong friend:%s,%s"% (name,os.getpid()))
time.sleep(hour)
print("Good bother:%s"%name)
start = time.time()
if __name__ == "__main__":
p = Process(target=func,args=('kebi',2))
p1 = Process(target=func,args=('maoxian',1))
p2 = Process(target=func,args=('xiaoniao',3))
p.start()
p1.start()
p2.start()
p.join() #需要2秒
p1.join() #到這時已經(jīng)執(zhí)行完
p2.join() #已經(jīng)執(zhí)行了2秒，還要1秒
print("this is over")
print(time.time() - start)
#執(zhí)行結(jié)果
A lifelong friend:kebi,13520
A lifelong friend:maoxian,11612
A lifelong friend:xiaoniao,17064 #幾乎是同時開啟執(zhí)行
Good bother:maoxian
Good bother:kebi
Good bother:xiaoniao
this is over
3.273620367050171 #以最長時間的為主
6.其它屬性和方法
from multiprocessing import Process
import time
def func(name):
print("work start:%s"% time.ctime())
time.sleep(2)
print("work end:%s"% time.ctime())
if __name__ == "__main__":
p = Process(target=func,args=('kebi',))
p.start()
p.terminate() #將進程殺死，而且必須放在start()后面，與daemon的功能類似
#執(zhí)行結(jié)果
this is over
from multiprocessing import Process
import time
def func(name):
print("work start:%s"% time.ctime())
time.sleep(2)
print("work end:%s"% time.ctime())
if __name__ == "__main__":
p = Process(target=func,args=('kebi',))
# p.daemon = True
print(p.is_alive())
p.start()
print(p.name) #獲取進程的名字
print(p.pid) #獲取進程的pid
print(p.is_alive()) #判斷進程是否存在
print("this is over")
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
cas是什么東西就不多說了,簡而言之就是單點登陸系統(tǒng),一處登陸,全網(wǎng)有權(quán)限的系統(tǒng)均可以訪問2014-07-07
Python實現(xiàn)判斷一個字符串是否包含子串的方法總結(jié)
這篇文章主要介紹了Python實現(xiàn)判斷一個字符串是否包含子串的方法,結(jié)合實例形式總結(jié)分析了四種比較常用的字符串子串判定方法,需要的朋友可以參考下2017-11-11
在本篇內(nèi)容中小編給大家分享的是一篇關(guān)于python亂用表達式的新手問題，需要的朋友們參考學(xué)習(xí)下吧。2020-05-05
python合并已經(jīng)存在的sheet數(shù)據(jù)到新sheet的方法
今天小編就為大家分享一篇python合并已經(jīng)存在的sheet數(shù)據(jù)到新sheet的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
Python?多處理模塊是一個強大的工具,用于實現(xiàn)并行處理,提高程序的性能和效率,本文將詳細介紹?Python?中多處理模塊的使用方法,希望對大家有所幫助2024-01-01
loss.item()是PyTorch中的一種方法,用于計算損失函數(shù)的值,下面這篇文章主要給大家介紹了關(guān)于loss.item()用法和注意事項的相關(guān)資料,需要的朋友可以參考下2023-06-06
使用Python中OpenCV和深度學(xué)習(xí)進行全面嵌套邊緣檢測
這篇文章主要介紹了使用Python中OpenCV和深度學(xué)習(xí)進行全面嵌套邊緣檢測，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-05-05
這篇文章主要介紹了python Windows最新版本安裝教程，是python的詳細安裝教程和環(huán)境變量的配置，需要的小伙伴可以參考一下，希望對你有所幫助2022-02-02
這篇文章主要介紹了Python不支持 i ++ 語法的原因解析,本文給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-07-07
這篇文章主要介紹了python常用排序算法的實現(xiàn)代碼,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-11-11