Python多進(jìn)程原理與用法分析
本文實(shí)例講述了Python多進(jìn)程原理與用法。分享給大家供大家參考,具體如下:
進(jìn)程是程序在計(jì)算機(jī)上的一次執(zhí)行活動。當(dāng)你運(yùn)行一個程序,你就啟動了一個進(jìn)程。顯然,程序是死的(靜態(tài)的),進(jìn)程是活的(動態(tài)的)。進(jìn)程可以分為系統(tǒng)進(jìn)程和用戶進(jìn)程。凡是用于完成操作系統(tǒng)的各種功能的進(jìn)程就是系統(tǒng)進(jìn)程,它們就是處于運(yùn)行狀態(tài)下的操作系統(tǒng)本身;所有由你啟動的進(jìn)程都是用戶進(jìn)程。進(jìn)程是操作系統(tǒng)進(jìn)行資源分配的單位。
開啟一個進(jìn)程
import multiprocessing,time,os def runtask(): time.sleep(2) print("開啟一個進(jìn)程:%s"%os.getpid()) if __name__ == "__main__": p = multiprocessing.Process(target=runtask,) p.start()
進(jìn)程隊(duì)列
import multiprocessing def runtask(): q.put([42,"python"]) if __name__ == "__main__": q = multiprocessing.Queue() p = multiprocessing.Process(target=runtask,) p.start() print(q.get()) # 打印結(jié)果:[42,"python"]
pipe管道
返回兩個連接對象。代表管道的兩端,默認(rèn)雙向通信。
import multiprocessing def runtask(): conn.send("abc") conn.close() if __name__ == "__main__": conn,pconn = multiprocessing.Pipe() p = multiprocessing.Process() p.start() print(pconn.recv()) # 打印結(jié)果:"abc"
Value、Array
共享內(nèi)存有兩個結(jié)構(gòu),一個是Value,一個是Array,這兩個結(jié)構(gòu)內(nèi)部都實(shí)現(xiàn)了鎖機(jī)制,因此進(jìn)程是安全的。
import multiprocess def runtask(): d.value = 50 for index in range(len(a)): a[index]+=10 if __name__ == "__main__": # 下面的字符"d"、"i"似乎是固定的,換成其他將會報(bào)錯。求大神解釋 d = Value("d",20) a = Array("i",range(10)) p = multiprocessing.Process(target=runtask,) p.start() p.join() # 等待進(jìn)程執(zhí)行完畢 print(d.value,a[:]) # 打印結(jié)果: 50.0 [10, 11, 12, 13, 14, 15, 16, 17, 18, 19]
Manager
Python實(shí)現(xiàn)多進(jìn)程之間通信除了Queue(隊(duì)列)、Pipe(管道)和Value-Array之外,還提供了更高層次的封裝。Manager支持的類型非常多,如:list, dict, Namespace, Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event, Queue, Value 和 Array 用法如下:
import multiprocessing def runtask(): d["name"] = "laowang" l.reverse() if __name__ == "__main__": with multiprocessing.Manager() as manager: d = manager.dict() l = manager.list(range(10)) p = multiprocessing.Process(target=runtask,) p.start() p.join() # 等待進(jìn)程執(zhí)行完畢 print(d,l) # 打印結(jié)果:{'name': 'laowang'} [9, 8, 7, 6, 5, 4, 3, 2, 1, 0]
進(jìn)程池Pool
Pool 是進(jìn)程池,進(jìn)程池能夠管理一定的進(jìn)程,當(dāng)有空閑進(jìn)程時(shí),則利用空閑進(jìn)程完成任務(wù),直到所有任務(wù)完成為止
import multiprocessing def runtask(): pass def callBackTask(arg): # 回調(diào)函數(shù)必須要有一個形參,否則將報(bào)錯 print("執(zhí)行回調(diào)函數(shù)",arg) if __name__ == "__main__": pool = multiprocessing.Pool(5) # 設(shè)置進(jìn)程池最大同時(shí)執(zhí)行進(jìn)程數(shù) for index in range(20): pool.apply_async(func=runtask,callback=callBackTask) # 并行的,有回調(diào)方法 # pool.apply(func=runtask,) # 串行的,無回調(diào)函數(shù) pool.close() # 關(guān)閉進(jìn)程池 pool.join() # #調(diào)用join之前,先調(diào)用close函數(shù),否則會出錯。執(zhí)行完close后不會有新的進(jìn)程加入到pool,join函數(shù)等待所有子進(jìn)程結(jié)束
執(zhí)行結(jié)果:apply方法效果為一個進(jìn)行接一個進(jìn)程的執(zhí)行,而apply_async是同時(shí)有5個進(jìn)程在執(zhí)行。
更多關(guān)于Python相關(guān)內(nèi)容感興趣的讀者可查看本站專題:《Python進(jìn)程與線程操作技巧總結(jié)》、《Python Socket編程技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設(shè)計(jì)有所幫助。
- Python多進(jìn)程并發(fā)(multiprocessing)用法實(shí)例詳解
- Python控制多進(jìn)程與多線程并發(fā)數(shù)總結(jié)
- python并發(fā)編程之多進(jìn)程、多線程、異步和協(xié)程詳解
- Python多進(jìn)程并發(fā)與多線程并發(fā)編程實(shí)例總結(jié)
- Python 多進(jìn)程并發(fā)操作中進(jìn)程池Pool的實(shí)例
- 理論講解python多進(jìn)程并發(fā)編程
- Python并發(fā)之多進(jìn)程的方法實(shí)例代碼
- Python3多進(jìn)程 multiprocessing 模塊實(shí)例詳解
- Python多進(jìn)程庫multiprocessing中進(jìn)程池Pool類的使用詳解
- Python多進(jìn)程與服務(wù)器并發(fā)原理及用法實(shí)例分析
相關(guān)文章
Python系統(tǒng)公網(wǎng)私網(wǎng)流量監(jiān)控實(shí)現(xiàn)流程
這篇文章主要介紹了Python系統(tǒng)公網(wǎng)私網(wǎng)流量監(jiān)控實(shí)現(xiàn)流程,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-11-11在Mac下使用python實(shí)現(xiàn)簡單的目錄樹展示方法
今天小編就為大家分享一篇在Mac下使用python實(shí)現(xiàn)簡單的目錄樹展示方法,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-11-11Python調(diào)用高德API實(shí)現(xiàn)批量地址轉(zhuǎn)經(jīng)緯度并寫入表格的功能
這篇文章主要介紹了Python調(diào)用高德API實(shí)現(xiàn)批量地址轉(zhuǎn)經(jīng)緯度并寫入表格的功能,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-01-01python求加權(quán)平均值的實(shí)例(附純python寫法)
今天小編就為大家分享一篇python求加權(quán)平均值的實(shí)例(附純python寫法),具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08Python字符串逆序的實(shí)現(xiàn)方法【一題多解】
今天小編就為大家分享一篇關(guān)于Python字符串逆序的實(shí)現(xiàn)方法【一題多解】,小編覺得內(nèi)容挺不錯的,現(xiàn)在分享給大家,具有很好的參考價(jià)值,需要的朋友一起跟隨小編來看看吧2019-02-02解決Pytorch中的神坑:關(guān)于model.eval的問題
這篇文章主要介紹了解決Pytorch中的神坑:關(guān)于model.eval的問題,具有很好的參考價(jià)值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2021-05-05