python 進(jìn)程間數(shù)據(jù)共享multiProcess.Manger實(shí)現(xiàn)解析
一、進(jìn)程之間的數(shù)據(jù)共享
展望未來(lái),基于消息傳遞的并發(fā)編程是大勢(shì)所趨
即便是使用線程,推薦做法也是將程序設(shè)計(jì)為大量獨(dú)立的線程集合,通過(guò)消息隊(duì)列交換數(shù)據(jù)。
這樣極大地減少了對(duì)使用鎖定和其他同步手段的需求,還可以擴(kuò)展到分布式系統(tǒng)中。
但進(jìn)程間應(yīng)該盡量避免通信,即便需要通信,也應(yīng)該選擇進(jìn)程安全的工具來(lái)避免加鎖帶來(lái)的問(wèn)題。
以后我們會(huì)嘗試使用數(shù)據(jù)庫(kù)來(lái)解決現(xiàn)在進(jìn)程之間的數(shù)據(jù)共享問(wèn)題。
1.1 Manager模塊介紹
雖然進(jìn)程間數(shù)據(jù)獨(dú)立,但可以通過(guò)Manager實(shí)現(xiàn)數(shù)據(jù)共享,事實(shí)上Manager的功能遠(yuǎn)不止于此。
A manager object returned by Manager() controls a server process which holds Python objects and allows other processes to manipulate them using proxies.
A manager returned by Manager() will support types list, dict, Namespace, Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event, Barrier, Queue, Value and Array.
1.2 Manager例子
manager這里可以共享列表,字典等很多數(shù)據(jù)類型
from multiprocessing import Manager,Process,Lock def work(d,lock): lock.acquire() d['count'] -= 1 lock.release() if __name__ == '__main__': lock = Lock() with Manager() as m: dic = m.dict({'count':100})#生成一個(gè)字典,可在多個(gè)進(jìn)程間共享和傳遞 p_l = [] for i in range(100): p = Process(target=work,args=(dic,lock)) p_l.append(p) p.start() for p in p_l: #等待結(jié)果 p.join() print(dic)
{'count':0}
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
- Python多進(jìn)程編程multiprocessing代碼實(shí)例
- Python進(jìn)程Multiprocessing模塊原理解析
- python multiprocessing多進(jìn)程變量共享與加鎖的實(shí)現(xiàn)
- Python進(jìn)程間通信 multiProcessing Queue隊(duì)列實(shí)現(xiàn)詳解
- python multiprocessing模塊用法及原理介紹
- Python Multiprocessing多進(jìn)程 使用tqdm顯示進(jìn)度條的實(shí)現(xiàn)
- python threading和multiprocessing模塊基本用法實(shí)例分析
- Python進(jìn)程間通信multiprocess代碼實(shí)例
相關(guān)文章
Python+redis通過(guò)限流保護(hù)高并發(fā)系統(tǒng)
這篇文章主要介紹了Python+redis通過(guò)限流保護(hù)高并發(fā)系統(tǒng),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-04-04python列表插入append(), extend(), insert()用法詳解
在本篇文章里小編給大家整理了關(guān)于python列表插入append(), extend(), insert()用法以及相關(guān)知識(shí)點(diǎn),有需要的朋友們參考下。2019-09-09python利用thrift服務(wù)讀取hbase數(shù)據(jù)的方法
今天小編就為大家分享一篇python利用thrift服務(wù)讀取hbase數(shù)據(jù)的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-12-12Matplotlib繪圖基礎(chǔ)之坐標(biāo)軸詳解
Matplotlib的坐標(biāo)軸是用于在繪圖中表示數(shù)據(jù)的位置的工具,也是為了幫助觀察者了解圖像中數(shù)據(jù)的位置和大小,下面小編就來(lái)和大家詳細(xì)聊聊Matplotlib繪圖時(shí)坐標(biāo)軸的具體使用吧2023-07-07Python如何統(tǒng)計(jì)函數(shù)調(diào)用的耗時(shí)
這篇文章主要為大家詳細(xì)介紹了如何使用Python實(shí)現(xiàn)統(tǒng)計(jì)函數(shù)調(diào)用的耗時(shí),文中的示例代碼講解詳細(xì),感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2024-04-04基于Python的PIL庫(kù)學(xué)習(xí)詳解
這篇文章主要介紹了基于Python的PIL庫(kù)學(xué)習(xí)詳解,小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2019-05-05Python判斷對(duì)象是否為文件對(duì)象(file object)的三種方法示例
這篇文章主要介紹了Python判斷對(duì)象是否為文件對(duì)象(file object)的三種方法示例,https://www.pythontab.com/html/2018/pythonhexinbiancheng_1015/1362.html2019-04-04Python通過(guò)pytesseract庫(kù)實(shí)現(xiàn)識(shí)別圖片中的文字
Pytesseract是一個(gè)Python的OCR庫(kù),它可以識(shí)別圖片中的文本并將其轉(zhuǎn)換成文本形式。本文就來(lái)用pytesseract庫(kù)實(shí)現(xiàn)識(shí)別圖片中的文字,感興趣的可以了解一下2023-05-05