python 進(jìn)程間數(shù)據(jù)共享multiProcess.Manger實(shí)現(xiàn)解析
一、進(jìn)程之間的數(shù)據(jù)共享
展望未來,基于消息傳遞的并發(fā)編程是大勢(shì)所趨
即便是使用線程,推薦做法也是將程序設(shè)計(jì)為大量獨(dú)立的線程集合,通過消息隊(duì)列交換數(shù)據(jù)。
這樣極大地減少了對(duì)使用鎖定和其他同步手段的需求,還可以擴(kuò)展到分布式系統(tǒng)中。
但進(jìn)程間應(yīng)該盡量避免通信,即便需要通信,也應(yīng)該選擇進(jìn)程安全的工具來避免加鎖帶來的問題。
以后我們會(huì)嘗試使用數(shù)據(jù)庫來解決現(xiàn)在進(jìn)程之間的數(shù)據(jù)共享問題。
1.1 Manager模塊介紹
雖然進(jìn)程間數(shù)據(jù)獨(dú)立,但可以通過Manager實(shí)現(xiàn)數(shù)據(jù)共享,事實(shí)上Manager的功能遠(yuǎn)不止于此。
A manager object returned by Manager() controls a server process which holds Python objects and allows other processes to manipulate them using proxies.
A manager returned by Manager() will support types list, dict, Namespace, Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event, Barrier, Queue, Value and Array.
1.2 Manager例子
manager這里可以共享列表,字典等很多數(shù)據(jù)類型
from multiprocessing import Manager,Process,Lock
def work(d,lock):
lock.acquire()
d['count'] -= 1
lock.release()
if __name__ == '__main__':
lock = Lock()
with Manager() as m:
dic = m.dict({'count':100})#生成一個(gè)字典,可在多個(gè)進(jìn)程間共享和傳遞
p_l = []
for i in range(100):
p = Process(target=work,args=(dic,lock))
p_l.append(p)
p.start()
for p in p_l: #等待結(jié)果
p.join()
print(dic)
{'count':0}
以上就是本文的全部內(nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
- Python多進(jìn)程編程multiprocessing代碼實(shí)例
- Python進(jìn)程Multiprocessing模塊原理解析
- python multiprocessing多進(jìn)程變量共享與加鎖的實(shí)現(xiàn)
- Python進(jìn)程間通信 multiProcessing Queue隊(duì)列實(shí)現(xiàn)詳解
- python multiprocessing模塊用法及原理介紹
- Python Multiprocessing多進(jìn)程 使用tqdm顯示進(jìn)度條的實(shí)現(xiàn)
- python threading和multiprocessing模塊基本用法實(shí)例分析
- Python進(jìn)程間通信multiprocess代碼實(shí)例
相關(guān)文章
Python+redis通過限流保護(hù)高并發(fā)系統(tǒng)
這篇文章主要介紹了Python+redis通過限流保護(hù)高并發(fā)系統(tǒng),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-04-04
python列表插入append(), extend(), insert()用法詳解
在本篇文章里小編給大家整理了關(guān)于python列表插入append(), extend(), insert()用法以及相關(guān)知識(shí)點(diǎn),有需要的朋友們參考下。2019-09-09
python利用thrift服務(wù)讀取hbase數(shù)據(jù)的方法
今天小編就為大家分享一篇python利用thrift服務(wù)讀取hbase數(shù)據(jù)的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-12-12
Matplotlib繪圖基礎(chǔ)之坐標(biāo)軸詳解
Matplotlib的坐標(biāo)軸是用于在繪圖中表示數(shù)據(jù)的位置的工具,也是為了幫助觀察者了解圖像中數(shù)據(jù)的位置和大小,下面小編就來和大家詳細(xì)聊聊Matplotlib繪圖時(shí)坐標(biāo)軸的具體使用吧2023-07-07
Python如何統(tǒng)計(jì)函數(shù)調(diào)用的耗時(shí)
這篇文章主要為大家詳細(xì)介紹了如何使用Python實(shí)現(xiàn)統(tǒng)計(jì)函數(shù)調(diào)用的耗時(shí),文中的示例代碼講解詳細(xì),感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2024-04-04
Python判斷對(duì)象是否為文件對(duì)象(file object)的三種方法示例
這篇文章主要介紹了Python判斷對(duì)象是否為文件對(duì)象(file object)的三種方法示例,https://www.pythontab.com/html/2018/pythonhexinbiancheng_1015/1362.html2019-04-04
Python通過pytesseract庫實(shí)現(xiàn)識(shí)別圖片中的文字
Pytesseract是一個(gè)Python的OCR庫,它可以識(shí)別圖片中的文本并將其轉(zhuǎn)換成文本形式。本文就來用pytesseract庫實(shí)現(xiàn)識(shí)別圖片中的文字,感興趣的可以了解一下2023-05-05

