python 進程間數(shù)據(jù)共享multiProcess.Manger實現(xiàn)解析
一、進程之間的數(shù)據(jù)共享
展望未來,基于消息傳遞的并發(fā)編程是大勢所趨
即便是使用線程,推薦做法也是將程序設(shè)計為大量獨立的線程集合,通過消息隊列交換數(shù)據(jù)。
這樣極大地減少了對使用鎖定和其他同步手段的需求,還可以擴展到分布式系統(tǒng)中。
但進程間應(yīng)該盡量避免通信,即便需要通信,也應(yīng)該選擇進程安全的工具來避免加鎖帶來的問題。
以后我們會嘗試使用數(shù)據(jù)庫來解決現(xiàn)在進程之間的數(shù)據(jù)共享問題。
1.1 Manager模塊介紹
雖然進程間數(shù)據(jù)獨立,但可以通過Manager實現(xiàn)數(shù)據(jù)共享,事實上Manager的功能遠不止于此。
A manager object returned by Manager() controls a server process which holds Python objects and allows other processes to manipulate them using proxies.
A manager returned by Manager() will support types list, dict, Namespace, Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event, Barrier, Queue, Value and Array.
1.2 Manager例子
manager這里可以共享列表,字典等很多數(shù)據(jù)類型
from multiprocessing import Manager,Process,Lock def work(d,lock): lock.acquire() d['count'] -= 1 lock.release() if __name__ == '__main__': lock = Lock() with Manager() as m: dic = m.dict({'count':100})#生成一個字典,可在多個進程間共享和傳遞 p_l = [] for i in range(100): p = Process(target=work,args=(dic,lock)) p_l.append(p) p.start() for p in p_l: #等待結(jié)果 p.join() print(dic)
{'count':0}
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Python+redis通過限流保護高并發(fā)系統(tǒng)
這篇文章主要介紹了Python+redis通過限流保護高并發(fā)系統(tǒng),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-04-04python列表插入append(), extend(), insert()用法詳解
在本篇文章里小編給大家整理了關(guān)于python列表插入append(), extend(), insert()用法以及相關(guān)知識點,有需要的朋友們參考下。2019-09-09python利用thrift服務(wù)讀取hbase數(shù)據(jù)的方法
今天小編就為大家分享一篇python利用thrift服務(wù)讀取hbase數(shù)據(jù)的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12Matplotlib繪圖基礎(chǔ)之坐標(biāo)軸詳解
Matplotlib的坐標(biāo)軸是用于在繪圖中表示數(shù)據(jù)的位置的工具,也是為了幫助觀察者了解圖像中數(shù)據(jù)的位置和大小,下面小編就來和大家詳細(xì)聊聊Matplotlib繪圖時坐標(biāo)軸的具體使用吧2023-07-07Python如何統(tǒng)計函數(shù)調(diào)用的耗時
這篇文章主要為大家詳細(xì)介紹了如何使用Python實現(xiàn)統(tǒng)計函數(shù)調(diào)用的耗時,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2024-04-04Python判斷對象是否為文件對象(file object)的三種方法示例
這篇文章主要介紹了Python判斷對象是否為文件對象(file object)的三種方法示例,https://www.pythontab.com/html/2018/pythonhexinbiancheng_1015/1362.html2019-04-04Python通過pytesseract庫實現(xiàn)識別圖片中的文字
Pytesseract是一個Python的OCR庫,它可以識別圖片中的文本并將其轉(zhuǎn)換成文本形式。本文就來用pytesseract庫實現(xiàn)識別圖片中的文字,感興趣的可以了解一下2023-05-05