python 的生產(chǎn)者和消費者模式
python 的生產(chǎn)者和消費者模式
一、生產(chǎn)者消費者模式概述
在并發(fā)編程中使用生產(chǎn)者和消費者模式能夠解決大不多的并發(fā)問題。該模式通過平衡生產(chǎn)線程和消費線程的工作能力來提高程序的整體處理數(shù)據(jù)的速度。
二、為什么使用生產(chǎn)者消費者模式
在線程世界里，生產(chǎn)者就是生產(chǎn)數(shù)據(jù)的線程，消費者就是消費數(shù)據(jù)的線程。在多線程開發(fā)中，如果生產(chǎn)者處理速度很快，而消費者處理速度很慢，那么生產(chǎn)者就必須等待消費者處理完才能繼續(xù)生產(chǎn)數(shù)據(jù)。同樣的道理，如果消費者的處理能力大于生產(chǎn)者，那么消費者就必須等待生產(chǎn)者。為了解決這個問題引入了生產(chǎn)者和消費者模式。
三、什么是生產(chǎn)者消費者模式
生產(chǎn)者消費者模式是通過一個容器來解決生產(chǎn)者和消費者的強耦合問題。生產(chǎn)者和消費者彼此之間不直接通訊，而通過阻塞隊列來進行通訊，所以生產(chǎn)者生產(chǎn)完數(shù)據(jù)之后不用通過等待消費者處理，直接扔給阻塞隊列，消費者不著生產(chǎn)者拿數(shù)據(jù)，而是直接從阻塞隊列中取，阻塞隊列相當(dāng)于一個緩沖區(qū)，平衡了生產(chǎn)者和消費者的處理能力。
四、代碼案例
1、定義一個生產(chǎn)者
import threading
import queue
import time
#定義一個生產(chǎn)者
def producer():
count = 0
#判斷隊列中任務(wù)的數(shù)量
while q.qsize()<5:
print('第%s頓飯......',count)
q.put(count)
count+=1
time.sleep(1)
2、定義一個消費者
import threading
import queue
import time
#定義一個消費者
def consumer(name):
while True:
print("%s 吃了第%s飯" % (name,q.get()))
3、定義一個隊列
import threading
import queue
import time
#定義一個隊列
q = queue.Queue(maxsize=4)
t1 = threading.Thread(target=producer)
t2 = threading.Thread(target=consumer,args=('jibu',))
t1.start()
t2.start()
結(jié)果:
第%s頓飯...... 0 jibu 吃了第0飯 第%s頓飯...... 1 jibu 吃了第1飯 第%s頓飯...... 2 jibu 吃了第2飯 第%s頓飯...... 3 jibu 吃了第3飯 第%s頓飯...... 4 jibu 吃了第4飯 第%s頓飯...... 5 jibu 吃了第5飯 第%s頓飯...... 6 jibu 吃了第6飯 第%s頓飯...... 7 jibu 吃了第7飯 第%s頓飯...... 8 # 另外，如果供大于求或者求大于供，可以在相對小的一方在增加線程的數(shù)量
當(dāng)然如果需要進一步優(yōu)化可以讓消費者執(zhí)行完隊列中所有任務(wù)的時候告訴生產(chǎn)者一聲
import threading
import queue
import time
#定義一個生產(chǎn)者
def producer():
count = 0
#判斷隊列中任務(wù)的數(shù)量
for i in range(5):
print('第%s頓飯......',count)
q.put(count)
count+=1
time.sleep(1)
q.join()
#定義一個消費者
def consumer(name):
while True:
print("%s 吃了第%s飯" % (name,q.get()))
q.task_done()
print('消費者執(zhí)行完了所有任務(wù)')
#定義一個隊列
q = queue.Queue(maxsize=4)
t1 = threading.Thread(target=producer)
t2 = threading.Thread(target=consumer,args=('jibu',))
t1.start()
t2.start()
結(jié)果
第0頓飯......
jibu 吃了第0飯
消費者執(zhí)行完了所有任務(wù)
第1頓飯......
jibu 吃了第1飯
消費者執(zhí)行完了所有任務(wù)
第2頓飯......
jibu 吃了第2飯
消費者執(zhí)行完了所有任務(wù)
第3頓飯......
jibu 吃了第3飯
消費者執(zhí)行完了所有任務(wù)
第4頓飯......
jibu 吃了第4飯
消費者執(zhí)行完了所有任務(wù)
結(jié)論:
生產(chǎn)者消費者的2個主要作用
- 程序的解耦合
- 程序的異步執(zhí)行，提高了程序的運行效率(在排隊的時候可以做別的事，過一會可以回來拿這個結(jié)果)
到此這篇關(guān)于python 的生產(chǎn)者和消費者模式的文章就介紹到這了,更多相關(guān)python生產(chǎn)者消費者模式內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了python實現(xiàn)五子棋算法，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-05-05
這篇文章主要介紹了Django 內(nèi)置權(quán)限擴展案例詳解，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-03-03
Python練習(xí)之操作MySQL數(shù)據(jù)庫
這篇文章主要介紹了Python練習(xí)之操作MySQL數(shù)據(jù)庫，文章通過如何創(chuàng)建MySQL數(shù)據(jù)表？如何向MySQL表中插入數(shù)據(jù)？如何查詢MySQL中的數(shù)據(jù)？的三個問題展開了詳細(xì)的內(nèi)容介紹2022-06-06
python中的getattribute 、getattr、setattr方法詳解
這篇文章主要介紹了python中的getattribute 、getattr、setattr方法詳解,python類中默認(rèn)有一些特殊方法,這篇文章記錄一下特殊方法的功能及用法,需要的朋友可以參考下2023-11-11
這篇文章主要為大家分享如何利用Python Tkinter庫制作帶圖形界面的一個簽名設(shè)計工具，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以了解一下2022-04-04
在Python中,打包和解包參數(shù)是一種操作方式,可以將多個參數(shù)打包成一個元組或字典,也可以將一個元組或字典解包成多個參數(shù),本文就來介紹一下如何使用2023-09-09
Python數(shù)據(jù)可視化之Matplotlib初級使用指南
Matplotlib是Python中最常用的數(shù)據(jù)可視化庫之一，它提供了豐富的圖表類型和靈活的自定義選項，能幫助我們以更直觀的方式理解數(shù)據(jù)，本文將對Matplotlib的基本功能進行介紹，包括如何創(chuàng)建和自定義圖表等2023-07-07
Django?Rest?Framework實現(xiàn)身份認(rèn)證源碼詳解
這篇文章主要為大家介紹了Django?Rest?Framework實現(xiàn)身份認(rèn)證源碼詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-05-05
這篇文章主要介紹了Python中Pytest測試框架的fixture使用詳解,Pytest的fixture的目的是提供一個測試的基線，在此基線基礎(chǔ)上，可以更可靠的進行重復(fù)測試,需要的朋友可以參考下2023-08-08
關(guān)于你不想知道的所有Python3 unicode特性
我的讀者知道我是一個喜歡痛罵Python3 unicode的人。這次也不例外。我將會告訴你用unicode有多痛苦和為什么我不能閉嘴。我花了兩周時間研究Python3，我需要發(fā)泄我的失望。在這些責(zé)罵中，仍然有有用的信息，因為它教我們?nèi)绾蝸硖幚鞵ython3。如果沒有被我煩到，就讀一讀吧2014-11-11