Python 進程操作之進程間通過隊列共享數(shù)據(jù)，隊列Queue簡單示例

更新時間：2019年10月11日 11:13:12 作者：houyanhua1

這篇文章主要介紹了Python 進程操作之進程間通過隊列共享數(shù)據(jù)，隊列Queue,結(jié)合實例形式分析了Python進程數(shù)據(jù)共享、隊列數(shù)據(jù)處理相關操作技巧,需要的朋友可以參考下

本文實例講述了Python 進程操作之進程間通過隊列共享數(shù)據(jù)，隊列Queue。分享給大家供大家參考，具體如下：

隊列中的數(shù)據(jù)是放在內(nèi)存中的，可以通過分布式緩存redis優(yōu)化隊列。

demo.py（進程通過隊列共享數(shù)據(jù)）：

import multiprocessing
def download_from_web(q):
  """下載數(shù)據(jù)"""
  # 模擬從網(wǎng)上下載的數(shù)據(jù)
  data = [11, 22, 33, 44]
  # 向隊列中寫入數(shù)據(jù)
  for temp in data:
    q.put(temp) # 隊列中寫數(shù)據(jù),隊列滿了會阻塞。 put_nowait() 隊列滿了會拋異常
  print("---下載器已經(jīng)下載完了數(shù)據(jù)并且存入到隊列中----")
def analysis_data(q):
  """數(shù)據(jù)處理"""
  waitting_analysis_data = list()
  # 從隊列中獲取數(shù)據(jù)
  while True:
    data = q.get() # 隊列中讀數(shù)據(jù),隊列空了會阻塞。 get_nowait() 隊列空了會拋異常
    waitting_analysis_data.append(data)
    if q.empty(): # 隊列是否為空。 q.full() 隊列是否滿了。
      break
  # 模擬數(shù)據(jù)處理
  print(waitting_analysis_data)
def main():
  # 1. 創(chuàng)建一個隊列 (先進先出)
  q = multiprocessing.Queue(10) # 最多放10個數(shù)據(jù)。 如果不指定長度,默認最大(和硬件相關)
  # 2. 創(chuàng)建多個進程，將隊列的引用當做實參進行傳遞
  p1 = multiprocessing.Process(target=download_from_web, args=(q,))
  p2 = multiprocessing.Process(target=analysis_data, args=(q,))
  p1.start()
  p2.start()
if __name__ == "__main__":
  main()

運行結(jié)果：