Python多進程原理與用法分析

更新時間：2018年08月21日 08:40:28 作者：噴跑的豆子

這篇文章主要介紹了Python多進程原理與用法,結合實例形式分析了Python多進程原理、開啟使用進程、進程隊列、進程池等相關概念與使用方法,需要的朋友可以參考下

本文實例講述了Python多進程原理與用法。分享給大家供大家參考，具體如下：

進程是程序在計算機上的一次執(zhí)行活動。當你運行一個程序，你就啟動了一個進程。顯然，程序是死的(靜態(tài)的)，進程是活的(動態(tài)的)。進程可以分為系統(tǒng)進程和用戶進程。凡是用于完成操作系統(tǒng)的各種功能的進程就是系統(tǒng)進程，它們就是處于運行狀態(tài)下的操作系統(tǒng)本身；所有由你啟動的進程都是用戶進程。進程是操作系統(tǒng)進行資源分配的單位。

開啟一個進程

import multiprocessing,time,os
def runtask():
  time.sleep(2)
  print("開啟一個進程:%s"%os.getpid())
if __name__ == "__main__":
  p = multiprocessing.Process(target=runtask,)
  p.start()

進程隊列

import multiprocessing
def runtask():
  q.put([42,"python"])
if __name__ == "__main__":
  q = multiprocessing.Queue()
  p = multiprocessing.Process(target=runtask,)
  p.start()
  print(q.get())   # 打印結果:[42,"python"]

pipe管道

返回兩個連接對象。代表管道的兩端，默認雙向通信。

import multiprocessing
def runtask():
  conn.send("abc")
  conn.close()
if __name__ == "__main__":
  conn,pconn = multiprocessing.Pipe()
  p = multiprocessing.Process()
  p.start()
  print(pconn.recv())   # 打印結果:"abc"

Value、Array

共享內(nèi)存有兩個結構，一個是Value，一個是Array，這兩個結構內(nèi)部都實現(xiàn)了鎖機制，因此進程是安全的。

import multiprocess
def runtask():
  d.value = 50
  for index in range(len(a)):
    a[index]+=10
if __name__ == "__main__":
  # 下面的字符"d"、"i"似乎是固定的，換成其他將會報錯。求大神解釋
  d = Value("d",20)
  a = Array("i",range(10))
  p = multiprocessing.Process(target=runtask,)
  p.start()
  p.join()  # 等待進程執(zhí)行完畢
  print(d.value,a[:])   # 打印結果: 50.0 [10, 11, 12, 13, 14, 15, 16, 17, 18, 19]

Manager

Python實現(xiàn)多進程之間通信除了Queue(隊列)、Pipe(管道)和Value-Array之外，還提供了更高層次的封裝。Manager支持的類型非常多，如：list, dict, Namespace, Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event, Queue, Value 和 Array 用法如下：

import multiprocessing
def runtask():
  d["name"] = "laowang"
  l.reverse()
if __name__ == "__main__":
  with multiprocessing.Manager() as manager:
    d = manager.dict()
    l = manager.list(range(10))
    p = multiprocessing.Process(target=runtask,)
    p.start()
    p.join()    # 等待進程執(zhí)行完畢
    print(d,l)   # 打印結果:{'name': 'laowang'} [9, 8, 7, 6, 5, 4, 3, 2, 1, 0]

進程池Pool

Pool 是進程池，進程池能夠管理一定的進程，當有空閑進程時，則利用空閑進程完成任務，直到所有任務完成為止

import multiprocessing
def runtask():
  pass
def callBackTask(arg):     # 回調(diào)函數(shù)必須要有一個形參，否則將報錯
  print("執(zhí)行回調(diào)函數(shù)",arg)
if __name__ == "__main__":
  pool = multiprocessing.Pool(5)   # 設置進程池最大同時執(zhí)行進程數(shù)
  for index in range(20):
    pool.apply_async(func=runtask,callback=callBackTask)  # 并行的,有回調(diào)方法
    # pool.apply(func=runtask,)    # 串行的，無回調(diào)函數(shù)
  pool.close()  # 關閉進程池
  pool.join()   # #調(diào)用join之前，先調(diào)用close函數(shù)，否則會出錯。執(zhí)行完close后不會有新的進程加入到pool,join函數(shù)等待所有子進程結束

執(zhí)行結果:apply方法效果為一個進行接一個進程的執(zhí)行，而apply_async是同時有5個進程在執(zhí)行。

更多關于Python相關內(nèi)容感興趣的讀者可查看本站專題：《Python進程與線程操作技巧總結》、《Python Socket編程技巧總結》、《Python數(shù)據(jù)結構與算法教程》、《Python函數(shù)使用技巧總結》、《Python字符串操作技巧匯總》、《Python入門與進階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對大家Python程序設計有所幫助。

您可能感興趣的文章: