本文實例講述了Python多進程multiprocessing、進程池用法。分享給大家供大家參考，具體如下：

內(nèi)容相關(guān)：

multiprocessing：

• 進程的創(chuàng)建與運行
• 進程常用相關(guān)函數(shù)

進程池：

• 為什么要有進程池
• 進程池的創(chuàng)建與運行：串行、并行
• 回調(diào)函數(shù)

多進程multiprocessing:

python中的多進程需要使用multiprocessing模塊

• 多進程的創(chuàng)建與運行：

1.進程的創(chuàng)建：進程對象=multiprocessing.Process(target=函數(shù)名,args=(參數(shù),))【補充，由于args是一個元組，單個參數(shù)時要加“,”】

2.進程的運行:  進程對象.start()

進程的join跟線程的join一樣，意義是 “阻塞當前進程，直到調(diào)用join方法的那個進程執(zhí)行完，再繼續(xù)執(zhí)行當前進程”

注：在windows中代碼中必須使用這個，在Linux 中不需要加這個

import multiprocessing,time,os

def thread_run():
  print(threading.current_thread())

def run(name):
  time.sleep(1)
  print("hello",name,"run in ",os.getpid(),"ppid:",os.getppid())

if __name__=='__main__':#必須加
  obj=[]
  for i in range(10):
    p=multiprocessing.Process(target=run,args=('bob',))
    obj.append(p)
    p.start()
  start_time=time.time()
  for i in obj:
    i.join()
  print("run in main")
  print("spend time :",time.time()-start_time)

• 與多線程同樣的：也可以通過繼承multiprocessing的Process來創(chuàng)建進程

繼承multiprocessing的Process類的類要主要做兩件事：

1.如果初始化自己的變量，則先要調(diào)用父類的__init__()【如果不調(diào)用，則要自己填寫相關(guān)的參數(shù)，麻煩！】然后做自己的初始化;如果不需要初始化自己的變量，那么不需要重寫__init__,直接使用父類的__init__即可【已經(jīng)繼承了】

2.重寫run函數(shù)

import multiprocessing

class myProcess(multiprocessing.Process):
  def run(self):
    print("run in myProcess")

if __name__=="__main__":
  p=myProcess()
  p.start()
  p.join()

進程常用相關(guān)函數(shù)：

• os.getpid():獲取當前進程號。
• os.getppid():獲取當前進程的父進程號。
• 進程對象.is_alive():判斷進程是否存活

• 進程對象.terminate():結(jié)束進程【不建議的方法，現(xiàn)實少用】

進程池：

• 為什么需要進程池
  • 如果要啟動大量的子進程，可以用進程池的方式批量創(chuàng)建子進程，而進程池可以限制運行的進程的數(shù)量【有太多人想要游泳，而池子的容量決定了游泳的人的數(shù)量
  • Pool類可以提供指定數(shù)量的進程供用戶調(diào)用，當有新的請求提交到Pool中時，如果池還沒有滿，就會創(chuàng)建一個新的進程來執(zhí)行請求。如果進程池滿了，請求就會告知先等待，直到池中有進程結(jié)束，才會創(chuàng)建新的進程來執(zhí)行這些請求

• 進程池的創(chuàng)建與使用：
  • 使用進程池需要導(dǎo)入：from multiprocessing import Pool
  • 創(chuàng)建進程池：進程池對象=Pool(容量)
  • 給進程池添加進程：
    • 串行：進程池對象.apply(func=函數(shù)名,args=(參數(shù),))

from multiprocessing import Pool
import time,os

def func1(i):
  time.sleep(1)
  print("run in process:",os.getpid())

if __name__=="__main__":
  pool=Pool(5)

  start_time = time.time()
  for i in range(10):
    pool.apply(func=func1,args=(i,))#串行,這里是加一個運行完再加一個
   pool.close()#先close再等待
   pool.join()
  print("main run done,spend_time:",time.time()-start_time)

• 并行：進程池對象.apply_async(func=函數(shù)名,args=(參數(shù),),callback=回調(diào)函數(shù))

from multiprocessing import Pool
import time,os

def func1(i):
  time.sleep(1)
  print("run in process:",os.getpid())


if __name__=="__main__":
  pool=Pool(5)

  start_time = time.time()
  for i in range(10):
    pool.apply_async(func=func1,args=(i,))#并行
    
  pool.close()#先close再等待
  pool.join()
  print("main run done,spend_time:",time.time()-start_time)#2.6，證明是并行

• 回調(diào)函數(shù)的使用：在并行中，支持callback=回調(diào)函數(shù)，當一個進程執(zhí)行完畢后會調(diào)用該回調(diào)函數(shù)，并且參數(shù)為func中的返回值
• 注意：回調(diào)函數(shù)是在父進程中執(zhí)行的！【當兒子執(zhí)行完后，會在父親里調(diào)用函數(shù)】

from multiprocessing import Pool
import time,os

def func1(i):
  time.sleep(1)
  print("run in process:",os.getpid())
  return "filename"


def log(arg):##參數(shù)為進程創(chuàng)建中func的函數(shù)的返回值
  print("log done :",arg)

if __name__=="__main__":
  pool=Pool(5)

  start_time = time.time()
  for i in range(10):
    pool.apply_async(func=func1,args=(i,),callback=log,)#log的參數(shù)是func1的返回值

  pool.close()#先close再等待
  pool.join()
  print("main run done,spend_time:",time.time()-start_time)

• 注：對Pool對象調(diào)用join()方法會等待所有子進程執(zhí)行完畢，調(diào)用join()之前必須先調(diào)用close()，調(diào)用close()之后就不能繼續(xù)添加新的Process了。【意思就是比如游泳池只賣1個小時的票，約定5點關(guān)門，那么4點多之后就不能再賣票了，就一直等著游泳池里面的人出來再關(guān)門，進程池的close是一個關(guān)門的意思，并不是結(jié)束的意思，它只是關(guān)上了進來的門，而里面的進程還可以運行】【進程池的join是等池子里的所有進程執(zhí)行完畢，如果后面再進來進程的話就沒完沒了了，所以需要先關(guān)閉進入，再等待進程結(jié)束】
  • 
    • 小測試：

更多關(guān)于Python相關(guān)內(nèi)容感興趣的讀者可查看本站專題：《Python進程與線程操作技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進階經(jīng)典教程》、《Python+MySQL數(shù)據(jù)庫程序設(shè)計入門教程》及《Python常見數(shù)據(jù)庫操作技巧匯總》

希望本文所述對大家Python程序設(shè)計有所幫助。

最新評論