欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

一篇文章帶你搞定Python多進程

 更新時間:2022年01月06日 09:52:20   作者:程序員鑫港  
Python中的多進程是通過multiprocessing包來實現(xiàn)的,和多線程的threading.Thread差不多,它可以利用multiprocessing.Process對象來創(chuàng)建一個進程對象。本文將帶你深入了解Python多線程,需要的可以參考一下

1.Python多進程模塊

Python中的多進程是通過multiprocessing包來實現(xiàn)的,和多線程的threading.Thread差不多,它可以利用multiprocessing.Process對象來創(chuàng)建一個進程對象。這個進程對象的方法和線程對象的方法差不多也有start(), run(), join()等方法,其中有一個方法不同Thread線程對象中的守護線程方法是setDeamon,而Process進程對象的守護進程是通過設(shè)置daemon屬性來完成的。

下面說說Python多進程的實現(xiàn)方法,和多線程類似

2.Python多進程實現(xiàn)方法一

from multiprocessing import  Process

def fun1(name):
    print('測試%s多進程' %name)

if __name__ == '__main__':
    process_list = []
    for i in range(5):  #開啟5個子進程執(zhí)行fun1函數(shù)
        p = Process(target=fun1,args=('Python',)) #實例化進程對象
        p.start()
        process_list.append(p)

    for i in process_list:
        p.join()

    print('結(jié)束測試')

結(jié)果

測試Python多進程
測試Python多進程
測試Python多進程
測試Python多進程
測試Python多進程
結(jié)束測試
Process finished with exit code 0

上面的代碼開啟了5個子進程去執(zhí)行函數(shù),我們可以觀察結(jié)果,是同時打印的,這里實現(xiàn)了真正的并行操作,就是多個CPU同時執(zhí)行任務(wù)。我們知道進程是python中最小的資源分配單元,也就是進程中間的數(shù)據(jù),內(nèi)存是不共享的,每啟動一個進程,都要獨立分配資源和拷貝訪問的數(shù)據(jù),所以進程的啟動和銷毀的代價是比較大了,所以在實際中使用多進程,要根據(jù)服務(wù)器的配置來設(shè)定。

3.Python多進程實現(xiàn)方法二

還記得python多線程的第二種實現(xiàn)方法嗎?是通過類繼承的方法來實現(xiàn)的,python多進程的第二種實現(xiàn)方式也是一樣的

from multiprocessing import  Process

class MyProcess(Process): #繼承Process類
    def __init__(self,name):
        super(MyProcess,self).__init__()
        self.name = name

    def run(self):
        print('測試%s多進程' % self.name)


if __name__ == '__main__':
    process_list = []
    for i in range(5):  #開啟5個子進程執(zhí)行fun1函數(shù)
        p = MyProcess('Python') #實例化進程對象
        p.start()
        process_list.append(p)

    for i in process_list:
        p.join()

    print('結(jié)束測試')

結(jié)果

測試Python多進程
測試Python多進程
測試Python多進程
測試Python多進程
測試Python多進程
結(jié)束測試
Process finished with exit code 0

效果和第一種方式一樣。

我們可以看到Python多進程的實現(xiàn)方式和多線程的實現(xiàn)方式幾乎一樣。

Process類的其他方法

構(gòu)造方法:

Process([group [, target [, name [, args [, kwargs]]]]])

group: 線程組 

target: 要執(zhí)行的方法

name: 進程名

args/kwargs: 要傳入方法的參數(shù)

實例方法:

is_alive():返回進程是否在運行,bool類型。

join([timeout]):阻塞當前上下文環(huán)境的進程程,直到調(diào)用此方法的進程終止或到達指定的timeout(可選參數(shù))。

start():進程準備就緒,等待CPU調(diào)度

run():strat()調(diào)用run方法,如果實例進程時未制定傳入target,這star執(zhí)行t默認run()方法。

terminate():不管任務(wù)是否完成,立即停止工作進程

屬性:

daemon:和線程的setDeamon功能一樣

name:進程名字

pid:進程號

關(guān)于join,daemon的使用和python多線程一樣,這里就不在復述了。

4.Python多線程的通信

進程是系統(tǒng)獨立調(diào)度核分配系統(tǒng)資源(CPU、內(nèi)存)的基本單位,進程之間是相互獨立的,每啟動一個新的進程相當于把數(shù)據(jù)進行了一次克隆,子進程里的數(shù)據(jù)修改無法影響到主進程中的數(shù)據(jù),不同子進程之間的數(shù)據(jù)也不能共享,這是多進程在使用中與多線程最明顯的區(qū)別。但是難道Python多進程中間難道就是孤立的嗎?當然不是,python也提供了多種方法實現(xiàn)了多進程中間的通信和數(shù)據(jù)共享(可以修改一份數(shù)據(jù))

進程對列Queue

Queue在多線程中也說到過,在生成者消費者模式中使用,是線程安全的,是生產(chǎn)者和消費者中間的數(shù)據(jù)管道,那在python多進程中,它其實就是進程之間的數(shù)據(jù)管道,實現(xiàn)進程通信。

from multiprocessing import Process,Queue


def fun1(q,i):
    print('子進程%s 開始put數(shù)據(jù)' %i)
    q.put('我是%s 通過Queue通信' %i)

if __name__ == '__main__':
    q = Queue()

    process_list = []
    for i in range(3):
        p = Process(target=fun1,args=(q,i,))  #注意args里面要把q對象傳給我們要執(zhí)行的方法,這樣子進程才能和主進程用Queue來通信
        p.start()
        process_list.append(p)

    for i in process_list:
        p.join()

    print('主進程獲取Queue數(shù)據(jù)')
    print(q.get())
    print(q.get())
    print(q.get())
    print('結(jié)束測試')

結(jié)果

子進程0 開始put數(shù)據(jù)
子進程1 開始put數(shù)據(jù)
子進程2 開始put數(shù)據(jù)
主進程獲取Queue數(shù)據(jù)
我是0 通過Queue通信
我是1 通過Queue通信
我是2 通過Queue通信
結(jié)束測試
Process finished with exit code 0

上面的代碼結(jié)果可以看到我們主進程中可以通過Queue獲取子進程中put的數(shù)據(jù),實現(xiàn)進程間的通信。

管道Pipe

管道Pipe和Queue的作用大致差不多,也是實現(xiàn)進程間的通信,下面之間看怎么使用吧

from multiprocessing import Process, Pipe
def fun1(conn):
    print('子進程發(fā)送消息:')
    conn.send('你好主進程')
    print('子進程接受消息:')
    print(conn.recv())
    conn.close()

if __name__ == '__main__':
    conn1, conn2 = Pipe() #關(guān)鍵點,pipe實例化生成一個雙向管
    p = Process(target=fun1, args=(conn2,)) #conn2傳給子進程
    p.start()
    print('主進程接受消息:')
    print(conn1.recv())
    print('主進程發(fā)送消息:')
    conn1.send("你好子進程")
    p.join()
    print('結(jié)束測試')

結(jié)果

主進程接受消息:
子進程發(fā)送消息:
子進程接受消息:
你好主進程
主進程發(fā)送消息:
你好子進程
結(jié)束測試
Process finished with exit code 0

上面可以看到主進程和子進程可以相互發(fā)送消息

Managers

Queue和Pipe只是實現(xiàn)了數(shù)據(jù)交互,并沒實現(xiàn)數(shù)據(jù)共享,即一個進程去更改另一個進程的數(shù)據(jù)。那么久要用到Managers

from multiprocessing import Process, Manager

def fun1(dic,lis,index):

    dic[index] = 'a'
    dic['2'] = 'b'    
    lis.append(index)    #[0,1,2,3,4,0,1,2,3,4,5,6,7,8,9]
    #print(l)

if __name__ == '__main__':
    with Manager() as manager:
        dic = manager.dict()#注意字典的聲明方式,不能直接通過{}來定義
        l = manager.list(range(5))#[0,1,2,3,4]

        process_list = []
        for i in range(10):
            p = Process(target=fun1, args=(dic,l,i))
            p.start()
            process_list.append(p)

        for res in process_list:
            res.join()
        print(dic)
        print(l)

結(jié)果:

{0: 'a', '2': 'b', 3: 'a', 1: 'a', 2: 'a', 4: 'a', 5: 'a', 7: 'a', 6: 'a', 8: 'a', 9: 'a'}
[0, 1, 2, 3, 4, 0, 3, 1, 2, 4, 5, 7, 6, 8, 9]

可以看到主進程定義了一個字典和一個列表,在子進程中,可以添加和修改字典的內(nèi)容,在列表中插入新的數(shù)據(jù),實現(xiàn)進程間的數(shù)據(jù)共享,即可以共同修改同一份數(shù)據(jù)

5.進程池

進程池內(nèi)部維護一個進程序列,當使用時,則去進程池中獲取一個進程,如果進程池序列中沒有可供使用的進進程,那么程序就會等待,直到進程池中有可用進程為止。就是固定有幾個進程可以使用。

進程池中有兩個方法:

  • apply:同步,一般不使用
  • apply_async:異步
from  multiprocessing import Process,Pool
import os, time, random

def fun1(name):
    print('Run task %s (%s)...' % (name, os.getpid()))
    start = time.time()
    time.sleep(random.random() * 3)
    end = time.time()
    print('Task %s runs %0.2f seconds.' % (name, (end - start)))

if __name__=='__main__':
    pool = Pool(5) #創(chuàng)建一個5個進程的進程池

    for i in range(10):
        pool.apply_async(func=fun1, args=(i,))

    pool.close()
    pool.join()
    print('結(jié)束測試')

結(jié)果

Run task 0 (37476)...
Run task 1 (4044)...
Task 0 runs 0.03 seconds.
Run task 2 (37476)...
Run task 3 (17252)...
Run task 4 (16448)...
Run task 5 (24804)...
Task 2 runs 0.27 seconds.
Run task 6 (37476)...
Task 1 runs 0.58 seconds.
Run task 7 (4044)...
Task 3 runs 0.98 seconds.
Run task 8 (17252)...
Task 5 runs 1.13 seconds.
Run task 9 (24804)...
Task 6 runs 1.46 seconds.
Task 4 runs 2.73 seconds.
Task 8 runs 2.18 seconds.
Task 7 runs 2.93 seconds.
Task 9 runs 2.93 seconds.
結(jié)束測試

對Pool對象調(diào)用join()方法會等待所有子進程執(zhí)行完畢,調(diào)用join()之前必須先調(diào)用close(),調(diào)用close()之后就不能繼續(xù)添加新的Process了。

進程池map方法

案例來源于網(wǎng)絡(luò),侵權(quán)請告知,謝謝

因為網(wǎng)上看到這個例子覺得不錯,所以這里就不自己寫案例,這個案例比較有說服力

import os 
import PIL 

from multiprocessing import Pool 
from PIL import Image

SIZE = (75,75)
SAVE_DIRECTORY = \'thumbs\'

def get_image_paths(folder):
    return (os.path.join(folder, f) 
            for f in os.listdir(folder) 
            if \'jpeg\' in f)

def create_thumbnail(filename): 
    im = Image.open(filename)
    im.thumbnail(SIZE, Image.ANTIALIAS)
    base, fname = os.path.split(filename) 
    save_path = os.path.join(base, SAVE_DIRECTORY, fname)
    im.save(save_path)

if __name__ == \'__main__\':
    folder = os.path.abspath(
        \'11_18_2013_R000_IQM_Big_Sur_Mon__e10d1958e7b766c3e840\')
    os.mkdir(os.path.join(folder, SAVE_DIRECTORY))

    images = get_image_paths(folder)

    pool = Pool()
    pool.map(creat_thumbnail, images) #關(guān)鍵點,images是一個可迭代對象
    pool.close()
    pool.join()

上邊這段代碼的主要工作就是將遍歷傳入的文件夾中的圖片文件,一一生成縮略圖,并將這些縮略圖保存到特定文件夾中。這我的機器上,用這一程序處理 6000 張圖片需要花費 27.9 秒。 map 函數(shù)并不支持手動線程管理,反而使得相關(guān)的 debug 工作也變得異常簡單。

map在爬蟲的領(lǐng)域里也可以使用,比如多個URL的內(nèi)容爬取,可以把URL放入元祖里,然后傳給執(zhí)行函數(shù)。

以上就是一篇文章帶你搞定Python多進程的詳細內(nèi)容,更多關(guān)于Python多進程的資料請關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • Python基本數(shù)據(jù)類型詳細介紹

    Python基本數(shù)據(jù)類型詳細介紹

    Python提供的基本數(shù)據(jù)類型主要有:布爾類型、整型、浮點型、字符串、列表、元組、集合、字典等等
    2014-03-03
  • Python?文件操作方法總結(jié)

    Python?文件操作方法總結(jié)

    這篇文章主要介紹了Python?文件操作方法總結(jié),文章基于python的基礎(chǔ)展開Python?文件操作方法,具有一定的參考價值,需要的小伙伴可以參考一下
    2022-05-05
  • pandas和spark dataframe互相轉(zhuǎn)換實例詳解

    pandas和spark dataframe互相轉(zhuǎn)換實例詳解

    這篇文章主要介紹了pandas和spark dataframe互相轉(zhuǎn)換實例詳解,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2020-02-02
  • Python+Pygame制作"長沙版"大富翁

    Python+Pygame制作"長沙版"大富翁

    說到童年愛玩的電腦游戲,最國民的莫過于金山打字通,接著是掃雷、紅心大戰(zhàn),而紅極一時的單機游戲當屬《大富翁》。本文將通過Python的Pygame模塊制作"長沙版"的大富翁,需要的可以參考一下
    2022-02-02
  • python使用plot繪制未來15天氣溫折線圖

    python使用plot繪制未來15天氣溫折線圖

    本文主要介紹了py使用plot繪制未來15天氣溫折線圖,文中通過示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2021-09-09
  • 一篇文章帶你搞定Ubuntu中打開Pycharm總是卡頓崩潰

    一篇文章帶你搞定Ubuntu中打開Pycharm總是卡頓崩潰

    這篇文章主要介紹了一篇文章帶你搞定Ubuntu中打開Pycharm總是卡頓崩潰,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2020-11-11
  • 淺談python requests 的put, post 請求參數(shù)的問題

    淺談python requests 的put, post 請求參數(shù)的問題

    今天小編就為大家分享一篇淺談python requests 的put, post 請求參數(shù)的問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-01-01
  • web.py中調(diào)用文件夾內(nèi)模板的方法

    web.py中調(diào)用文件夾內(nèi)模板的方法

    這篇文章主要介紹了web.py中調(diào)用文件夾內(nèi)模板的方法,竟然如此的簡單,而且好用,需要的朋友可以參考下
    2014-08-08
  • Python模擬簡單電梯調(diào)度算法示例

    Python模擬簡單電梯調(diào)度算法示例

    這篇文章主要介紹了Python模擬簡單電梯調(diào)度算法,涉及Python線程、隊列、時間延遲等相關(guān)操作技巧,需要的朋友可以參考下
    2018-08-08
  • opencv-python 提取sift特征并匹配的實例

    opencv-python 提取sift特征并匹配的實例

    今天小編就為大家分享一篇opencv-python 提取sift特征并匹配的實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-12-12

最新評論