Python Multiprocessing多進(jìn)程 使用tqdm顯示進(jìn)度條的實(shí)現(xiàn)
1.背景
在python運(yùn)行一些，計(jì)算復(fù)雜度比較高的函數(shù)時(shí)，服務(wù)器端單核CPU的情況比較耗時(shí)，因此需要多CPU使用多進(jìn)程加快速度
2.函數(shù)要求
筆者使用的是：pathos.multiprocessing 庫，進(jìn)度條顯示用tqdm庫，安裝方法：
pip install pathos
安裝完成后
from pathos.multiprocessing import ProcessingPool as Pool from tqdm import tqdm
這邊使用pathos的原因是因?yàn)?，multiprocessing 庫中的Pool 函數(shù)只支持單參數(shù)輸入，例如 f(x) = x**2，而不能處理 f (x,y) = x+y 這類的函數(shù)
更不用說一些需要參數(shù)的函數(shù) 例如：F(x , alpha=0.5, gamma = 0.1) 這樣。
3.代碼
定義一個(gè) 函數(shù) F [ X ] ,其中，輸入X是可以在第一個(gè)維度上迭代的array, 大?。篬 num_X, len ] , 在第一維度 num_X 上進(jìn)行迭代。
def F(X,lamda=10,weight=0.05):
res={}
res.update(F_1(X,lamda=lamda,weight=weight))
res.update(F_2(X,lamda=lamda,weight=weight))
return res
x 是 F 的輸出，是一個(gè)dict (字典格式)
這里的兩個(gè)函數(shù)超參數(shù) lamda 和 weight 雖然每次調(diào)用的時(shí)候值是一樣的，但是還是需要放一個(gè)數(shù)組每次用于迭代。
zip_lamda = [lamda for i in range(len(X)) ]
zip_weight = [weight for i in range(len(X)) ]
with tqdm(total=len(cold_sequences)) as t:
for i, x in enumerate(pool.imap(F,X,zip_lamda,zip_weight)):
X[i,:] = [x[key] for key in x.keys()]
Y[i,] = 0
t.update()
pool.close()
pool.join()
4.結(jié)果
mutiprocess 加速前
mutiprocess 加速后
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Python入門教程(十六)Python的if邏輯判斷分支,Python是一門非常強(qiáng)大好用的語言,也有著易上手的特性,本文為入門教程,需要的朋友可以參考下2023-04-04
這篇文章主要介紹了通過Python編寫一個(gè)簡單登錄功能過程解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-09-09
淺談Python數(shù)學(xué)建模之?dāng)?shù)據(jù)導(dǎo)入
數(shù)據(jù)導(dǎo)入是所有數(shù)模編程的第一步，比你想象的更重要。Python 語言中數(shù)據(jù)導(dǎo)入的方法很多。對于數(shù)學(xué)建模問題編程來說，選擇什么方法最好呢？答案是：沒有最好的，只有最合適的。對于不同的問題，不同的算法，以及所調(diào)用工具包的不同實(shí)現(xiàn)方法，對于數(shù)據(jù)就會(huì)有不同的要求2021-06-06
最近在使用python做接口測試，發(fā)現(xiàn)python中http請求方法有許多種，今天抽點(diǎn)時(shí)間把相關(guān)內(nèi)容整理，對python http請求相關(guān)知識(shí)感興趣的朋友一起學(xué)習(xí)吧2016-01-01
今天小編就為大家分享一篇對Python獲取屏幕截圖的4種方法詳解，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08
Python寫的創(chuàng)建文件夾自定義函數(shù)mkdir()
這篇文章主要介紹了Python寫的創(chuàng)建文件夾自定義函數(shù)mkdir(),文件夾操作是編程中經(jīng)常需要的,mkdir函數(shù)更是經(jīng)典中的經(jīng)典,需要的朋友可以參考下2014-08-08
Go語言基于Socket編寫服務(wù)器端與客戶端通信的實(shí)例
這篇文章主要介紹了Go語言基于Socket編寫服務(wù)器端與客戶端通信的實(shí)例,包括實(shí)現(xiàn)基于自定義通訊協(xié)議的Socket通信,需要的朋友可以參考下2016-02-02
這篇文章主要為大家詳細(xì)介紹了wxPython實(shí)現(xiàn)畫圖板，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-11-11
Python的最大優(yōu)勢之一是其廣泛的模塊和軟件包。這將Python的功能擴(kuò)展到許多受歡迎的領(lǐng)域，包括機(jī)器學(xué)習(xí)、數(shù)據(jù)科學(xué)和Web開發(fā)等, 其中最好的模塊之一是Python的內(nèi)置collections 模塊。2021-04-04
用python實(shí)現(xiàn)九九乘法表實(shí)例
大家好，本篇文章主要講的是用python實(shí)現(xiàn)九九乘法表實(shí)例，感興趣的同學(xué)趕快來看一看吧，對你有幫助的話記得收藏一下2022-01-01