python使用 multiprocessing 多進(jìn)程處理批量數(shù)據(jù)的示例代碼
示例代碼
import multiprocessing
def process_data(data):
# 這里是處理單個(gè)數(shù)據(jù)的過(guò)程
return data * 2
# 待處理的數(shù)據(jù)
data = [1, 2, 3, 4, 5]
def normal_func():
# 普通處理方式
result = []
for obj in data:
result.append(process_data(obj)
return result
def parallel_func():
# 多進(jìn)程處理方式
pool = multiprocessing.Pool(multiprocessing.cpu_count())
result = pool.map(process_data, data)
pool.close()
return result
if __name__ == '__main__':
result = normal_func()
result = parallel_func()multiprocessing.Pool 創(chuàng)建進(jìn)程池, 傳入的參數(shù)是要要使用的 CPU 內(nèi)核數(shù)量, 直接用 cpu_count() 可以拿到當(dāng)前硬件配置所有的 CPU 內(nèi)核數(shù).
pool.map 可以直接將處理后的結(jié)果拼接成一個(gè) list 對(duì)象
應(yīng)用在實(shí)際數(shù)據(jù)處理代碼的效果對(duì)比:
普通處理方式, 用時(shí) 221 秒
多進(jìn)程處理方式, 用時(shí) 39 秒, 節(jié)省了 82% 的時(shí)間
到此這篇關(guān)于使用 multiprocessing 多進(jìn)程處理批量數(shù)據(jù)的文章就介紹到這了,更多相關(guān) multiprocessing 多進(jìn)程處理批量數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Anaconda和ipython環(huán)境適配的實(shí)現(xiàn)
這篇文章主要介紹了Anaconda和ipython環(huán)境適配的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
Python?數(shù)據(jù)可視化神器Pyecharts繪制圖像練習(xí)
這篇文章主要介紹了Python?數(shù)據(jù)可視化神器Pyecharts繪制圖像練習(xí)，繪制的圖形有柱狀圖、餅狀圖、箱型圖、折線圖、雷達(dá)圖等多種圖像，需要的小伙伴可以參考一下2022-02-02
Python數(shù)據(jù)可視化常用4大繪圖庫(kù)原理詳解
這篇文章主要介紹了Python數(shù)據(jù)可視化常用4大繪圖庫(kù)原理詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-10-10
如何使用 Python 讀取文件和照片的創(chuàng)建日期
這篇文章主要介紹了如何使用 Python 讀取文件和照片的創(chuàng)建日期,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-09-09
Python實(shí)現(xiàn)對(duì)Excel表格的操作詳解
這篇文章主要介紹了Python實(shí)現(xiàn)對(duì)Excel表格的操作,在數(shù)據(jù)處理和報(bào)告生成等工作中,Excel表格是一種常見(jiàn)且廣泛使用的工具,使用Python來(lái)處理Excel表格能夠大大的提升效率,感興趣的同學(xué)可以參考下2024-02-02
這篇文章主要為大家詳細(xì)介紹了微信跳一跳小程序Python腳本，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-01-01
python中opencv實(shí)現(xiàn)圖片文本傾斜校正
圖片有的時(shí)候需要矯正，本文主要介紹了python中opencv實(shí)現(xiàn)圖片文本傾斜校正，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-06-06
這篇文章主要介紹了Python實(shí)用工具FuckIt.py介紹,FuckIt.py 使用了最先進(jìn)的技術(shù)能夠使你的代碼不管里面有什么樣的錯(cuò)誤，你只管 FuckIt，程序就能“正?！眻?zhí)行，兵來(lái)將擋水來(lái)土掩,需要的朋友可以參考下2019-07-07
詳解Python連接MySQL數(shù)據(jù)庫(kù)的多種方式
這篇文章主要介紹了Python連接MySQL數(shù)據(jù)庫(kù)方式，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04
Python使用PyQt5/PySide2編寫一個(gè)極簡(jiǎn)的音樂(lè)播放器功能
這篇文章主要介紹了Python中使用PyQt5/PySide2編寫一個(gè)極簡(jiǎn)的音樂(lè)播放器功能，本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-02-02