Pandas?多進(jìn)程處理數(shù)據(jù)提高速度
前言：
python 有自己的多進(jìn)包 multiprocessing 去實(shí)現(xiàn)并行計(jì)算，但在Pandas處理數(shù)據(jù)中，使用 multiprocessing 并不好使，只聽(tīng)見(jiàn)風(fēng)扇轉(zhuǎn)啊轉(zhuǎn)，就不見(jiàn)運(yùn)行完畢。
為了提高一點(diǎn)數(shù)據(jù)清洗的速度，找到一個(gè)Pandas多進(jìn)程的方法，pandarallel 庫(kù)，做了一下測(cè)試。下面來(lái)看看具體過(guò)程吧
【注】文末提供技術(shù)交流方式
小數(shù)據(jù)集（先試過(guò)了1w）可能多進(jìn)程還沒(méi)單進(jìn)程快，因?yàn)檫M(jìn)程開(kāi)啟關(guān)閉也要一點(diǎn)時(shí)間。于是我弄了 100w 數(shù)據(jù)來(lái)測(cè)試：
利用以上數(shù)據(jù)做以下處理：
- 剔除 titile，comment 兩列文本中的表情符號(hào)
- title，comment 兩列做一個(gè)分詞處理，覆蓋原來(lái)的列
1、單進(jìn)程
在交互式環(huán)境中輸入如下命令：
'''單進(jìn)程'''
import jieba
import re
import time
import pandas as pd
def filter_emoji(desstr, restr=''):
? ? if (desstr is None) or str(desstr) == 'nan':
? ? ? ? return ''
? ? # 過(guò)濾表情
? ? try:
? ? ? ? co = re.compile(u'[\U00010000-\U0010ffff]')
? ? except:
? ? ? ? co = re.compile(u'[\uD800-\uDBFF][\uDC00-\uDFFF]')
? ? return co.sub(restr, desstr)
if __name__ == '__main__':
? ? start = time.time()
? ? data = pd.read_csv('feike.csv',encoding='gbk')
? ? data['comment'] = data['comment'].map(filter_emoji)
? ? data['title'] = data['title'].map(filter_emoji)
? ? data['comment'] = data['comment'].map(lambda s: jieba.lcut(s))
? ? data['title'] = data['title'].map(lambda s: jieba.lcut(s))
? ? end = time.time()
? ? print(end - start)輸出：
在單進(jìn)程的情況下，可以看到用時(shí) 294s，接近 5min 了。
2、多進(jìn)程
multiprocessing多進(jìn)程寫(xiě)法，這種寫(xiě)法網(wǎng)上一搜一大把，代碼沒(méi)有錯(cuò)，多進(jìn)程任務(wù)可以執(zhí)行。
例如run_task 函數(shù)中的任務(wù)是爬蟲(chóng)代碼時(shí)，沒(méi)有什么問(wèn)題，但如果是數(shù)據(jù)清洗的代碼，我測(cè)試就很久都跑不出來(lái)：
接下來(lái)?yè)Q成Pandas多進(jìn)程 pandarallel 的寫(xiě)法就可以：
'''pandarallel 多進(jìn)程'''
import jieba
import re
import time
import pandas as pd
from pandarallel import pandarallel
pandarallel.initialize(nb_workers=4)
def filter_emoji(desstr, restr=''):
? ? if (desstr is None) or str(desstr) == 'nan':
? ? ? ? return ''
? ? # 過(guò)濾表情
? ? try:
? ? ? ? co = re.compile(u'[\U00010000-\U0010ffff]')
? ? except:
? ? ? ? co = re.compile(u'[\uD800-\uDBFF][\uDC00-\uDFFF]')
? ? return co.sub(restr, desstr)
if __name__ == '__main__':
? ? start = time.time()
? ? data = data = pd.read_csv('feike.csv',encoding='gbk')?
? ? data['comment'] = data['comment'].parallel_apply(filter_emoji)
? ? data['title'] = data['title'].parallel_apply(filter_emoji)
? ? data['comment'] = data['comment'].parallel_apply(lambda s: jieba.lcut(s))
? ? data['title'] = data['title'].parallel_apply(lambda s: jieba.lcut(s))
? ? end = time.time()
? ? print(end - start)輸出：
可以看到改寫(xiě)后時(shí)間用時(shí) 154s（2min30s），比單進(jìn)程快了一倍。關(guān)于 pandarallel 可以查看文檔
對(duì)應(yīng)的多進(jìn)程寫(xiě)法函數(shù)對(duì)照表，Pandas中的 apply，applymap，map 三個(gè)函數(shù)的區(qū)別，寫(xiě)對(duì)應(yīng)的代碼：
到此這篇關(guān)于Pandas 多進(jìn)程處理數(shù)據(jù)提高速度的文章就介紹到這了,更多相關(guān)Pandas 多進(jìn)程處理數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要為大家介紹了Python全棧之JS，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來(lái)幫助2022-01-01
Python3.6+Django2.0以上 xadmin站點(diǎn)的配置和使用教程圖解
django自帶的admin站點(diǎn)雖然功能強(qiáng)大，但是界面不是很好看。這篇文章主要介紹了Python3.6+Django2.0以上 xadmin站點(diǎn)的配置和使用 ，本文圖文并茂給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-06-06
Pyqt5 關(guān)于流式布局和滾動(dòng)條的綜合使用示例代碼
這篇文章主要介紹了Pyqt5 關(guān)于流式布局和滾動(dòng)條的綜合使用示例代碼，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-03-03
這篇文章主要介紹了python中特殊文件和特殊函數(shù)的相關(guān)知識(shí)，本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-02-02
這篇文章主要介紹了使用Selenium自動(dòng)化爬取b站主播頭像并以昵稱命名保存到本地的方法，代碼簡(jiǎn)單完整,對(duì)于大家練習(xí)Selenium自動(dòng)化有一定的幫助,需要的朋友可以參考下2021-04-04
這篇文章主要介紹了如何實(shí)現(xiàn)Python 最短匹配模式，文中講解非常細(xì)致，代碼幫助大家更好的理解和學(xué)習(xí)，感興趣的朋友可以了解下2020-07-07
python 信息同時(shí)輸出到控制臺(tái)與文件的實(shí)例講解
今天小編就為大家分享一篇python 信息同時(shí)輸出到控制臺(tái)與文件的實(shí)例講解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-05-05
Python基于win32ui模塊創(chuàng)建彈出式菜單示例
這篇文章主要介紹了Python基于win32ui模塊創(chuàng)建彈出式菜單,結(jié)合實(shí)例形式分析了Python使用win32ui模塊創(chuàng)建彈出式菜單的具體步驟與相關(guān)操作技巧,并附帶說(shuō)明了win32ui模塊的安裝命令,需要的朋友可以參考下2018-05-05
python強(qiáng)大的hook函數(shù)使用及應(yīng)用場(chǎng)景
鉤子函數(shù)（hook function）是把我們自己實(shí)現(xiàn)的hook函數(shù)在某一時(shí)刻掛接到目標(biāo)掛載點(diǎn)上，這篇文章主要介紹了python強(qiáng)大的hook函數(shù)使用及應(yīng)用場(chǎng)景,需要的朋友可以參考下2023-05-05
python gui開(kāi)發(fā)——制作抖音無(wú)水印視頻下載工具(附源碼)
這篇文章主要介紹了python gui開(kāi)發(fā)——制作抖音無(wú)水印視頻下載工具(附源碼)的相關(guān)資料，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下2021-02-02