Pandas中Apply函數(shù)加速百倍的技巧分享
前言
雖然目前dask,cudf等包的出現(xiàn),使得我們的數(shù)據(jù)處理大大得到了加速,但是并不是每個(gè)人都有比較好的gpu,非常多的朋友仍然還在使用pandas工具包,但有時(shí)候真的很無(wú)奈,pandas的許多問(wèn)題我們都需要使用apply函數(shù)來(lái)進(jìn)行處理,而apply函數(shù)是非常慢的,本文我們就介紹如何加速apply函數(shù)600倍的技巧。
實(shí)驗(yàn)對(duì)比
01 Apply(Baseline)
我們以Apply為例,原始的Apply函數(shù)處理下面這個(gè)問(wèn)題,需要18.4s的時(shí)間。
import pandas as pd import numpy as np df = pd.DataFrame(np.random.randint(0, 11, size=(1000000, 5)), columns=('a','b','c','d','e')) def func(a,b,c,d,e): if e == 10: return c*d elif (e < 10) and (e>=5): return c+d elif e < 5: return a+b %%time df['new'] = df.apply(lambda x: func(x['a'], x['b'], x['c'], x['d'], x['e']), axis=1)
CPU times: user 17.9 s, sys: 301 ms, total: 18.2 s
Wall time: 18.4 s
02 Swift加速
因?yàn)樘幚硎遣⑿械?,所以我們可以使用Swift進(jìn)行加速,在使用Swift之后,相同的操作在我的機(jī)器上可以提升到7.67s。
%%time # !pip install swifter import swifter df['new'] = df.swifter.apply(lambda x : func(x['a'],x['b'],x['c'],x['d'],x['e']),axis=1) HBox(children=(HTML(value='Dask Apply'), FloatProgress(value=0.0, max=16.0), HTML(value='')))
CPU times: user 329 ms, sys: 240 ms, total: 569 ms
Wall time: 7.67 s
03 向量化
使用Pandas和Numpy的最快方法是將函數(shù)向量化。如果我們的操作是可以直接向量化的話,那么我們就盡可能的避免使用:
for循環(huán);
列表處理;
apply等操作
在將上面的問(wèn)題轉(zhuǎn)化為下面的處理之后,我們的時(shí)間縮短為:421 ms。
%%time df['new'] = df['c'] * df['d'] #default case e = =10 mask = df['e'] < 10 df.loc[mask,'new'] = df['c'] + df['d'] mask = df['e'] < 5 df.loc[mask,'new'] = df['a'] + df['b']
CPU times: user 134 ms, sys: 149 ms, total: 283 ms
Wall time: 421 ms
04 類別轉(zhuǎn)化+向量化
我們先將上面的類別轉(zhuǎn)化為int16型,再進(jìn)行相同的向量化操作,發(fā)現(xiàn)時(shí)間縮短為:116 ms。
for col in ('a','b','c','d'): df[col] = df[col].astype(np.int16) %%time df['new'] = df['c'] * df['d'] #default case e = =10 mask = df['e'] < 10 df.loc[mask,'new'] = df['c'] + df['d'] mask = df['e'] < 5 df.loc[mask,'new'] = df['a'] + df['b']
CPU times: user 71.3 ms, sys: 42.5 ms, total: 114 ms
Wall time: 116 ms
05 轉(zhuǎn)化為values處理
在能轉(zhuǎn)化為.values的地方盡可能轉(zhuǎn)化為.values,再進(jìn)行操作。
此處先轉(zhuǎn)化為.values等價(jià)于轉(zhuǎn)化為numpy,這樣我們的向量化操作會(huì)更加快捷。
于是,上面的操作時(shí)間又被縮短為:74.9ms。
%%time df['new'] = df['c'].values * df['d'].values #default case e = =10 mask = df['e'].values < 10 df.loc[mask,'new'] = df['c'] + df['d'] mask = df['e'].values < 5 df.loc[mask,'new'] = df['a'] + df['b']
CPU times: user 64.5 ms, sys: 12.5 ms, total: 77 ms
Wall time: 74.9 ms
實(shí)驗(yàn)匯總
通過(guò)上面的一些小的技巧,我們將簡(jiǎn)單的Apply函數(shù)加速了幾百倍,具體的:
Apply: 18.4 s
Apply + Swifter: 7.67 s
Pandas vectorizatoin: 421 ms
Pandas vectorization + data types: 116 ms
Pandas vectorization + values + data types: 74.9ms
到此這篇關(guān)于Pandas中Apply函數(shù)加速百倍的技巧分享的文章就介紹到這了,更多相關(guān)Pandas Apply函數(shù)加速內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
matplotlib事件處理基礎(chǔ)(事件綁定、事件屬性)
這篇文章主要介紹了matplotlib事件處理基礎(chǔ)(事件綁定、事件屬性),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02python中PS 圖像調(diào)整算法原理之亮度調(diào)整
這篇文章主要介紹了python中PS 圖像調(diào)整算法原理之亮度調(diào)整,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-06-06Python matplotlib繪制實(shí)時(shí)數(shù)據(jù)動(dòng)畫
Matplotlib作為Python的2D繪圖庫(kù),它以各種硬拷貝格式和跨平臺(tái)的交互式環(huán)境生成出版質(zhì)量級(jí)別的圖形。本文將利用Matplotlib庫(kù)繪制實(shí)時(shí)數(shù)據(jù)動(dòng)畫,感興趣的可以了解一下2022-03-03Python實(shí)現(xiàn)采集網(wǎng)站ip代理并檢測(cè)是否可用
這篇文章主要介紹了如何利用Python爬蟲(chóng)實(shí)現(xiàn)采集網(wǎng)站ip代理,并檢測(cè)IP代理是否可用。文中的示例代碼講解詳細(xì),感興趣的可以試一試2022-01-01如何爬取通過(guò)ajax加載數(shù)據(jù)的網(wǎng)站
這篇文章主要介紹了如何爬取通過(guò)ajax加載數(shù)據(jù)的網(wǎng)站,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-08-08