欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Pandas中Apply函數(shù)加速百倍的技巧分享

 更新時(shí)間:2022年07月29日 14:49:54   作者:程序員小八  
雖然目前dask,cudf等包的出現(xiàn),使得我們的數(shù)據(jù)處理大大得到了加速,但是并不是每個(gè)人都有比較好的gpu。本文為大家分享幾個(gè)Pandas中Apply函數(shù)加速百倍的技巧,希望有所幫助

前言

雖然目前dask,cudf等包的出現(xiàn),使得我們的數(shù)據(jù)處理大大得到了加速,但是并不是每個(gè)人都有比較好的gpu,非常多的朋友仍然還在使用pandas工具包,但有時(shí)候真的很無(wú)奈,pandas的許多問(wèn)題我們都需要使用apply函數(shù)來(lái)進(jìn)行處理,而apply函數(shù)是非常慢的,本文我們就介紹如何加速apply函數(shù)600倍的技巧。

實(shí)驗(yàn)對(duì)比

01 Apply(Baseline)

我們以Apply為例,原始的Apply函數(shù)處理下面這個(gè)問(wèn)題,需要18.4s的時(shí)間。

import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randint(0, 11, size=(1000000, 5)), columns=('a','b','c','d','e'))
def func(a,b,c,d,e):
    if e == 10:
        return c*d
    elif (e < 10) and (e>=5):
        return c+d
    elif e < 5:
        return a+b
%%time
df['new'] = df.apply(lambda x: func(x['a'], x['b'], x['c'], x['d'], x['e']), axis=1)

CPU times: user 17.9 s, sys: 301 ms, total: 18.2 s
Wall time: 18.4 s

02 Swift加速

因?yàn)樘幚硎遣⑿械?,所以我們可以使用Swift進(jìn)行加速,在使用Swift之后,相同的操作在我的機(jī)器上可以提升到7.67s。

%%time
# !pip install swifter
import swifter
df['new'] = df.swifter.apply(lambda x : func(x['a'],x['b'],x['c'],x['d'],x['e']),axis=1)
HBox(children=(HTML(value='Dask Apply'), FloatProgress(value=0.0, max=16.0), HTML(value='')))

CPU times: user 329 ms, sys: 240 ms, total: 569 ms
Wall time: 7.67 s

03 向量化

使用Pandas和Numpy的最快方法是將函數(shù)向量化。如果我們的操作是可以直接向量化的話,那么我們就盡可能的避免使用:

for循環(huán);

列表處理;

apply等操作

在將上面的問(wèn)題轉(zhuǎn)化為下面的處理之后,我們的時(shí)間縮短為:421 ms。

%%time
df['new'] = df['c'] * df['d'] #default case e = =10
mask = df['e'] < 10
df.loc[mask,'new'] = df['c'] + df['d']
mask = df['e'] < 5
df.loc[mask,'new'] = df['a'] + df['b']

CPU times: user 134 ms, sys: 149 ms, total: 283 ms
Wall time: 421 ms

04 類別轉(zhuǎn)化+向量化

我們先將上面的類別轉(zhuǎn)化為int16型,再進(jìn)行相同的向量化操作,發(fā)現(xiàn)時(shí)間縮短為:116 ms。

for col in ('a','b','c','d'):
    df[col] = df[col].astype(np.int16) 
%%time
df['new'] = df['c'] * df['d'] #default case e = =10
mask = df['e'] < 10
df.loc[mask,'new'] = df['c'] + df['d']
mask = df['e'] < 5
df.loc[mask,'new'] = df['a'] + df['b']

CPU times: user 71.3 ms, sys: 42.5 ms, total: 114 ms
Wall time: 116 ms

05 轉(zhuǎn)化為values處理

在能轉(zhuǎn)化為.values的地方盡可能轉(zhuǎn)化為.values,再進(jìn)行操作。

此處先轉(zhuǎn)化為.values等價(jià)于轉(zhuǎn)化為numpy,這樣我們的向量化操作會(huì)更加快捷。

于是,上面的操作時(shí)間又被縮短為:74.9ms。

%%time
df['new'] = df['c'].values * df['d'].values #default case e = =10
mask = df['e'].values < 10
df.loc[mask,'new'] = df['c'] + df['d']
mask = df['e'].values < 5
df.loc[mask,'new'] = df['a'] + df['b']

CPU times: user 64.5 ms, sys: 12.5 ms, total: 77 ms
Wall time: 74.9 ms

實(shí)驗(yàn)匯總

通過(guò)上面的一些小的技巧,我們將簡(jiǎn)單的Apply函數(shù)加速了幾百倍,具體的:

Apply: 18.4 s

Apply + Swifter: 7.67 s

Pandas vectorizatoin: 421 ms

Pandas vectorization + data types: 116 ms

Pandas vectorization + values + data types: 74.9ms

到此這篇關(guān)于Pandas中Apply函數(shù)加速百倍的技巧分享的文章就介紹到這了,更多相關(guān)Pandas Apply函數(shù)加速內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • matplotlib事件處理基礎(chǔ)(事件綁定、事件屬性)

    matplotlib事件處理基礎(chǔ)(事件綁定、事件屬性)

    這篇文章主要介紹了matplotlib事件處理基礎(chǔ)(事件綁定、事件屬性),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2021-02-02
  • python中PS 圖像調(diào)整算法原理之亮度調(diào)整

    python中PS 圖像調(diào)整算法原理之亮度調(diào)整

    這篇文章主要介紹了python中PS 圖像調(diào)整算法原理之亮度調(diào)整,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2019-06-06
  • 淺析PyTorch中nn.Module的使用

    淺析PyTorch中nn.Module的使用

    這篇文章主要介紹了淺析PyTorch中nn.Module的使用,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2019-08-08
  • Python matplotlib繪制實(shí)時(shí)數(shù)據(jù)動(dòng)畫

    Python matplotlib繪制實(shí)時(shí)數(shù)據(jù)動(dòng)畫

    Matplotlib作為Python的2D繪圖庫(kù),它以各種硬拷貝格式和跨平臺(tái)的交互式環(huán)境生成出版質(zhì)量級(jí)別的圖形。本文將利用Matplotlib庫(kù)繪制實(shí)時(shí)數(shù)據(jù)動(dòng)畫,感興趣的可以了解一下
    2022-03-03
  • 一文解密Python的弱引用

    一文解密Python的弱引用

    弱引用在很多語(yǔ)言中都存在,最常用來(lái)解決循環(huán)引用問(wèn)題,本文就來(lái)和大家一起探索一下python中的弱引用,感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下
    2023-09-09
  • python使用sessions模擬登錄淘寶的方式

    python使用sessions模擬登錄淘寶的方式

    這篇文章主要介紹了python使用sessions模擬登錄淘寶的方式,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值 ,需要的朋友可以參考下
    2019-08-08
  • Python處理文本換行符實(shí)例代碼

    Python處理文本換行符實(shí)例代碼

    這篇文章主要介紹了Python處理文本換行符實(shí)例代碼,分享了相關(guān)代碼示例,小編覺(jué)得還是挺不錯(cuò)的,具有一定借鑒價(jià)值,需要的朋友可以參考下
    2018-02-02
  • Python實(shí)現(xiàn)采集網(wǎng)站ip代理并檢測(cè)是否可用

    Python實(shí)現(xiàn)采集網(wǎng)站ip代理并檢測(cè)是否可用

    這篇文章主要介紹了如何利用Python爬蟲(chóng)實(shí)現(xiàn)采集網(wǎng)站ip代理,并檢測(cè)IP代理是否可用。文中的示例代碼講解詳細(xì),感興趣的可以試一試
    2022-01-01
  • 如何爬取通過(guò)ajax加載數(shù)據(jù)的網(wǎng)站

    如何爬取通過(guò)ajax加載數(shù)據(jù)的網(wǎng)站

    這篇文章主要介紹了如何爬取通過(guò)ajax加載數(shù)據(jù)的網(wǎng)站,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2019-08-08
  • 用Python寫冒泡排序代碼

    用Python寫冒泡排序代碼

    本文給大家分享一段代碼使用python寫一個(gè)冒泡排序小程序,代碼非常簡(jiǎn)單,感興趣的朋友參考下吧
    2016-04-04

最新評(píng)論