利用numba讓python速度提升百倍
前言;
python由于它動態(tài)解釋性語言的特性,跑起代碼來相比java、c++要慢很多,尤其在做科學(xué)計算的時候,十億百億級別的運算,讓python的這種劣勢更加凸顯。
辦法永遠(yuǎn)比困難多,numba就是解決python慢的一大利器,可以讓python的運行速度提升上百倍!
一、什么是numba?
numba是一款可以將python函數(shù)編譯為機器代碼的JIT編譯器,經(jīng)過numba編譯的python代碼(僅限數(shù)組運算),其運行速度可以接近C或FORTRAN語言。
python之所以慢,是因為它是靠CPython編譯的,numba的作用是給python換一種編譯器。
python、c、numba三種編譯器速度對比:
使用numba非常簡單,只需要將numba裝飾器應(yīng)用到python函數(shù)中,無需改動原本的python代碼,numba會自動完成剩余的工作。
import numpy as np import numba from numba import jit @jit(nopython=True) # jit,numba裝飾器中的一種 def go_fast(a): # 首次調(diào)用時,函數(shù)被編譯為機器代碼 ? ? trace = 0 ? ? # 假設(shè)輸入變量是numpy數(shù)組 ? ? for i in range(a.shape[0]): ? # Numba 擅長處理循環(huán) ? ? ? ? trace += np.tanh(a[i, i])? ? ? return a + trace
以上代碼是一個python函數(shù),用以計算numpy
數(shù)組各個數(shù)值的雙曲正切值,我們使用了numba裝飾器,它將這個python函數(shù)編譯為等效的機器代碼,可以大大減少運行時間。
二、numba適合科學(xué)計算
numpy是為面向numpy數(shù)組的計算任務(wù)而設(shè)計的。
在面向數(shù)組的計算任務(wù)中,數(shù)據(jù)并行性對于像GPU這樣的加速器是很自然的。Numba了解NumPy數(shù)組類型,并使用它們生成高效的編譯代碼,用于在GPU或多核CPU上執(zhí)行。特殊裝飾器還可以創(chuàng)建函數(shù),像numpy函數(shù)那樣在numpy數(shù)組上廣播。
什么情況下使用numba呢?
- 使用numpy數(shù)組做大量科學(xué)計算時
- 使用for循環(huán)時
三、學(xué)習(xí)使用numba
第一步:導(dǎo)入numpy、numba及其編譯器
import numpy as np import numba? from numba import jit
第二步:傳入numba裝飾器jit,編寫函數(shù)
# 傳入jit,numba裝飾器中的一種 @jit(nopython=True)? def go_fast(a): # 首次調(diào)用時,函數(shù)被編譯為機器代碼 ? ? trace = 0 ? ? # 假設(shè)輸入變量是numpy數(shù)組 ? ? for i in range(a.shape[0]): ? # Numba 擅長處理循環(huán) ? ? ? ? trace += np.tanh(a[i, i]) ?# numba喜歡numpy函數(shù) ? ? return a + trace # numba喜歡numpy廣播
nopython = True選項要求完全編譯該函數(shù)(以便完全刪除Python解釋器調(diào)用),否則會引發(fā)異常。這些異常通常表示函數(shù)中需要修改的位置,以實現(xiàn)優(yōu)于Python的性能。強烈建議您始終使用nopython = True。
第三步:給函數(shù)傳遞實參
# 因為函數(shù)要求傳入的參數(shù)是nunpy數(shù)組 x = np.arange(100).reshape(10, 10)? # 執(zhí)行函數(shù) go_fast(x)
第四步:經(jīng)numba加速的函數(shù)執(zhí)行時間
% timeit go_fast(x)
輸出:
3.63 µs ± 156 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)
第五步:不經(jīng)numba加速的函數(shù)執(zhí)行時間
def go_fast(a): # 首次調(diào)用時,函數(shù)被編譯為機器代碼 ? ? trace = 0 ? ? # 假設(shè)輸入變量是numpy數(shù)組 ? ? for i in range(a.shape[0]): ? # Numba 擅長處理循環(huán) ? ? ? ? trace += np.tanh(a[i, i]) ?# numba喜歡numpy函數(shù) ? ? return a + trace # numba喜歡numpy廣播 x = np.arange(100).reshape(10, 10)? %timeit go_fast(x)
輸出:
136 µs ± 1.09 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
結(jié)論:
在numba加速下,代碼執(zhí)行時間為3.63微秒/循環(huán)。不經(jīng)過numba加速,代碼執(zhí)行時間為136微秒/循環(huán),兩者相比,前者快了40倍。
四、numba讓python飛起來
前面已經(jīng)對比了numba
使用前后,python代碼速度提升了40倍,但這還不是最快的。
這次,我們不使用numpy數(shù)組,僅用for循環(huán),看看nunba對for循環(huán)到底有多鐘愛!
# 不使用numba的情況 def t(): ? ? x = 0 ? ? for i in np.arange(5000): ? ? ? ? x += i ? ? return x %timeit(t())
輸出:
408 µs ± 9.73 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
# 使用numba的情況 @jit(nopython=True)? def t(): ? ? x = 0 ? ? for i in np.arange(5000): ? ? ? ? x += i ? ? return x %timeit(t())?
輸出:
1.57 µs ± 53.8 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)
使用numba前后分別是408微秒/循環(huán)、1.57微秒/循環(huán),速度整整提升了200多倍!
結(jié)語:
numba對python代碼運行速度有巨大的提升,這極大的促進(jìn)了大數(shù)據(jù)時代的python數(shù)據(jù)分析能力,對數(shù)據(jù)科學(xué)工作者來說,這真是一個lucky tool !
當(dāng)然numba不會對numpy和for循環(huán)以外的python代碼有很大幫助,你不要指望numba可以幫你加快從數(shù)據(jù)庫取數(shù),這點它真的做不到哈。
到此這篇關(guān)于利用numba讓python速度提升百倍的文章就介紹到這了,更多相關(guān)python速度提升numba內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python實現(xiàn)導(dǎo)出數(shù)據(jù)生成excel報表的方法示例
這篇文章主要介紹了Python實現(xiàn)導(dǎo)出數(shù)據(jù)生成excel報表的方法,結(jié)合完整實例形式分析了Python連接、查詢mysql數(shù)據(jù)庫并導(dǎo)出Excel報表的相關(guān)實現(xiàn)技巧,需要的朋友可以參考下2017-07-07Python OpenCV機器學(xué)習(xí)之圖像識別詳解
OpenCV中也提供了一些機器學(xué)習(xí)的方法,例如DNN等。本文將為大家詳細(xì)介紹一下OpenCV中利用機器學(xué)習(xí)實現(xiàn)的一些圖片識別功能:人臉識別、車牌識別等,感興趣的可以了解一下2022-01-01Pytorch上下采樣函數(shù)--interpolate用法
這篇文章主要介紹了Pytorch上下采樣函數(shù)--interpolate用法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-07-07Python在centos7.6上安裝python3.9的詳細(xì)教程(默認(rèn)python版本為2.7.5)
這篇文章主要介紹了Python在centos7.6上安裝python3.9(默認(rèn)python版本為2.7.5)的方法,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友參考下吧2020-10-10python實現(xiàn)的MySQL增刪改查操作實例小結(jié)
這篇文章主要介紹了python實現(xiàn)的MySQL增刪改查操作,結(jié)合實例形式總結(jié)分析了Python基本的mysql增刪改查及銀行賬號查詢等相關(guān)操作實現(xiàn)技巧,需要的朋友可以參考下2018-12-12