利用numba讓python速度提升百倍
前言;
python由于它動(dòng)態(tài)解釋性語(yǔ)言的特性,跑起代碼來(lái)相比java、c++要慢很多,尤其在做科學(xué)計(jì)算的時(shí)候,十億百億級(jí)別的運(yùn)算,讓python的這種劣勢(shì)更加凸顯。
辦法永遠(yuǎn)比困難多,numba就是解決python慢的一大利器,可以讓python的運(yùn)行速度提升上百倍!
一、什么是numba?
numba是一款可以將python函數(shù)編譯為機(jī)器代碼的JIT編譯器,經(jīng)過(guò)numba編譯的python代碼(僅限數(shù)組運(yùn)算),其運(yùn)行速度可以接近C或FORTRAN語(yǔ)言。
python之所以慢,是因?yàn)樗强緾Python編譯的,numba的作用是給python換一種編譯器。
python、c、numba三種編譯器速度對(duì)比:
使用numba非常簡(jiǎn)單,只需要將numba裝飾器應(yīng)用到python函數(shù)中,無(wú)需改動(dòng)原本的python代碼,numba會(huì)自動(dòng)完成剩余的工作。
import numpy as np import numba from numba import jit @jit(nopython=True) # jit,numba裝飾器中的一種 def go_fast(a): # 首次調(diào)用時(shí),函數(shù)被編譯為機(jī)器代碼 ? ? trace = 0 ? ? # 假設(shè)輸入變量是numpy數(shù)組 ? ? for i in range(a.shape[0]): ? # Numba 擅長(zhǎng)處理循環(huán) ? ? ? ? trace += np.tanh(a[i, i])? ? ? return a + trace
以上代碼是一個(gè)python函數(shù),用以計(jì)算numpy
數(shù)組各個(gè)數(shù)值的雙曲正切值,我們使用了numba裝飾器,它將這個(gè)python函數(shù)編譯為等效的機(jī)器代碼,可以大大減少運(yùn)行時(shí)間。
二、numba適合科學(xué)計(jì)算
numpy是為面向numpy數(shù)組的計(jì)算任務(wù)而設(shè)計(jì)的。
在面向數(shù)組的計(jì)算任務(wù)中,數(shù)據(jù)并行性對(duì)于像GPU這樣的加速器是很自然的。Numba了解NumPy數(shù)組類(lèi)型,并使用它們生成高效的編譯代碼,用于在GPU或多核CPU上執(zhí)行。特殊裝飾器還可以創(chuàng)建函數(shù),像numpy函數(shù)那樣在numpy數(shù)組上廣播。
什么情況下使用numba呢?
- 使用numpy數(shù)組做大量科學(xué)計(jì)算時(shí)
- 使用for循環(huán)時(shí)
三、學(xué)習(xí)使用numba
第一步:導(dǎo)入numpy、numba及其編譯器
import numpy as np import numba? from numba import jit
第二步:傳入numba裝飾器jit,編寫(xiě)函數(shù)
# 傳入jit,numba裝飾器中的一種 @jit(nopython=True)? def go_fast(a): # 首次調(diào)用時(shí),函數(shù)被編譯為機(jī)器代碼 ? ? trace = 0 ? ? # 假設(shè)輸入變量是numpy數(shù)組 ? ? for i in range(a.shape[0]): ? # Numba 擅長(zhǎng)處理循環(huán) ? ? ? ? trace += np.tanh(a[i, i]) ?# numba喜歡numpy函數(shù) ? ? return a + trace # numba喜歡numpy廣播
nopython = True選項(xiàng)要求完全編譯該函數(shù)(以便完全刪除Python解釋器調(diào)用),否則會(huì)引發(fā)異常。這些異常通常表示函數(shù)中需要修改的位置,以實(shí)現(xiàn)優(yōu)于Python的性能。強(qiáng)烈建議您始終使用nopython = True。
第三步:給函數(shù)傳遞實(shí)參
# 因?yàn)楹瘮?shù)要求傳入的參數(shù)是nunpy數(shù)組 x = np.arange(100).reshape(10, 10)? # 執(zhí)行函數(shù) go_fast(x)
第四步:經(jīng)numba加速的函數(shù)執(zhí)行時(shí)間
% timeit go_fast(x)
輸出:
3.63 µs ± 156 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)
第五步:不經(jīng)numba加速的函數(shù)執(zhí)行時(shí)間
def go_fast(a): # 首次調(diào)用時(shí),函數(shù)被編譯為機(jī)器代碼 ? ? trace = 0 ? ? # 假設(shè)輸入變量是numpy數(shù)組 ? ? for i in range(a.shape[0]): ? # Numba 擅長(zhǎng)處理循環(huán) ? ? ? ? trace += np.tanh(a[i, i]) ?# numba喜歡numpy函數(shù) ? ? return a + trace # numba喜歡numpy廣播 x = np.arange(100).reshape(10, 10)? %timeit go_fast(x)
輸出:
136 µs ± 1.09 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
結(jié)論:
在numba加速下,代碼執(zhí)行時(shí)間為3.63微秒/循環(huán)。不經(jīng)過(guò)numba加速,代碼執(zhí)行時(shí)間為136微秒/循環(huán),兩者相比,前者快了40倍。
四、numba讓python飛起來(lái)
前面已經(jīng)對(duì)比了numba
使用前后,python代碼速度提升了40倍,但這還不是最快的。
這次,我們不使用numpy數(shù)組,僅用for循環(huán),看看nunba對(duì)for循環(huán)到底有多鐘愛(ài)!
# 不使用numba的情況 def t(): ? ? x = 0 ? ? for i in np.arange(5000): ? ? ? ? x += i ? ? return x %timeit(t())
輸出:
408 µs ± 9.73 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
# 使用numba的情況 @jit(nopython=True)? def t(): ? ? x = 0 ? ? for i in np.arange(5000): ? ? ? ? x += i ? ? return x %timeit(t())?
輸出:
1.57 µs ± 53.8 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)
使用numba前后分別是408微秒/循環(huán)、1.57微秒/循環(huán),速度整整提升了200多倍!
結(jié)語(yǔ):
numba對(duì)python代碼運(yùn)行速度有巨大的提升,這極大的促進(jìn)了大數(shù)據(jù)時(shí)代的python數(shù)據(jù)分析能力,對(duì)數(shù)據(jù)科學(xué)工作者來(lái)說(shuō),這真是一個(gè)lucky tool !
當(dāng)然numba不會(huì)對(duì)numpy和for循環(huán)以外的python代碼有很大幫助,你不要指望numba可以幫你加快從數(shù)據(jù)庫(kù)取數(shù),這點(diǎn)它真的做不到哈。
到此這篇關(guān)于利用numba讓python速度提升百倍的文章就介紹到這了,更多相關(guān)python速度提升numba內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python下的subprocess模塊的入門(mén)指引
這篇文章主要介紹了Python下的subprocess模塊的入門(mén)指引,subprocess模塊被用于Python的多線(xiàn)程編程,需要的朋友可以參考下2015-04-04Python實(shí)現(xiàn)導(dǎo)出數(shù)據(jù)生成excel報(bào)表的方法示例
這篇文章主要介紹了Python實(shí)現(xiàn)導(dǎo)出數(shù)據(jù)生成excel報(bào)表的方法,結(jié)合完整實(shí)例形式分析了Python連接、查詢(xún)mysql數(shù)據(jù)庫(kù)并導(dǎo)出Excel報(bào)表的相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2017-07-07Python OpenCV機(jī)器學(xué)習(xí)之圖像識(shí)別詳解
OpenCV中也提供了一些機(jī)器學(xué)習(xí)的方法,例如DNN等。本文將為大家詳細(xì)介紹一下OpenCV中利用機(jī)器學(xué)習(xí)實(shí)現(xiàn)的一些圖片識(shí)別功能:人臉識(shí)別、車(chē)牌識(shí)別等,感興趣的可以了解一下2022-01-01Python實(shí)現(xiàn)兩款計(jì)算器功能示例
這篇文章主要為大家詳細(xì)介紹了Python實(shí)現(xiàn)兩款計(jì)算器功能示例,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2017-12-12Pytorch上下采樣函數(shù)--interpolate用法
這篇文章主要介紹了Pytorch上下采樣函數(shù)--interpolate用法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-07-07Python在centos7.6上安裝python3.9的詳細(xì)教程(默認(rèn)python版本為2.7.5)
這篇文章主要介紹了Python在centos7.6上安裝python3.9(默認(rèn)python版本為2.7.5)的方法,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友參考下吧2020-10-10python實(shí)現(xiàn)的MySQL增刪改查操作實(shí)例小結(jié)
這篇文章主要介紹了python實(shí)現(xiàn)的MySQL增刪改查操作,結(jié)合實(shí)例形式總結(jié)分析了Python基本的mysql增刪改查及銀行賬號(hào)查詢(xún)等相關(guān)操作實(shí)現(xiàn)技巧,需要的朋友可以參考下2018-12-12