python使用ctypes調(diào)用擴(kuò)展模塊的實(shí)例方法
楔子
我們知道python的執(zhí)行效率不是很高,而且由于GIL的原因,導(dǎo)致python不能充分利用多核CPU。一般的解決方式是使用多進(jìn)程,但是多進(jìn)程開(kāi)銷(xiāo)比較大,而且進(jìn)程之間的通信也會(huì)比較麻煩。因此在解決效率問(wèn)題上,我們會(huì)把那些比較耗時(shí)的模塊使用C或者C++編寫(xiě),然后編譯成動(dòng)態(tài)鏈接庫(kù),Windows上面是dll,linux上面則是so,編譯好之后,交給python去調(diào)用。而且通過(guò)擴(kuò)展模塊的方式還可以解決python的GIL的問(wèn)題,因此如果想要利用多核,我們?nèi)匀豢梢酝ㄟ^(guò)擴(kuò)展模塊的方式。
python如何調(diào)用擴(kuò)展模塊
python調(diào)用擴(kuò)展模塊的一種比較簡(jiǎn)單的方式就是使用ctypes這個(gè)庫(kù),這個(gè)庫(kù)是python官方提供的,任何一個(gè)版本的python都可以使用,我們通過(guò)ctypes可以很輕松地調(diào)用擴(kuò)展模塊。
演示
#include <stdio.h> void test() { printf("hello world\n"); }
我們定義了一個(gè)很簡(jiǎn)單的函數(shù),下面我們就可以將其編譯成擴(kuò)展模塊了。在Windows是dll,linux上是so,編譯的命令是一樣的。我這里以Windows 為例,記得在Windows上要安裝MinGW,或者安裝VsCode,我這里使用的是MinGW,因?yàn)閂sCode太大了。
gcc -o dll文件或者so文件 -shared c或者c++源文件
我這里的C源文件叫做1.c,我們編譯成mmp.dll吧,所以命令就可以這么寫(xiě):gcc -o mmp.dll -shared 1.c
下面就可以使用python去調(diào)用了。
import ctypes # 使用ctypes很簡(jiǎn)單,直接import進(jìn)來(lái),然后使用ctypes.CDLL這個(gè)類(lèi)來(lái)加載動(dòng)態(tài)模塊 # 如果在Windows上還可以使用ctypes.WinDLL。 # 因?yàn)榭碿types源碼的話(huà),會(huì)發(fā)現(xiàn)WinDLL也是一個(gè)類(lèi)并且繼承自CDLL # 所以在linux上使用ctypes.CDLL, # 而在Windows上既可以使用WinDLL、也可以使用CDLL加載動(dòng)態(tài)模塊 lib = ctypes.CDLL("./mmp.dll") # 加載之后就得到了擴(kuò)展模塊 # 我們可以直接通過(guò).的方式去調(diào)用里面的函數(shù)了,會(huì)發(fā)現(xiàn)成功打印 lib.test() # hello world # 但是為了確定是否存在這個(gè)函數(shù),我們一般會(huì)使用反射去獲取 # 因?yàn)槿绻瘮?shù)不存在通過(guò).的方式調(diào)用會(huì)拋異常的 func = getattr(lib, "test", None) if func: print(func) # <_FuncPtr object at 0x0000029F75F315F0> func() # hello world # 不存在test_xx這個(gè)函數(shù),所以得到的結(jié)果為None func1 = getattr(lib, "test_xx", None) print(func1) # None
所以使用ctypes去調(diào)用擴(kuò)展模塊非常方便
1.通過(guò)ctypes.CDLL("dll或者so的路徑"),如果是Windows還可以使用ctypes.WinDLL("dll路徑")。另外這兩種加載方式分別等價(jià)于:ctypes.CDLL("dll或者so的路徑") == ctypes.cdll.LoadLibrary("dll或者so的路徑"),ctypes.WinDLL("dll路徑") == ctypes.windll.LoadLibrary("dll路徑")。但是注意的是:linux上只能使用ctypes.CDLL和ctypes.cdll.LoadLibrary,而Windows上ctypes.CDLL、ctypes.cdll.LoadLibrary、ctypes.WinDLL、ctypes.windll.LoadLibrary都可以使用。但是一般我們都使用ctypes.CDLL即可,另外注意的是:dll或者so文件的路徑最好是絕對(duì)路徑,即便不是也要表明層級(jí),比如我們這里的py文件和dll文件是在同一個(gè)目錄下,但是我們加載的時(shí)候不可以寫(xiě)mmp.dll,這樣會(huì)報(bào)錯(cuò)找不到,要寫(xiě)成./mmp.dll。
2.加載動(dòng)態(tài)模塊之后會(huì)返回一個(gè)對(duì)象,我們上面起名為lib,這個(gè)lib就是得到的擴(kuò)展模塊了。
3.然后可以直接通過(guò)lib調(diào)用里面的函數(shù),但是一般我們會(huì)使用反射的方式來(lái)獲取,因?yàn)椴恢篮瘮?shù)到底存不存在,如果不存在直接調(diào)用會(huì)拋出異常,如果存在這個(gè)函數(shù)我們才會(huì)執(zhí)行。
以上就是本次介紹的全部相關(guān)知識(shí)點(diǎn),如果大家有任何補(bǔ)充的地方可以聯(lián)系腳本之家小編。
相關(guān)文章
Python面向?qū)ο笾鄳B(tài)原理與用法案例分析
這篇文章主要介紹了Python面向?qū)ο笾鄳B(tài)原理與用法,結(jié)合具體案例形式分析了Python多態(tài)的具體功能、原理、使用方法與操作注意事項(xiàng),需要的朋友可以參考下2019-12-12如何通過(guò)Python的pyttsx3庫(kù)將文字轉(zhuǎn)為音頻
pyttsx3是一個(gè)開(kāi)源的Python文本轉(zhuǎn)語(yǔ)音庫(kù),可以將文本轉(zhuǎn)換為自然的人類(lèi)語(yǔ)音,這篇文章主要介紹了如何通過(guò)Python的pyttsx3庫(kù)將文字轉(zhuǎn)為音頻,需要的朋友可以參考下2023-04-04python輸出100以?xún)?nèi)的質(zhì)數(shù)與合數(shù)實(shí)例代碼
本文通過(guò)實(shí)例代碼給大家介紹了python輸出100以?xún)?nèi)的質(zhì)數(shù)與合數(shù)的方法,非常不錯(cuò),具有一定的參考借鑒價(jià)值,需要的朋友參考下吧2018-07-07使用 tf.nn.dynamic_rnn 展開(kāi)時(shí)間維度方式
今天小編就為大家分享一篇使用 tf.nn.dynamic_rnn 展開(kāi)時(shí)間維度方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-01-01pandas創(chuàng)建DataFrame對(duì)象失敗的解決方法
本文主要介紹了pandas創(chuàng)建DataFrame對(duì)象失敗的解決方法,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-01-01Python中if __name__ == "__main__"詳細(xì)解釋
這篇文章主要介紹了Python中if __name__ == "__main__"詳細(xì)解釋,需要的朋友可以參考下2014-10-10