Python 性能優(yōu)化技巧總結(jié)
1.使用測(cè)量工具,量化性能才能改進(jìn)性能,常用的timeit
和memory_profiler
,此外還有profile
、cProfile
、hotshot
等,memory_profiler
用了psutil
,所以不能跟蹤cpython
的擴(kuò)展;
2.用C來(lái)解決費(fèi)時(shí)的處理,c是效率的代名詞,也是python用來(lái)解決效率問(wèn)題的主要途徑,甚至有時(shí)候我都覺(jué)得python是c的完美搭檔。常用的是Cython
,直接把py代碼c化然后又能像使用py包一樣使用,其次是ctypes
,效率最最高的存在,最后還有CPython
和cffi
都是屌屌的存在;
3.優(yōu)化算法,所有語(yǔ)言通病,算法的提升我覺(jué)得是在所有提升之上的,但也是最難的,好在現(xiàn)在大部分常用的算法都已經(jīng)封包,除非自己給自己挖坑,所以弄懂標(biāo)準(zhǔn)庫(kù)里的數(shù)據(jù)結(jié)構(gòu)和常用api是如何實(shí)現(xiàn)的很重要;
4.2里的實(shí)現(xiàn)有人做了更高效的包用以替換python中常見(jiàn)的一些實(shí)現(xiàn),如果瓶頸在stringio、pickle、profile
這類上的可以考慮替換為c的版本;
5.數(shù)據(jù)結(jié)構(gòu)盡量使用元組tuple,特別是數(shù)據(jù)量大的時(shí)候,實(shí)在不行l(wèi)ist也可以,盡量不要用class
,如果一定要用可以加slot
,效率再不夠就只能結(jié)合2來(lái)加速了;
6.延遲加載,import
不是一定要寫(xiě)在一頁(yè)的開(kāi)始,哪里都可以,越碎片越能把包的加載延遲甚至不被加載;
7.用multiprocessing
來(lái)實(shí)現(xiàn)多線程,可以跳出GIL的限制;
8.python處理循環(huán)很爛,解釋性語(yǔ)言就這樣,跟其它編譯型語(yǔ)言比就是蝸牛,所以減少循環(huán)次數(shù)和嵌套次數(shù)能顯著提升性能,當(dāng)然了使用pypy就沒(méi)有這個(gè)問(wèn)題了;
9.使用加速器,很喜歡psyco的使用方式,如果用2.7-的版本那么不失為一個(gè)懶人的選擇,現(xiàn)在已經(jīng)不再維護(hù),創(chuàng)始人去了pypy,pypy是用Python實(shí)現(xiàn)的python,底層轉(zhuǎn)為平臺(tái)依賴的c、.net、java的中間語(yǔ)言,方式非常聰明,大愛(ài),但是缺點(diǎn)是庫(kù)的支持還不完善,我的項(xiàng)目基本都能支持,解決幾個(gè)小問(wèn)題即可,如果性能瓶頸在循環(huán)和內(nèi)存上可以試試,最大的好處是不需要更改一句代碼和做另外的設(shè)置,沒(méi)有任何侵入。
參考資料:
Python 代碼性能優(yōu)化技巧: https://www.ibm.com/developerworks/cn/linux/l-cn-python-optim/
Python性能優(yōu)化技巧: http://kuanghy.github.io/2016/09/26/python-optimize
相關(guān)文章
Python中使用pypdf2合并、分割、加密pdf文件的代碼詳解
這篇文章主要介紹了Python中使用pypdf2合并、分割、加密pdf文件的代碼,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-05-05Laravel+Dingo/Api 自定義響應(yīng)的實(shí)現(xiàn)
這篇文章主要介紹了Laravel+Dingo/Api 自定義響應(yīng)的實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-02-02python3 中的字符串(單引號(hào)、雙引號(hào)、三引號(hào))以及字符串與數(shù)字的運(yùn)算
這篇文章主要介紹了python3 中的字符串(單引號(hào)、雙引號(hào)、三引號(hào))以及字符串與數(shù)字的運(yùn)算,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07Python+Flask實(shí)現(xiàn)自定義分頁(yè)的示例代碼
分頁(yè)操作在web開(kāi)發(fā)中幾乎是必不可少的,而flask不像django自帶封裝好的分頁(yè)操作。所以本文將自定義實(shí)現(xiàn)分頁(yè)效果,需要的可以參考一下2022-09-09詳解Python如何利用Pandas與NumPy進(jìn)行數(shù)據(jù)清洗
許多數(shù)據(jù)科學(xué)家認(rèn)為獲取和清理數(shù)據(jù)的初始步驟占工作的 80%,花費(fèi)大量時(shí)間來(lái)清理數(shù)據(jù)集并將它們歸結(jié)為可以使用的形式。本文將利用 Python 的 Pandas和 NumPy 庫(kù)來(lái)清理數(shù)據(jù),需要的可以參考一下2022-04-04使用Python通過(guò)簡(jiǎn)單操作設(shè)置PDF文檔屬性
PDF文檔屬性是嵌入在PDF文檔中的一些與文檔有關(guān)的信息,這篇文章主要為大家介紹了如何使用Python通過(guò)簡(jiǎn)單的操作設(shè)置PDF文檔屬性,需要的可以參考下2023-11-11