Python functools.lru_cache裝飾器性能提升利器深入探究
1. 引言
Python的標(biāo)準(zhǔn)庫(kù)中有許多強(qiáng)大的工具和裝飾器,用于提高程序性能和減少計(jì)算時(shí)間。functools.lru_cache
裝飾器就是其中之一。
為什么需要緩存?
在編寫(xiě)程序時(shí),經(jīng)常會(huì)遇到需要計(jì)算某個(gè)函數(shù)的輸出,然后在稍后的代碼中多次使用該輸出的情況。如果每次需要計(jì)算時(shí)都重新運(yùn)行函數(shù),將浪費(fèi)大量的計(jì)算時(shí)間。這時(shí),緩存就能派上用場(chǎng)。緩存可以將函數(shù)的輸出存儲(chǔ)在內(nèi)存中,以便以后可以直接獲取,而無(wú)需重新計(jì)算。這可以顯著提高程序的性能,特別是在處理計(jì)算密集型任務(wù)時(shí)。
2. functools.lru_cache 簡(jiǎn)介
什么是LRU緩存?
LRU(最近最少使用)緩存是一種常見(jiàn)的緩存策略,它保留最近使用的項(xiàng),而丟棄最不常使用的項(xiàng)。functools.lru_cache
裝飾器是Python標(biāo)準(zhǔn)庫(kù)中的一種緩存工具,它使用LRU策略來(lái)存儲(chǔ)函數(shù)的輸出結(jié)果。這意味著最近使用的函數(shù)調(diào)用結(jié)果將被保留在緩存中,而較長(zhǎng)時(shí)間未被使用的結(jié)果將被清除,以釋放內(nèi)存。
3. lru_cache的基本用法
裝飾一個(gè)函數(shù)
使用functools.lru_cache
非常簡(jiǎn)單。只需在要緩存的函數(shù)上添加裝飾器即可。
例如:
from functools import lru_cache @lru_cache() def expensive_function(arg): # 計(jì)算復(fù)雜的結(jié)果 return result
這將自動(dòng)為expensive_function
函數(shù)添加緩存功能,以避免重復(fù)計(jì)算相同輸入值的結(jié)果。
緩存大小限制
設(shè)置緩存的大小限制,以控制緩存的大小。
例如,要將緩存大小限制為1000個(gè)條目:
@lru_cache(maxsize=1000) def expensive_function(arg): # 計(jì)算復(fù)雜的結(jié)果 return result
當(dāng)緩存達(dá)到最大大小時(shí),最不常使用的結(jié)果將被清除以騰出空間。
清除緩存
如果需要手動(dòng)清除緩存,可以使用clear
方法:
expensive_function.cache_clear()
4. 高級(jí)用法和選項(xiàng)
typed 參數(shù)
默認(rèn)情況下,lru_cache
會(huì)將不同類型的參數(shù)視為相同的參數(shù)。如果希望根據(jù)參數(shù)的類型進(jìn)行緩存,可以使用typed=True
:
@lru_cache(typed=True) def function_with_typed_cache(arg): # 根據(jù)參數(shù)類型進(jìn)行緩存 return result
自定義key函數(shù)
默認(rèn)情況下,lru_cache
使用參數(shù)的值作為緩存鍵。但可以為參數(shù)定義自定義緩存鍵的函數(shù):
def custom_key_function(arg): return arg.key @lru_cache(key=custom_key_function) def function_with_custom_key(arg): # 使用自定義鍵進(jìn)行緩存 return result
緩存的元數(shù)據(jù)
lru_cache
對(duì)象還具有一些有用的元數(shù)據(jù),如hits
(緩存命中次數(shù))和misses
(緩存未命中次數(shù)):
result = expensive_function(arg) print(expensive_function.cache_info()) # 輸出緩存信息,包括命中次數(shù)和未命中次數(shù)
5. 性能和注意事項(xiàng)
緩存的命中率
在使用lru_cache
時(shí),要注意緩存的命中率。
如果緩存的命中率很低,大部分時(shí)間都在計(jì)算未命中的結(jié)果,那么緩存可能不會(huì)顯著提高性能。
使用lru_cache
的最佳實(shí)踐
僅對(duì)需要頻繁計(jì)算的函數(shù)使用緩存。
調(diào)整緩存的大小以適應(yīng)內(nèi)存限制。
謹(jǐn)慎使用
typed
參數(shù)和自定義key
函數(shù),確保它們符合需求。
6. 示例:使用lru_cache優(yōu)化斐波那契數(shù)列計(jì)算
一個(gè)實(shí)際示例,演示如何使用lru_cache
來(lái)優(yōu)化斐波那契數(shù)列的計(jì)算:
from functools import lru_cache @lru_cache(maxsize=None) # 不限制緩存大小 def fibonacci(n): if n <= 1: return n else: return fibonacci(n - 1) + fibonacci(n - 2) result = fibonacci(50) # 非常快速
使用緩存,計(jì)算斐波那契數(shù)列的值變得非常迅速,即使是大數(shù)值。
7. 適用場(chǎng)景
何時(shí)使用lru_cache
當(dāng)有昂貴的函數(shù)計(jì)算,并且希望避免重復(fù)計(jì)算時(shí)。
當(dāng)需要快速訪問(wèn)最近使用的函數(shù)結(jié)果。
何時(shí)不使用lru_cache
當(dāng)函數(shù)的結(jié)果占用大量?jī)?nèi)存,導(dǎo)致內(nèi)存不足時(shí)。
當(dāng)函數(shù)的參數(shù)具有大量可能的取值,緩存命中率很低。
8. 總結(jié)
functools.lru_cache
裝飾器是Python中一個(gè)強(qiáng)大的工具,可用于緩存函數(shù)的輸出結(jié)果,以提高程序性能。通過(guò)使用LRU緩存策略,它能夠有效管理緩存大小,確保最常使用的結(jié)果得以保留。
在實(shí)際應(yīng)用中,lru_cache
可以用于加速各種類型的計(jì)算,尤其是遞歸函數(shù)或需要頻繁計(jì)算的函數(shù)。然而,要謹(jǐn)慎使用緩存大小、typed
參數(shù)和自定義key
函數(shù),以確保它們與需求相符。
以上就是Python functools.lru_cache裝飾器性能提升利器深入探究的詳細(xì)內(nèi)容,更多關(guān)于Python functools.lru_cache裝飾器的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
用python寫(xiě)個(gè)顏值評(píng)分器篩選最美主播
這篇文章主要介紹了我如何用python寫(xiě)顏值評(píng)分器,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-08-08Pandas?計(jì)算相關(guān)性系數(shù)corr()方式
這篇文章主要介紹了Pandas?計(jì)算相關(guān)性系數(shù)corr()方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-07-07PyQt5?python?數(shù)據(jù)庫(kù)?表格動(dòng)態(tài)增刪改詳情
這篇文章主要介紹了PyQt5?python?數(shù)據(jù)庫(kù)?表格動(dòng)態(tài)增刪改詳情,首先手動(dòng)連接數(shù)據(jù)庫(kù)與下一個(gè)的程序連接數(shù)據(jù)庫(kù)是獨(dú)立的2個(gè)部分,下面來(lái)看看文章的詳細(xì)介紹2022-01-01Python 實(shí)現(xiàn)還原已撤回的微信消息
這篇文章主要介紹了Python 神操作,還原已撤回的微信消息功能,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-06-06如何基于windows實(shí)現(xiàn)python定時(shí)爬蟲(chóng)
這篇文章主要介紹了如何基于windows實(shí)現(xiàn)python定時(shí)爬蟲(chóng),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-05-05python用pickle模塊實(shí)現(xiàn)“增刪改查”的簡(jiǎn)易功能
本篇文章主要介紹了python用pickle模塊實(shí)現(xiàn)“增刪改查”的簡(jiǎn)易功能,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下。2017-06-06Python爬蟲(chóng)開(kāi)發(fā)與項(xiàng)目實(shí)戰(zhàn)
本書(shū)從基本的爬蟲(chóng)原理開(kāi)始講解,通過(guò)介紹Pthyon編程語(yǔ)言和Web前端基礎(chǔ)知識(shí)引領(lǐng)讀者入門(mén),之后介紹動(dòng)態(tài)爬蟲(chóng)原理以及Scrapy爬蟲(chóng)框架,最后介紹大規(guī)模數(shù)據(jù)下分布式爬蟲(chóng)的設(shè)計(jì)以及PySpider爬蟲(chóng)框架等,需要的朋友快來(lái)下載電子版吧2020-12-12Flask 讓jsonify返回的json串支持中文顯示的方法
下面小編就為大家分享一篇Flask 讓jsonify返回的json串支持中文顯示的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-03-03