詳解Python描述符的工作原理
一、前言
其實(shí),在開(kāi)發(fā)過(guò)程中,雖然我們沒(méi)有直接使用到描述符,但是它在底層卻無(wú)時(shí)不刻地被使用到,例如以下這些:
function、bound method、unbound method
裝飾器property、staticmethod、classmethod
是不是都很熟悉?
這些都與描述符有著千絲萬(wàn)縷的關(guān)系,這篇文章我們就來(lái)看一下描述符背后的工作原理。
二、什么是描述符?
在解釋什么是「描述符」之前,我們先來(lái)看一個(gè)簡(jiǎn)單的例子。

這個(gè)例子非常簡(jiǎn)單,我們?cè)陬?nbsp;A 中定義了一個(gè)類屬性 x,然后打印它的值。
其實(shí),除了直接定類屬性之外,我們還可以這樣定義一個(gè)類屬性:

仔細(xì)看,這次類屬性 x 不再是一個(gè)具體的值,而是一個(gè)類 Ten。Ten 中定義了一個(gè) __get__ 方法,返回具體的值。
在 Python 中,允許把一個(gè)類屬性,托管給一個(gè)類,這個(gè)屬性就是一個(gè)「描述符」。
換句話說(shuō),「描述符」是一個(gè)「綁定行為」的屬性。
怎么理解這句話?
回憶一下,我們開(kāi)發(fā)時(shí),一般把「行為」叫做什么?是的,「行為」一般指的是一個(gè)方法。
所以我們也可以把「描述符」理解為:對(duì)象的屬性不再是一個(gè)具體的值,而是交給了一個(gè)方法去定義。
可以想一下,如果我們用一個(gè)方法去定義一個(gè)屬性,這么做的好處是什么?
有了方法,我們就可以在方法內(nèi)實(shí)現(xiàn)自己的邏輯,最簡(jiǎn)單的,我們可以根據(jù)不同的條件,在方法內(nèi)給屬性賦予不同的值,就像下面這樣:

三、描述符協(xié)議
了解了描述符的定義,現(xiàn)在我們把重點(diǎn)放到托管屬性的類上。
其實(shí),一個(gè)類屬性想要托管給一個(gè)類,這個(gè)類內(nèi)部實(shí)現(xiàn)的方法不能是隨便定義的,它必須遵守「描述符協(xié)議」,也就是要實(shí)現(xiàn)以下幾個(gè)方法:
__get__(self, obj, type=None) __set__(self, obj, value) __delete__(self, obj)
只要是實(shí)現(xiàn)了以上幾個(gè)方法的其中一個(gè),那么這個(gè)類屬性就可以稱作描述符。
另外,描述符又可以分為「數(shù)據(jù)描述符」和「非數(shù)據(jù)描述符」:
只定義了 __get___,叫做非數(shù)據(jù)描述符 除了定義 __get__ 之外,還定義了 __set__ 或 __delete__,叫做數(shù)據(jù)描述符
它們兩者有什么區(qū)別,我會(huì)在下面詳述。
現(xiàn)在我們來(lái)看一個(gè)包含 __get__ 和 __set__ 方法的描述符例子:

在這例子中,類屬性 age 是一個(gè)描述符,它的值取決于 Age 類。
從輸出結(jié)果來(lái)看,當(dāng)我們獲取或修改 age 屬性時(shí),調(diào)用了 Age 的 __get__ 和 __set__ 方法:
- 當(dāng)調(diào)用
p1.age時(shí),__get__被調(diào)用,參數(shù)obj是Person實(shí)例,type是type(Person) - 當(dāng)調(diào)用
Person.age時(shí),__get__被調(diào)用,參數(shù)obj是None,type是type(Person) - 當(dāng)調(diào)用
p1.age = 25時(shí),__set__被調(diào)用,參數(shù)obj是Person實(shí)例,value是25 - 當(dāng)調(diào)用
p1.age = -1時(shí),__set__沒(méi)有通過(guò)校驗(yàn),拋出ValueError
其中,調(diào)用 __set__ 傳入的參數(shù),我們比較容易理解,但是對(duì)于 __get__ 方法,通過(guò)類或?qū)嵗?/strong>調(diào)用,傳入的參數(shù)是不同的,這是為什么?
這就需要我們了解一下描述符的工作原理。
四、描述符的工作原理
要解釋描述符的工作原理,首先我們需要先從屬性的訪問(wèn)說(shuō)起。
在開(kāi)發(fā)時(shí),不知道你有沒(méi)有想過(guò)這樣一個(gè)問(wèn)題:通常我們寫(xiě)這樣的代碼 a.b,其背后到底發(fā)生了什么?
這里的 a 和 b 可能存在以下情況:
1.a 可能是一個(gè)類,也可能是一個(gè)實(shí)例,我們這里統(tǒng)稱為對(duì)象
2.b 可能是一個(gè)屬性,也可能是一個(gè)方法,方法其實(shí)也可以看做是類的屬性
其實(shí),無(wú)論是以上哪種情況,在 Python 中,都有一個(gè)統(tǒng)一的調(diào)用邏輯:
1.先調(diào)用 __getattribute__ 嘗試獲得結(jié)果
2.如果沒(méi)有結(jié)果,調(diào)用 __getattr__
用代碼表示就是下面這樣:

我們這里需要重點(diǎn)關(guān)注一下 __getattribute__,因?yàn)樗撬袑傩圆檎业娜肟?,它?nèi)部實(shí)現(xiàn)的屬性查找順序是這樣的:
1.要查找的屬性,在類中是否是一個(gè)描述符
2.如果是描述符,再檢查它是否是一個(gè)數(shù)據(jù)描述符
3.如果是數(shù)據(jù)描述符,則調(diào)用數(shù)據(jù)描述符的 __get__
4.如果不是數(shù)據(jù)描述符,則從 __dict__ 中查找
5.如果 __dict__ 中查找不到,再看它是否是一個(gè)非數(shù)據(jù)描述符
6.如果是非數(shù)據(jù)描述符,則調(diào)用非數(shù)據(jù)描述符的 __get__
7.如果也不是一個(gè)非數(shù)據(jù)描述符,則從類屬性中查找
8.如果類中也沒(méi)有這個(gè)屬性,拋出 AttributeError 異常
寫(xiě)成代碼就是下面這樣:

如果不好理解,你最好寫(xiě)一個(gè)程序測(cè)試一下,觀察各種情況下的屬性的查找順序。
到這里我們可以看到,在一個(gè)對(duì)象中查找一個(gè)屬性,都是先從 __getattribute__ 開(kāi)始的。
在 __getattribute__ 中,它會(huì)檢查這個(gè)類屬性是否是一個(gè)描述符,如果是一個(gè)描述符,那么就會(huì)調(diào)用它的 __get__ 方法。但具體的調(diào)用細(xì)節(jié)和傳入的參數(shù)是下面這樣的:
如果 a 是一個(gè)實(shí)例,調(diào)用細(xì)節(jié)為:
所以我們就能看到上面例子輸出的結(jié)果。
五、數(shù)據(jù)描述符和非數(shù)據(jù)描述符
了解了描述符的工作原理,我們繼續(xù)來(lái)看數(shù)據(jù)描述符和非數(shù)據(jù)描述符的區(qū)別。
從定義上來(lái)看,它們的區(qū)別是:
- 只定義了
__get___,叫做非數(shù)據(jù)描述符 - 除了定義
__get__之外,還定義了__set__或__delete__,叫做數(shù)據(jù)描述符
此外,我們從上面描述符調(diào)用的順序可以看到,在對(duì)象中查找屬性時(shí),數(shù)據(jù)描述符要優(yōu)先于非數(shù)據(jù)描述符調(diào)用。
在之前的例子中,我們定義了 __get__ 和 __set__,所以那些類屬性都是數(shù)據(jù)描述符。
我們?cè)賮?lái)看一個(gè)非數(shù)據(jù)描述符的例子:

這段代碼,我們定義了一個(gè)相同名字的屬性和方法 foo,如果現(xiàn)在執(zhí)行 A().foo,你覺(jué)得會(huì)輸出什么結(jié)果?
答案是 abc。
為什么打印的是實(shí)例屬性 foo 的值,而不是方法 foo 呢?
這就和非數(shù)據(jù)描述符有關(guān)系了。
我們執(zhí)行 dir(A.foo),觀察結(jié)果:

看到了嗎?A 的 foo 方法其實(shí)實(shí)現(xiàn)了 __get__,我們?cè)谏厦娴姆治鲆呀?jīng)得知:只定義 __get__ 方法的對(duì)象,它其實(shí)是一個(gè)非數(shù)據(jù)描述符,也就是說(shuō),我們?cè)陬愔卸x的方法,其實(shí)本身就是一個(gè)非數(shù)據(jù)描述符。
所以,在一個(gè)類中,如果存在相同名字的屬性和方法,按照上面所講的 __getattribute__ 中查找屬性的順序,這個(gè)屬性就會(huì)優(yōu)先從實(shí)例中獲取,如果實(shí)例中不存在,才會(huì)從非數(shù)據(jù)描述符中獲取,所以在這里優(yōu)先查找的是實(shí)例屬性 foo 的值。
到這里我們可以總結(jié)一下關(guān)于描述符的相關(guān)知識(shí)點(diǎn):
- 描述符必須是一個(gè)類屬性
__getattribute__是查找一個(gè)屬性(方法)的入口__getattribute__定義了一個(gè)屬性(方法)的查找順序:數(shù)據(jù)描述符、實(shí)例屬性、非數(shù)據(jù)描述符、類屬性- 如果我們重寫(xiě)了
__getattribute__方法,會(huì)阻止描述符的調(diào)用 - 所有方法其實(shí)都是一個(gè)非數(shù)據(jù)描述符,因?yàn)樗x了
__get__
六、描述符的使用場(chǎng)景
了解了描述符的工作原理,那描述符一般用在哪些業(yè)務(wù)場(chǎng)景中呢?
在這里我用描述符實(shí)現(xiàn)了一個(gè)屬性校驗(yàn)器,你可以參考這個(gè)例子,在類似的場(chǎng)景中去使用它。
首先我們定義一個(gè)校驗(yàn)基類 Validator,在 __set__ 方法中先調(diào)用 validate 方法校驗(yàn)屬性是否符合要求,然后再對(duì)屬性進(jìn)行賦值。



現(xiàn)在,當(dāng)我們對(duì) Person 實(shí)例進(jìn)行初始化時(shí),就可以校驗(yàn)這些屬性是否符合預(yù)定義的規(guī)則了。
七、function與method
我們?cè)賮?lái)看一下,在開(kāi)發(fā)時(shí)經(jīng)??吹降?nbsp;function、unbound method、bound method 它們之間到底有什么區(qū)別?
來(lái)看下面這段代碼:
從結(jié)果我們可以看出它們的區(qū)別:
function準(zhǔn)確來(lái)說(shuō)就是一個(gè)函數(shù),并且它實(shí)現(xiàn)了__get__方法,因此每一個(gè)function都是一個(gè)非數(shù)據(jù)描述符,而在類中會(huì)把function放到__dict__中存儲(chǔ)- 當(dāng)
function被實(shí)例調(diào)用時(shí),它是一個(gè)bound method - 當(dāng)
function被類調(diào)用時(shí), 它是一個(gè)unbound method
function 是一個(gè)非數(shù)據(jù)描述符,我們之前已經(jīng)講到了。
而 bound method 和 unbound method 的區(qū)別就在于調(diào)用方的類型是什么,如果是一個(gè)實(shí)例,那么這個(gè) function 就是一個(gè) bound method,否則它是一個(gè) unbound method。
八、property/staticmethod/classmethod
我們?cè)賮?lái)看 property、staticmethod、classmethod。
這些裝飾器的實(shí)現(xiàn),默認(rèn)是 C 來(lái)實(shí)現(xiàn)的。
其實(shí),我們也可以直接利用 Python 描述符的特性來(lái)實(shí)現(xiàn)這些裝飾器,
property 的 Python 版實(shí)現(xiàn):


除此之外,你還可以實(shí)現(xiàn)其他功能強(qiáng)大的裝飾器。
由此可見(jiàn),通過(guò)描述符我們可以實(shí)現(xiàn)強(qiáng)大而靈活的屬性管理功能,對(duì)于一些要求屬性控制比較復(fù)雜的場(chǎng)景,我們可以選擇用描述符來(lái)實(shí)現(xiàn)。
到此這篇關(guān)于詳解Python描述符的工作原理的文章就介紹到這了,更多相關(guān)Python描述符內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
pandas滑動(dòng)窗口學(xué)習(xí)筆記(shift, diff, pct_change)
pandas中有3類窗口,分別是滑動(dòng)窗口rolling?、擴(kuò)張窗口expanding以及指數(shù)加權(quán)窗口ewm,下面就來(lái)詳細(xì)的介紹一下這三種的用法,感興趣的可以了解一下2024-03-03
Python實(shí)現(xiàn)CART決策樹(shù)算法及詳細(xì)注釋
CART算法是一種樹(shù)構(gòu)建算法,既可以用于分類任務(wù),又可以用于回歸,本文僅討論基本的CART分類決策樹(shù)構(gòu)建,不討論回歸樹(shù)和剪枝等問(wèn)題,感興趣的朋友跟隨小編一起看看吧2021-10-10
Pytorch dataloader在加載最后一個(gè)batch時(shí)卡死的解決
這篇文章主要介紹了Pytorch dataloader在加載最后一個(gè)batch時(shí)卡死的解決方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2021-05-05
關(guān)于Python時(shí)間日期常見(jiàn)的一些操作方法
Python的datetime模塊是處理日期和時(shí)間的強(qiáng)大工具,datetime類可以獲取當(dāng)前時(shí)間、指定日期、計(jì)算時(shí)間差、訪問(wèn)時(shí)間屬性及格式化時(shí)間,這些功能使得在Python中進(jìn)行時(shí)間日期處理變得簡(jiǎn)單高效,需要的朋友可以參考下2024-09-09
在Qt5和PyQt5中設(shè)置支持高分辨率屏幕自適應(yīng)的方法
今天小編就為大家分享一篇在Qt5和PyQt5中設(shè)置支持高分辨率屏幕自適應(yīng)的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-06-06
如何解決.cuda()加載用時(shí)很長(zhǎng)的問(wèn)題
這篇文章主要介紹了如何解決.cuda()加載用時(shí)很長(zhǎng)的問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2021-05-05
python中用ctypes模擬點(diǎn)擊的實(shí)例講解
在本篇文章里小編給各位整理了一篇關(guān)于python中用ctypes模擬點(diǎn)擊的實(shí)例講解內(nèi)容,需要的朋友可以參考學(xué)習(xí)下。2020-11-11

