關(guān)于Python 多重繼承時metaclass conflict問題解決與原理探究
背景
最近有一個需求需要自定義一個多繼承abc.ABC與django.contrib.admin.ModelAdmin兩個父類的抽象子類,方便不同模塊復(fù)用大部分代碼,同時強(qiáng)制必須實現(xiàn)所有抽象方法,沒想按想當(dāng)然的寫法實現(xiàn)多繼承時,居然報錯metaclass conflict:
In [1]: import abc In [2]: from django.contrib import admin In [3]: class MyAdmin(abc.ABC, admin.ModelAdmin): ...: pass ...: --------------------------------------------------------------------------- TypeError Traceback (most recent call last) <ipython-input-3-b159bc04ec1b> in <module> ----> 1 class MyAdmin(abc.ABC, admin.ModelAdmin): 2 pass 3 TypeError: metaclass conflict: the metaclass of a derived class must be a (non-strict) subclass of the metaclasses of all its bases
一時之間疑惑滿滿,先是通過搜索快速找到了一個解決方案,但是卻并沒有弄明白問題的根本原因與解決方案的原理,最近終于有些時間可以深入探究一番,這里記錄一下。
PS: 本文所有討論均基于Python3,不考慮Python2的部分差異之處。
什么是metaclass(元類)
首先要弄清楚什么是metaclass,才可能明白metaclass conflict的真正含義。
類比普通class與metaclass
這里采用class(類)和instance(實例)的關(guān)系來類比解釋,如果要創(chuàng)建一個自定義class A,然后創(chuàng)建其實例,一般我們會這么寫:
In [1]: class A: ...: def test(self): ...: print('call test') In [2]: a = A() In [3]: print(a, type(a)) <__main__.A object at 0x7f9f95414970> <class '__main__.A'>
如上我們自定義了class A,并且生成了class A的實例對象a,print語句的輸出可以看出實例a的類型正是class A,此時如果我們進(jìn)一步探究A的類型會發(fā)現(xiàn):
In [10]: print(type(A)) <class 'type'>
A類型是 class type。
我們會說a是class A的實例,那以此類推可以說class A是class type的實例,或者換一種說法:class A的實例是a,class type的實例是A。
現(xiàn)在我們嘗試定義metaclass:
在python中class不僅能創(chuàng)建實例對象,其本身也是一個對象,普通class創(chuàng)建實例普通對象,metaclass(元類)則創(chuàng)建實例class對象。
PS: 嚴(yán)格來說metaclass本身不一定要是一個class,它可以是任意可以返回class的callable對象,這里我們不做深入探討。
自定義與使用metaclass
在python中應(yīng)該怎么定義一個metaclass呢,其實type就是一個metaclass,type是所有class的默認(rèn)metaclass,而且所有自定義的metaclass 最終也都會使用到type來執(zhí)行最后創(chuàng)建class的工作。
事實上上面使用class A... 的語法定義類A時,Python解釋器最終也是調(diào)用type來創(chuàng)建的class A,其等價于以下代碼:
In [23]: def fn(self): ...: print('call test') ...: In [24]: A = type('A', (object, ), dict(test=fn))
type創(chuàng)建class的簽名如下:
type(name, bases, attrs) name: 要創(chuàng)建的class名稱 bases: 要繼承的父類tuple(可以為空,但python3自定義class一般都默認(rèn)繼承object) attrs: 包含class定義屬性名稱和值的dict
絕大多數(shù)情況下我們并不需要用到metaclass,極少數(shù)需要動態(tài)創(chuàng)建/修改class的復(fù)雜場景比如Django的ORM才需要用到這一技術(shù)。這里舉一個metaclass簡單使用示例,比如我們可以簡單創(chuàng)建一個給class統(tǒng)一加上其創(chuàng)建時間的metaclass,以滿足需要時可以查看對應(yīng)class首次創(chuàng)建時間的這個偽需求(僅為舉本例而提的需求_),如下AddCTimeMetaclass定義:
In [30]: from datetime import datetime In [31]: class AddCTimeMetaclass(type): ...: def __new__(cls, name, bases, attrs): ...: attrs['ctime'] = datetime.now() ...: return super().__new__(cls, name, bases, attrs) ...: In [32]: class B(metaclass=AddCTimeMetaclass): ...: pass ...: In [33]: B.ctime Out[33]: datetime.datetime(2022, 10, 29, 1, 22, 46, 750176)
在定義class B的時候,通過指定metaclass參數(shù)告訴解釋器創(chuàng)建class B時不使用默認(rèn)的type而是使用自定義的元類AddCTimeMetaclass。
metaclass confict(元類沖突)的清晰含義
初步定義了metaclass并了解簡單使用之后,我們開始正式探究metaclass conflict,一個最簡單觸發(fā)metaclass conflict的例子如下:
In [42]: class M0(type): ...: pass ...: In [43]: class M1(type): ...: pass ...: In [44]: class A(metaclass=M0): ...: pass ...: In [45]: class B(metaclass=M1): ...: pass ...: In [46]: class C(A, B): ...: pass ...: --------------------------------------------------------------------------- TypeError Traceback (most recent call last) <ipython-input-46-9900d594feda> in <module> ----> 1 class C(A, B): 2 pass 3 TypeError: metaclass conflict: the metaclass of a derived class must be a (non-strict) subclass of the metaclasses of all its bases
如上M0與M1為自定義metaclass,分別作為A、B的metaclass,當(dāng)class C試圖多繼承A、B時就會出問題,從字面意思理解:子類的metaclass必須是其所有基類metaclass的(非嚴(yán)格)子類,看起來普通class的多繼承和metaclass的多繼承之間發(fā)生了什么問題。
這段話具體怎么理解?我們已經(jīng)知道A、B都分別具有自己的metaclass M0、M1,那么當(dāng)C多繼承A、B的時候C的metaclass應(yīng)該是M0還是M1呢?由于M0、M1兩者之間并沒有繼承關(guān)系,用哪個都不行,Python不知道怎么辦,只能告訴你出問題了。
解決方案
那理想情況下C的metaclass到底應(yīng)該是什么呢?理想情況應(yīng)該如下所示:
M0 M1 : \ / : : \ / : A M2 B \ : / \ : / C
即采用多繼承了M0、M1的M2作為C的metaclass,這也是解決這個問題的最終方案,具體代碼如下:
In [58]: class M2(M0, M1): ...: pass ...: In [59]: class C(A, B, metaclass=M2): ...: pass ...:
如上我們通過手動定義M2,并手動明確指定class C的metaclass為M2,如此解決metaclass conflict問題。
這時再回到開頭碰到的多繼承abc.ABC與admin.ModelAdmin時遇到的問題就很容易理解了:因為abc.ABC有自己的metaclass abc.ABCMeta,同時modelAdmin也有自己的metaclass django.forms.widgets.MediaDefiningClass,并且這兩者之間沒有繼承關(guān)系,因而 class MyAdmin(abc.ABC, admin.ModelAdmin) 多繼承時解釋器無法推斷出滿足條件的metaclass,自然也就報錯了,解決辦法和上面的方案一樣,定義一個兩者metaclass的子類并將其指定為MyAdmin的metaclass即可,代碼如下:
In [112]: print(type(abc.ABC), type(admin.ModelAdmin)) <class 'abc.ABCMeta'> <class 'django.forms.widgets.MediaDefiningClass'> In [113]: class MyMeta(type(abc.ABC), type(admin.ModelAdmin)): ...: pass ...: In [114]: class MyAdmin(abc.ABC, admin.ModelAdmin, metaclass=MyMeta): ...: pass ...: In [115]: print(type(MyAdmin)) <class '__main__.MyMeta'>
參考
https://www.liaoxuefeng.com/wiki/1016959663602400/1017592449371072
https://stackoverflow.com/questions/100003/what-are-metaclasses-in-python
https://www.cnblogs.com/JetpropelledSnake/p/9094103.html
http://www.phyast.pitt.edu/~micheles/python/metatype.html
到此這篇關(guān)于Python 多重繼承時metaclass conflict問題解決與原理探究 的文章就介紹到這了,更多相關(guān)Python 多重繼承內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
pytorch自定義不可導(dǎo)激活函數(shù)的操作
這篇文章主要介紹了pytorch自定義不可導(dǎo)激活函數(shù)的操作,具有很好的參考價值,希望大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2021-06-06Python中subprocess介紹及如何使用詳細(xì)講解
在實際開發(fā)過程中,我們經(jīng)常會遇到需要從Python腳本中調(diào)用外部程序或腳本的場景,下面這篇文章主要給大家介紹了關(guān)于Python中subprocess介紹及如何使用詳細(xì)講解的相關(guān)資料,需要的朋友可以參考下2024-09-09如何實現(xiàn)一個python函數(shù)裝飾器(Decorator)
這篇文章主要介紹了如何實現(xiàn)一個python函數(shù)裝飾器(Decorator),幫助大家更好的理解和學(xué)習(xí)python,感興趣的朋友可以了解下2020-10-10Python應(yīng)用案例之利用opencv實現(xiàn)圖像匹配
OpenCV 是一個的跨平臺計算機(jī)視覺庫,可以運行在 Linux、Windows 和 Mac OS 操作系統(tǒng)上,這篇文章主要給大家介紹了關(guān)于Python應(yīng)用案例之利用opencv實現(xiàn)圖像匹配的相關(guān)資料,需要的朋友可以參考下2024-08-08Python爬取英雄聯(lián)盟MSI直播間彈幕并生成詞云圖
很開心RNG最近在英雄聯(lián)盟季中賽奪冠了,特地爬取了直播間彈幕并生成詞云圖,大家一起開心一下,看看奪冠時大家都在說什么,需要的朋友可以參考下2021-06-06