詳解Python編程中對Monkey Patch猴子補丁開發(fā)方式的運用
Monkey patch就是在運行時對已有的代碼進行修改,達(dá)到hot patch的目的。Eventlet中大量使用了該技巧,以替換標(biāo)準(zhǔn)庫中的組件,比如socket。首先來看一下最簡單的monkey patch的實現(xiàn)。
class Foo(object): def bar(self): print 'Foo.bar' def bar(self): print 'Modified bar' Foo().bar() Foo.bar = bar Foo().bar()
由于Python中的名字空間是開放,通過dict來實現(xiàn),所以很容易就可以達(dá)到patch的目的。
Python namespace
Python有幾個namespace,分別是
- locals
- globals
- builtin
其中定義在函數(shù)內(nèi)聲明的變量屬于locals,而模塊內(nèi)定義的函數(shù)屬于globals。
Python module Import & Name Lookup
當(dāng)我們import一個module時,python會做以下幾件事情
- 導(dǎo)入一個module
- 將module對象加入到sys.modules,后續(xù)對該module的導(dǎo)入將直接從該dict中獲得
- 將module對象加入到globals dict中
當(dāng)我們引用一個模塊時,將會從globals中查找。這里如果要替換掉一個標(biāo)準(zhǔn)模塊,我們得做以下兩件事情
將我們自己的module加入到sys.modules中,替換掉原有的模塊。如果被替換模塊還沒加載,那么我們得先對其進行加載,否則第一次加載時,還會加載標(biāo)準(zhǔn)模塊。(這里有一個import hook可以用,不過這需要我們自己實現(xiàn)該hook,可能也可以使用該方法hook module import)
如果被替換模塊引用了其他模塊,那么我們也需要進行替換,但是這里我們可以修改globals dict,將我們的module加入到globals以hook這些被引用的模塊。
Eventlet Patcher Implementation
現(xiàn)在我們先來看一下eventlet中的Patcher的調(diào)用代碼吧,這段代碼對標(biāo)準(zhǔn)的ftplib做monkey patch,將eventlet的GreenSocket替換標(biāo)準(zhǔn)的socket。
from eventlet import patcher # *NOTE: there might be some funny business with the "SOCKS" module # if it even still exists from eventlet.green import socket patcher.inject('ftplib', globals(), ('socket', socket)) del patcher inject函數(shù)會將eventlet的socket模塊注入標(biāo)準(zhǔn)的ftplib中,globals dict被傳入以做適當(dāng)?shù)男薷摹? 讓我們接著來看一下inject的實現(xiàn)。 __exclude = set(('__builtins__', '__file__', '__name__')) def inject(module_name, new_globals, *additional_modules): """Base method for "injecting" greened modules into an imported module. It imports the module specified in *module_name*, arranging things so that the already-imported modules in *additional_modules* are used when *module_name* makes its imports. *new_globals* is either None or a globals dictionary that gets populated with the contents of the *module_name* module. This is useful when creating a "green" version of some other module. *additional_modules* should be a collection of two-element tuples, of the form (, ). If it's not specified, a default selection of name/module pairs is used, which should cover all use cases but may be slower because there are inevitably redundant or unnecessary imports. """ if not additional_modules: # supply some defaults additional_modules = ( _green_os_modules() + _green_select_modules() + _green_socket_modules() + _green_thread_modules() + _green_time_modules()) ## Put the specified modules in sys.modules for the duration of the import saved = {} for name, mod in additional_modules: saved[name] = sys.modules.get(name, None) sys.modules[name] = mod ## Remove the old module from sys.modules and reimport it while ## the specified modules are in place old_module = sys.modules.pop(module_name, None) try: module = __import__(module_name, {}, {}, module_name.split('.')[:-1]) if new_globals is not None: ## Update the given globals dictionary with everything from this new module for name in dir(module): if name not in __exclude: new_globals[name] = getattr(module, name) ## Keep a reference to the new module to prevent it from dying sys.modules['__patched_module_' + module_name] = module finally: ## Put the original module back if old_module is not None: sys.modules[module_name] = old_module elif module_name in sys.modules: del sys.modules[module_name] ## Put all the saved modules back for name, mod in additional_modules: if saved[name] is not None: sys.modules[name] = saved[name] else: del sys.modules[name] return module
注釋比較清楚的解釋了代碼的意圖。代碼還是比較容易理解的。這里有一個函數(shù)__import__,這個函數(shù)提供一個模塊名(字符串),來加載一個模塊。而我們import或者reload時提供的名字是對象。
if new_globals is not None: ## Update the given globals dictionary with everything from this new module for name in dir(module): if name not in __exclude: new_globals[name] = getattr(module, name)
這段代碼的作用是將標(biāo)準(zhǔn)的ftplib中的對象加入到eventlet的ftplib模塊中。因為我們在eventlet.ftplib中調(diào)用了inject,傳入了globals,而inject中我們手動__import__了這個module,只得到了一個模塊對象,所以模塊中的對象不會被加入到globals中,需要手動添加。
這里為什么不用from ftplib import *的緣故,應(yīng)該是因為這樣無法做到完全替換ftplib的目的。因為from … import *會根據(jù)__init__.py中的__all__列表來導(dǎo)入public symbol,而這樣對于下劃線開頭的private symbol將不會導(dǎo)入,無法做到完全patch。
相關(guān)文章
python實現(xiàn)學(xué)生成績測評系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了python實現(xiàn)學(xué)生成績測評系統(tǒng),文中示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下2020-06-06python 模擬創(chuàng)建seafile 目錄操作示例
這篇文章主要介紹了python 模擬創(chuàng)建seafile 目錄操作,結(jié)合實例形式詳細(xì)分析了Python模擬創(chuàng)建seafile 目錄相關(guān)操作技巧,需要的朋友可以參考下2019-09-09Python標(biāo)準(zhǔn)庫之循環(huán)器(itertools)介紹
這篇文章主要介紹了Python標(biāo)準(zhǔn)庫之循環(huán)器(itertools)介紹,本文講解了無窮循環(huán)器、函數(shù)式工具、組合工具、groupby()、其它工具等內(nèi)容,需要的朋友可以參考下2014-11-11Python數(shù)據(jù)結(jié)構(gòu)與算法中的隊列詳解(1)
這篇文章主要為大家詳細(xì)介紹了Python的隊列,文中示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下,希望能夠給你帶來幫助2022-03-03Python實現(xiàn)的飛速中文網(wǎng)小說下載腳本
這篇文章主要介紹了Python實現(xiàn)的飛速中文網(wǎng)小說下載腳本,本文直接給出實現(xiàn)代碼,需要的朋友可以參考下2015-04-04