用Python中的__slots__緩存資源以節(jié)省內(nèi)存開銷的方法
我們曾經(jīng)提到,Oyster.com的Python web服務(wù)器怎樣利用一個(gè)巨大的Python dicts(hash table),緩存大量的靜態(tài)資源。我們最近在Image類中,用僅僅一行__slots__代碼,讓每個(gè)6G內(nèi)存占用的服務(wù)進(jìn)程(共4個(gè)),省出超過2G來。
這是其中一個(gè)服務(wù)器在部署代碼前后的截圖:
我們alloc了大約一百萬個(gè)類似如下class的實(shí)例:
class Image(object):
def __init__(self, id, caption, url):
self.id = id
self.caption = caption
self.url = url
self._setup()
# ... other methods ...
默認(rèn)情況下,Python用一個(gè)dict來存儲(chǔ)對象實(shí)例的屬性。這在一般情況下還不錯(cuò),而且非常靈活,乃至你在運(yùn)行時(shí)可以隨意設(shè)置新的屬性。
但是,對一些在”編譯”前就知道該有幾個(gè)固定屬性的小class來說,這個(gè)dict就有點(diǎn)浪費(fèi)內(nèi)存了。而當(dāng)你把這個(gè)小浪費(fèi)乘上一百萬,那可就大不同了。在Python中,你可以在class中設(shè)置__slots__,它是一個(gè)包含這些固定的屬性名的list。這樣Python就不會(huì)再使用dict,而且只分配這些屬性的空間。
class Image(object):
__slots__ = ['id', 'caption', 'url']
def __init__(self, id, caption, url):
self.id = id
self.caption = caption
self.url = url
self._setup()
# ... other methods ...
你還可以用collections.namedtuple,它允許訪問參數(shù),但只占用一個(gè)tuple的空間。這跟__slots__類似。不過我總覺得繼承一個(gè)namedtuple類很奇怪。另外,如果你需要自定義初始化,你應(yīng)該重載__new__而不是__init__。
警告:不要貿(mào)然進(jìn)行這個(gè)優(yōu)化,把它用在所有地方。這種做法不利于代碼維護(hù),而且只有當(dāng)你有數(shù)以千計(jì)的實(shí)例的時(shí)候才會(huì)有明顯效果。
譯注:作者在評論中關(guān)于”不利于代碼維護(hù)“的說法:
webreac:我覺得__slots__關(guān)鍵字不只是速度優(yōu)化(注:這里應(yīng)該是內(nèi)存優(yōu)化),也是類字段名的一個(gè)可靠”文檔“。這有利于代碼維護(hù)。為什么你覺得它不好?
Ben Hoyt(作者):有趣的說法——我不確定應(yīng)不應(yīng)該把__slots__作為文檔。不過的確是不錯(cuò)的注意。我之前這么說的原因是,你需要對字段名”定義“兩次(不夠DRY)。namedtuple也類似。
相關(guān)文章
Python統(tǒng)計(jì)python文件中代碼,注釋及空白對應(yīng)的行數(shù)示例【測試可用】
這篇文章主要介紹了Python統(tǒng)計(jì)python文件中代碼,注釋及空白對應(yīng)的行數(shù),涉及Python針對py文件的讀取、遍歷、判斷、統(tǒng)計(jì)等相關(guān)操作技巧,需要的朋友可以參考下2018-07-07Python調(diào)用PC攝像頭實(shí)現(xiàn)掃描二維碼
PC攝像機(jī)掃描二維碼的應(yīng)用場景很廣泛,可以應(yīng)用于各種需要快速掃描、識(shí)別和管理的場景,本文就來具體講講如何用Python實(shí)現(xiàn)這一功能吧2023-05-05使用Python實(shí)現(xiàn)SSH隧道界面功能
這篇文章主要介紹了使用Python實(shí)現(xiàn)一個(gè)SSH隧道界面功能,界面使用tkinter實(shí)現(xiàn),左邊是輸入隧道的信息,右邊為歷史列表,本文通過示例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友參考下吧2022-02-02python基礎(chǔ)學(xué)習(xí)之遞歸函數(shù)知識(shí)總結(jié)
在函數(shù)中調(diào)用函數(shù)自身,我們把這樣的函數(shù)叫做遞歸函數(shù), 遞歸函數(shù)就是循環(huán)的調(diào)用,類似于俄羅斯套娃,本文給各位小伙伴詳細(xì)介紹了python遞歸函數(shù),需要的朋友可以參考下2021-05-05用Python實(shí)現(xiàn)一個(gè)簡單的用戶系統(tǒng)
大家好,本篇文章主要講的是用Python實(shí)現(xiàn)一個(gè)簡單的用戶系統(tǒng),感興趣的同學(xué)趕快來看一看吧,對你有幫助的話記得收藏一下2022-01-01