Python整數(shù)對象實現(xiàn)原理詳解
整數(shù)對象在Python內(nèi)部用PyIntObject結(jié)構(gòu)體表示:
typedef struct { PyObject_HEAD long ob_ival; } PyIntObject;
PyObject_HEAD宏中定義的兩個屬性分別是:
int ob_refcnt; struct _typeobject *ob_type;
這兩個屬性是所有Python對象固有的:
- ob_refcnt:對象的引用計數(shù),與Python的內(nèi)存管理機制有關(guān),它實現(xiàn)了基于引用計數(shù)的垃圾收集機制
- ob_type:用于描述Python對象的類型信息。
由此看來PyIntObject就是一個對C語言中l(wèi)ong類型的數(shù)值的擴展,出于性能考慮,對于小整數(shù),Python使用小整數(shù)對象池small_ints緩存了[-5,257)之間的整數(shù),該范圍內(nèi)的整數(shù)在Python系統(tǒng)中是共享的。
#define NSMALLPOSINTS 257 #define NSMALLNEGINTS 5 static PyIntObject *small_ints[NSMALLNEGINTS + NSMALLPOSINTS];
而超過該范圍的整數(shù)即使值相同,但對象不一定是同一個,如下所示:當a與b的值都是10000,但并不是同一個對象,而值為1的時候,a和b屬于同一個對象。
>>> a = 10000 >>> b = 10000 >>> print a is b False >>> a = 1 >>> b = 1 >>> print a is b True
對于超出了[-5, 257)之間的其他整數(shù),Python同樣提供了專門的緩沖池,供這些所謂的大整數(shù)使用,避免每次使用的時候都要不斷的malloc分配內(nèi)存帶來的效率損耗。這塊內(nèi)存空間就是PyIntBlock。
struct _intblock { struct _intblock *next; PyIntObject objects[N_INTOBJECTS]; }; typedef struct _intblock PyIntBlock; static PyIntBlock *block_list = NULL; static PyIntObject *free_list = NULL;
這些內(nèi)存塊(PyIntBlock)通過一個單向鏈表組織在一起,表頭是block_list,表頭始終指向最新創(chuàng)建的PyIntBlock對象。
PyIntBlock有兩個屬性:next,objects。next指針指向下一個PyIntBlock對象,objects是一個PyIntObject數(shù)組(最終會轉(zhuǎn)變成單向鏈表),它是真正用于存儲被緩存的PyIntObjet對象的內(nèi)存空間。
free_list單向鏈表是所有PyIntBlock內(nèi)存塊中空閑的內(nèi)存。所有空閑內(nèi)存通過一個鏈表組織起來的好處就是在Python需要新的內(nèi)存來存儲新的PyIntObject對象時,能夠通過free_list快速獲得所需的內(nèi)存。
創(chuàng)建一個整數(shù)對象時,如果它在小整數(shù)范圍內(nèi),就直接從小整數(shù)緩沖池中直接返回,如果不在該范圍內(nèi),就開辟一個大整數(shù)緩沖池內(nèi)存空間:
[intobject.c] PyObject* PyInt_FromLong(long ival) { register PyIntObject *v; #if NSMALLNEGINTS + NSMALLPOSINTS > 0 //[1] :嘗試使用小整數(shù)對象池 if (-NSMALLNEGINTS <= ival && ival < NSMALLPOSINTS) { v = small_ints[ival + NSMALLNEGINTS]; Py_INCREF(v); return (PyObject *) v; } #endif //[2] :為通用整數(shù)對象池申請新的內(nèi)存空間 if (free_list == NULL) { if ((free_list = fill_free_list()) == NULL) return NULL; } //[3] : (inline)內(nèi)聯(lián)PyObject_New的行為 v = free_list; free_list = (PyIntObject *)v->ob_type; PyObject_INIT(v, &PyInt_Type); v->ob_ival = ival; return (PyObject *) v; }
fill_free_list就是創(chuàng)建大整數(shù)緩沖池內(nèi)存空間的邏輯,該函數(shù)返回一個free_list鏈表,當整數(shù)對象ival創(chuàng)建成功后,free_list表頭就指向了v->ob_type,ob_type不是所有Python對象中表示類型信息的字段嗎?怎么在這里作為一個連接指針呢?這是Python在性能與代碼優(yōu)雅之間取中庸之道,對名稱的濫用,放棄了對類型安全的堅持。把它理解成指向下一個PyIntObject的指針即可。
[intobject.c] static PyIntObject* fill_free_list(void) { PyIntObject *p, *q; // 申請大小為sizeof(PyIntBlock)的內(nèi)存空間 // block list始終指向最新創(chuàng)建的PyIntBlock p = (PyIntObject *) PyMem_MALLOC(sizeof(PyIntBlock)); ((PyIntBlock *)p)->next = block_list; block_list = (PyIntBlock *)p; //:將PyIntBlock中的PyIntObject數(shù)組(objects)轉(zhuǎn)變成單向鏈表 p = &((PyIntBlock *)p)->objects[0]; q = p + N_INTOBJECTS; while (--q > p) // ob_type指向下一個未被使用的PyIntObject。 q->ob_type = (struct _typeobject *)(q-1); q->ob_type = NULL; return p + N_INTOBJECTS - 1; }
不同的PyIntBlock里面的空閑的內(nèi)存是怎樣連接起來構(gòu)成free_list的呢?這個秘密放在了整數(shù)對象垃圾回收的時候,在PyIntObject對象的tp_dealloc操作中可以看到:
[intobject.c] static void int_dealloc(PyIntObject *v) { if (PyInt_CheckExact(v)) { v->ob_type = (struct _typeobject *)free_list; free_list = v; } else v->ob_type->tp_free((PyObject *)v); }
原來PyIntObject對象銷毀時,它所占用的內(nèi)存并不會釋放,而是繼續(xù)被Python使用,進而將free_list表頭指向了這個要被銷毀的對象上。
總結(jié)
- Python中的int對象就是c語言中l(wèi)ong類型數(shù)值的擴展
- 小整數(shù)對象[-5, 257]在python中是共享的
- 整數(shù)對象都是從緩沖池中獲取的。
- 整數(shù)對象回收時,內(nèi)存并不會歸還給系統(tǒng),而是將其對象的ob_type指向free_list,供新創(chuàng)建的整數(shù)對象使用
以上就是本文的全部內(nèi)容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Python Numpy數(shù)組擴展repeat和tile使用實例解析
這篇文章主要介紹了Python Numpy數(shù)組擴展repeat和tile使用實例解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-12-12代碼講解Python對Windows服務進行監(jiān)控
本篇文章給大家分享了通過Python對Windows服務進行監(jiān)控的實例代碼,對此有興趣的朋友可以學習參考下。2018-02-02基于Python實現(xiàn)層次性數(shù)據(jù)和閉包性質(zhì)
這篇文章主要介紹了如何利用Python實現(xiàn)層次性數(shù)據(jù)和閉包性質(zhì),文中的示例代碼講解詳細,對我們學習Python有一定幫助,需要的可以了解一下2022-05-05pytorch中retain_graph==True的作用說明
這篇文章主要介紹了pytorch中retain_graph==True的作用說明,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2023-02-02