分析用Python腳本關(guān)閉文件操作的機(jī)制
如果不用“with”,那么Python會在何時關(guān)閉文件呢?答案是:視情況而定。
Python程序員最初學(xué)到的東西里有一點就是可以通過迭代法很容易地遍歷一個打開文件的全文:
f = open('/etc/passwd') for line in f: print(line)
注意上面的代碼具有可行性,因為我們的文件對象“f”是一個迭代器。換句話說,“f“ 知道在一個循環(huán)或者任何其他的迭代上下文中做什么,比如像列表解析。
我的Python課堂上的大多數(shù)學(xué)生都具有其他編程語言背景,在使用以前所熟悉的語言時,他們總是在完成文件操作時被期望關(guān)閉文件。因此,在我向他們介紹了Python文件操作的內(nèi)容不久后他們問起如何在Python中關(guān)閉文件時,我一點都不驚訝。
最簡單的回答就是我們可以通過調(diào)用f.close()顯式地關(guān)閉文件。一旦我們關(guān)閉了文件,該文件對象依然存在,但是我們無法再通過它來讀取文件內(nèi)容了,而且文件對象返回的可打印內(nèi)容也表明文件已經(jīng)被關(guān)閉。
>>> f = open('/etc/passwd') >>> f <open file '/etc/passwd', mode 'r' at 0x10f023270> >>> f.read(5) '##n# ' f.close() >>> f <closed file '/etc/passwd', mode 'r' at 0x10f023270> f.read(5) --------------------------------------------------------------------------- ValueError Traceback (most recent call last) <ipython-input-11-ef8add6ff846> in <module>() ----> 1 f.read(5) ValueError: I/O operation on closed file
所以是這樣,我在用Python編程的時候,很少明確地對文件調(diào)用 “close” 方法。此外,你也很可能不想或不必那樣做。
打開文件的優(yōu)選最佳實踐方式是使用 “with” 語句,就像如下所示:
with open('/etc/passwd') as f: for line in f: print(line)
“with”語句對 “f” 文件對象調(diào)用在Python中稱作“上下文管理器”的方法。也就是說,它指定 “f” 為指向 /etc/passwd 內(nèi)容的新的文件實例。在 “with” 打開的代碼塊內(nèi),文件是打開的,而且可以自由讀取。
然而,一旦Python代碼從 “with” 負(fù)責(zé)的代碼段退出,文件會自動關(guān)閉。試圖在我們退出 “with”代碼塊后從 f 中讀取內(nèi)容會導(dǎo)致和上文一樣的 ValueError 異常。所以,通過使用 “with”,你避免了顯式地關(guān)閉文件的操作。Python 會以一種不那么有 Python 風(fēng)格的方式在幕后神奇而靜靜地替你關(guān)閉文件。
但是你不顯式地關(guān)閉文件會怎樣?如果你有點懶,既不使用 “with” 代碼塊也不調(diào)用f.close()怎么辦?這時文件會什么時候關(guān)閉?何時應(yīng)該關(guān)閉文件?
我之所以問這個,是因為我教了這么多年P(guān)ython,確信努力教授“with”或上下文管理器的同時又教很多其它的話題超出了學(xué)生接受的范圍。在介紹性課程談及 “with” 時,我一般會告訴學(xué)生在他們職業(yè)生涯中遇到這個問題時,讓Python去關(guān)閉文件就好,不論文件對象的應(yīng)用計數(shù)降為0還是Python退出時。
在我的Python文件操作免費(fèi)e-mail課程中,我并沒有在所有的解決方案中使用with,想看看如何。結(jié)果一些人質(zhì)疑我,說不使用“with”會向人們展示一種糟糕的實踐方案并且會有數(shù)據(jù)未寫入磁盤的風(fēng)險。
我收到了很多關(guān)于此話題的郵件,于是我問自己:如果我們沒有顯式地關(guān)閉文件或者沒用“with”代碼塊,那么Python會何時關(guān)閉文件?也就是說,如果我讓文件自動關(guān)閉,那么會發(fā)生什么?
我總是假定當(dāng)對象的引用計數(shù)降為0時,Python會關(guān)閉文件,進(jìn)而垃圾回收機(jī)制清理文件對象。當(dāng)我們讀文件時很難證明或核實這一點,但寫入文件時卻很容易。這是因為當(dāng)寫入文件時,內(nèi)容并不會立即刷新到磁盤(除非你向“open”方法的第三個可選參數(shù)傳入“False”),只有當(dāng)文件關(guān)閉時才會刷新。
于是我決定做些實驗以便更好地理解Python到底能自動地為我做什么。我的實驗包括打開一個文件、寫入數(shù)據(jù)、刪除引用和退出Python。我很好奇數(shù)據(jù)是什么時候會被寫入,如果有的話。
我的實驗是這個樣子:
f = open('/tmp/output', 'w') f.write('abcn') f.write('defn') # check contents of /tmp/output (1) del(f) # check contents of /tmp/output (2) # exit from Python # check contents of /tmp/output (3)
我在Mac平臺上用Python 2.7.9 做了第一個實驗,報告顯示在階段一文件存在但是是空的,階段二和階段三中文件包含所有的內(nèi)容。這樣,在CPython 2.7中我最初的直覺似乎是正確的:當(dāng)一個文件對象被垃圾回收時,它的 __del__ (或者等價的)方法會刷新并關(guān)閉文件。而且在我的IPython進(jìn)程中調(diào)用“l(fā)sof”命令顯示文件確實在引用對象移除后被關(guān)閉了。
那 Python3 如何呢?我在Mac上 Python 3.4.2 環(huán)境下做了以上的實驗,得到了相同的結(jié)果。移除對文件對象最后的引用后會導(dǎo)致文件被刷新并且被關(guān)閉。
這對于 Python 2.7 和 3.4 很好。但是在 PyPy 和 Jython下的替代實現(xiàn)會怎樣呢?或許情況會有些不同。
于是我在 PyPy 2.7.8 下做了相同的實驗。而這次,我得到了不同的結(jié)果!刪除文件對象的引用后——也就是在階段2,并沒有導(dǎo)致文件內(nèi)容被刷入磁盤。我不得不假設(shè)這和垃圾回收機(jī)制的不同或其他在 PyPy 和 CPython中工作機(jī)制的不同有關(guān)系。但是如果你在 PyPy中運(yùn)行程序,就絕不要指望僅僅因為文件對象的引用結(jié)束,文件就會被刷新和關(guān)閉。命令 lsof 顯示直到Python進(jìn)程退出時文件才會被釋放。
為了好玩,我決定嘗試一下 Jython 2.7b3. 結(jié)果Jython 表現(xiàn)出了和PyPy一樣的行為。也就是說,從 Python 退出確實會確保緩存中的數(shù)據(jù)寫入磁盤。
我重做了這些實驗,但是我把 “abcn”和 “defn”換成了 “abcn”*1000 和“defn”*1000.
在 Python 2.7 的環(huán)境下,“abcn” * 1000 語句執(zhí)行后沒有任何東西寫入。但“defn” * 1000 語句執(zhí)行后,文件包含有4096個字節(jié)——可能代表緩沖區(qū)的大小。調(diào)用 del(f) 刪除文件對象的引用導(dǎo)致數(shù)據(jù)被刷入磁盤和文件關(guān)閉,此時文件中共有8000字節(jié)的數(shù)據(jù)。所以忽略字符串大小的話 Python 2.7 的行為表現(xiàn)基本相同。唯一不同的是如果超出了緩沖區(qū)的大小,那么一些數(shù)據(jù)將在最后文件關(guān)閉數(shù)據(jù)刷新前寫入磁盤。
換做是Python 3的話,情況就有些不同了。f.write執(zhí)行后沒有任何數(shù)據(jù)會寫入。但是文件對象引用一旦結(jié)束,文件就會刷新并關(guān)閉。這可能是緩沖區(qū)很大的緣故。但毫無疑問,刪除文件對象引用會使文件刷新并關(guān)閉。
至于 PyPy 和 Jython,對大文件和小文件的操作結(jié)果都一樣:文件在 PyPy 或 Jython 進(jìn)程結(jié)束的時候刷新并關(guān)閉,而不是在文件對象的引用結(jié)束的時候。
為了再次確認(rèn),我又使用 “with” 進(jìn)行了實驗。在所有情況下,我們都能夠輕松的預(yù)測文件是何時被刷新和關(guān)閉的——就是當(dāng)退出代碼段,并且上下文管理器在后臺調(diào)用合適方法的時候。
換句話說,如果你不使用“with”,那么至少在非常簡單的情形下,你的數(shù)據(jù)不一定有丟失的危險。然而你還是不能確定數(shù)據(jù)到底是在文件對象引用結(jié)束還是程序退出的時候被保存的。如果你假定因為對文件唯一的引用是一個本地變量所以文件在函數(shù)返回時會關(guān)閉,那么事實一定會讓你感到吃驚。如果你有多個進(jìn)程或線程同時對一個文件進(jìn)行寫操作,那么你真的要非常小心了。
或許這個行為可以更好地定義不就可以在不同的平臺上表現(xiàn)得基本一致了嗎?也許我們甚至可以看看Python規(guī)范的開始,而不是指著CPython說“Yeah,不管版本如何總是對的”。
我依然覺得“with”和上下文管理器很棒。而且我想對于Python新手,理解“with”的工作原理很難。但我還是不得不提醒新手開發(fā)者注意:如果他們決定使用Python的其他可選版本,那么會出現(xiàn)很多不同于CPython的古怪情況而且如果他們不夠小心,甚至?xí)钍芷浜Α?br />
相關(guān)文章
Python函數(shù)基礎(chǔ)(定義函數(shù)、函數(shù)參數(shù)、匿名函數(shù))
這篇文章介紹了Python函數(shù)的基礎(chǔ)用法,文中通過示例代碼介紹的非常詳細(xì)。對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2022-05-05python爬蟲lxml庫解析xpath網(wǎng)頁過程示例
這篇文章主要為大家介紹了python爬蟲lxml庫解析xpath網(wǎng)頁的過程示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-05-05使用python處理題庫表格并轉(zhuǎn)化為word形式的實現(xiàn)
這篇文章主要介紹了使用python處理題庫表格并轉(zhuǎn)化為word形式的實現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04使用WingPro 7 設(shè)置Python路徑的方法
Python使用稱為Python Path的搜索路徑來查找使用import語句導(dǎo)入代碼的模塊。這篇文章主要介紹了使用WingPro 7 設(shè)置Python路徑的方法,需要的朋友可以參考下2019-07-07Boston數(shù)據(jù)集預(yù)測放假及應(yīng)用優(yōu)缺點評估
這篇文章主要為大家介紹了Boston數(shù)據(jù)集預(yù)測放假及應(yīng)用優(yōu)缺點評估,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-10-10python 實現(xiàn)網(wǎng)易郵箱郵件閱讀和刪除的輔助小腳本
這篇文章主要介紹了python 如何實現(xiàn)網(wǎng)易郵箱郵件閱讀和刪除輔助的小腳本,幫助大家更好的理解和學(xué)習(xí)使用python,感興趣的朋友可以了解下2021-03-03使用Python的內(nèi)建模塊collections的教程
這篇文章主要介紹了使用Python的內(nèi)建模塊collections的教程,示例代碼基于Python2.x版本,需要的朋友可以參考下2015-04-04python中實現(xiàn)精確的浮點數(shù)運(yùn)算詳解
計算機(jī)智能處理可數(shù)集合的運(yùn)算,但是全體實數(shù)是不可數(shù)的,所以計算機(jī)只能用一些奇怪的方法來擬合他,于是就產(chǎn)生了浮點數(shù)。下面這篇文章主要給大家介紹了關(guān)于python中實現(xiàn)精確浮點數(shù)運(yùn)算的相關(guān)資料,需要的朋友可以參考借鑒,下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。2017-11-11