Python利用臨時文件實現(xiàn)數(shù)據(jù)的保存
假設(shè)有一個 WebSocket 接口,會源源不斷地產(chǎn)生數(shù)據(jù),我們需要將其保存下來,然后進行處理。但由于數(shù)據(jù)量比較大,無法一次性加載到內(nèi)存,最好的辦法就是保存到文件里。
如果數(shù)據(jù)處理完畢,不再需要相關(guān)文件的話,那么我們可以使用臨時文件。臨時文件的最大好處就是,不用命名、并且關(guān)閉時會自動刪除,而無需我們手動刪。
下面我們來看看如何使用臨時文件。
import?tempfile #?第一個參數(shù)是?mode,表示打開模式 #?默認是?"wb+",二進制可讀可寫 f?=?tempfile.TemporaryFile() #?假設(shè)我們寫?1G?的數(shù)據(jù) f.write(b"+"?*?1024?*?1024?*?1024) #?此時文件指針會移動到末尾 #?想要讀取的話,需要移動到開頭 f.seek(0,?0) print(len(f.read())) """ 1073741824 """ print(1073741824?==?1024?*?1024?*?1024) """ True """
臨時文件和真實文件的操作方法是一樣的,因為臨時文件本質(zhì)上也屬于文件,它的數(shù)據(jù)也存儲在系統(tǒng)上,只不過我們不知道罷了。當調(diào)用 f.close(),臨時文件就會被自動刪除,占用的磁盤空間也會被釋放。我們來驗證一下:
import?psutil import?tempfile GB_UNIT?=?1024?*?1024?*?1024 #?臨時文件默認存儲在?C?盤 #?我們查看已經(jīng)使用的空間 print( ????psutil.disk_usage("C:\\").used?/?GB_UNIT )??#?89.93075561523438 f?=?tempfile.TemporaryFile() #?寫?1G?的數(shù)據(jù) f.write(b"+"?*?1024?*?1024?*?1024) #?不出意外的話,應(yīng)該增加?1G print( ????psutil.disk_usage("C:\\").used?/?GB_UNIT )??#?90.93075561523438 #?關(guān)閉臨時文件,然后釋放磁盤空間 f.close() #?所以又會減少?1G print( ????psutil.disk_usage("C:\\").used?/?GB_UNIT )??#?89.93075561523438
輸出一切正常,所以結(jié)論如下:
- 臨時文件本質(zhì)上也是文件,它在存儲數(shù)據(jù)的時候,也是存儲在磁盤上,和真實文件并無二致;
- 臨時文件的調(diào)用屬于操作系統(tǒng)級別的,所以它的創(chuàng)建、讀寫數(shù)據(jù),最終都會走操作系統(tǒng)提供的系統(tǒng)調(diào)用;
- 臨時文件在被關(guān)閉時,操作系統(tǒng)會自動刪除;
然后我們還可以指定臨時文件的存儲位置,雖然臨時文件關(guān)閉時會自動刪除,但我們還是希望它能存儲在指定的位置上。
import?tempfile import?time f?=?tempfile.TemporaryFile(dir=r"E:\data") time.sleep(30)
為了觀察到現(xiàn)象,這里 sleep 了 30 秒。執(zhí)行時,打開目錄,會發(fā)現(xiàn)文件創(chuàng)建了,并且操作系統(tǒng)幫我們起了個名字。
等 30 秒過后,文件又被自動刪除了。
然后 TemporaryFile 里面還接收其它參數(shù),我們來看一下:
大部分參數(shù)和內(nèi)置函數(shù) open 類似,但里面有一個 prefix 和 suffix 參數(shù)。因為臨時文件也是文件,也要存儲在磁盤上,只不過關(guān)閉之后會自動刪除。所以它也要有一個名字,默認名字的前綴是 "tmp",沒有后綴,而我們可以指定前綴和后綴,舉個例子:
import?tempfile import?time f?=?tempfile.TemporaryFile(dir=r"E:\data", ???????????????????????????prefix="你好呀", ???????????????????????????suffix="我不好") time.sleep(30)
執(zhí)行一下看看:
此時文件的前綴和后綴就被我們改掉了,不過說實話這個前綴和后綴沒太大卵用,既然是臨時文件,用完就刪除了,名字沒太大關(guān)注的必要。
那么問題來了,如果不指定 dir 參數(shù),我們就不知道文件存在哪了嗎?顯然不是的,默認存在什么地方,tempfile 已經(jīng)提前告訴我們了。
import?tempfile #?Linux?系統(tǒng)是?/tmp print( ????tempfile.gettempdir() )??#?C:\Users\satori\AppData\Local\Temp #?返回二進制結(jié)果 print( ????tempfile.gettempdirb() )??#?b'C:\\Users\\satori\\AppData\\Local\\Temp' #?獲取前綴 print( ????tempfile.gettempprefix() )??#?tmp #?返回二進制結(jié)果 print( ????tempfile.gettempprefixb() )??#?b'tmp'
最后想說的是,臨時文件也可以使用 mmap 進行映射。
import?tempfile import?mmap f?=?tempfile.TemporaryFile() f.write(b"hello,?world") #?映射之前需要移動一下光標 f.seek(0,?0) #?mmap?映射,這里就映射?5?字節(jié) m?=?mmap.mmap(f.fileno(),?5) m[:]?=?b"HELLO" #?再次打印 print(f.read()) """ b'HELLO,?world' """
以上就是臨時文件的用法,當然 tempfile 還提供了其它的操作,有興趣可以了解一下,但使用最普遍的還是 TemporaryFile。
到此這篇關(guān)于Python利用臨時文件實現(xiàn)數(shù)據(jù)的保存的文章就介紹到這了,更多相關(guān)Python臨時文件保存數(shù)據(jù)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
django框架實現(xiàn)一次性上傳多個文件功能示例【批量上傳】
這篇文章主要介紹了django框架實現(xiàn)一次性上傳多個文件功能,結(jié)合實例形式分析了Django框架批量上傳相關(guān)實現(xiàn)技巧與操作注意事項,需要的朋友可以參考下2019-06-06pytorch 在sequential中使用view來reshape的例子
今天小編就為大家分享一篇pytorch 在sequential中使用view來reshape的例子,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08Python實現(xiàn)Kerberos用戶的增刪改查操作
這篇文章主要介紹了Python實現(xiàn)Kerberos用戶的增刪改查操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-12-12Python 實現(xiàn)兩個服務(wù)器之間文件的上傳方法
今天小編就為大家分享一篇Python 實現(xiàn)兩個服務(wù)器之間文件的上傳方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-02-02Python使用pip安裝報錯:is not a supported wheel on this platform的解決
這篇文章主要介紹了Python使用pip安裝報錯:is not a supported wheel on this platform的解決方法,結(jié)合實例形式分析了在安裝版本正確的情況下pip安裝報錯的原因與相應(yīng)的解決方法,需要的朋友可以參考下2018-01-01