強悍的Python讀取大文件的解決方案
Python 環(huán)境下文件的讀取問題，請參見拙文 Python基礎(chǔ)之文件讀取的講解
這是一道著名的 Python 面試題，考察的問題是，Python 讀取大文件和一般規(guī)模的文件時的區(qū)別，也即哪些接口不適合讀取大文件。
1. read() 接口的問題
f = open(filename, 'rb') f.read()
我們來讀取 1 個 nginx 的日至文件，規(guī)模為 3Gb 大小。read() 方法執(zhí)行的操作，是一次性全部讀入內(nèi)存，顯然會造成：
MemoryError
...
也即會發(fā)生內(nèi)存溢出。
2. 解決方案：轉(zhuǎn)換接口
- （1）readlines() ：讀取全部的行，構(gòu)成一個 list，實踐表明還是會造成內(nèi)存的問題；
for line in f.reanlines(): ...
- （2）readline()：每次讀取一行，
while True:
line = f.readline()
if not line:
break
- （3）read(1024)：重載，指定每次讀取的長度
while True:
block = f.read(1024)
if not block:
break
3. 真正 Pythonic 的方法
真正 Pythonci 的方法，使用 with 結(jié)構(gòu)：
with open(filename, 'rb') as f:
for line in f:
<do something with the line>
對可迭代對象 f，進行迭代遍歷：for line in f，會自動地使用緩沖IO（buffered IO）以及內(nèi)存管理，而不必?fù)?dān)心任何大文件的問題。
There should be one – and preferably only one – obvious way to do it.
Reference
How to read large file, line by line in python
總結(jié)
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，謝謝大家對腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請查看下面相關(guān)鏈接
相關(guān)文章
這篇文章主要介紹了Python?生成器yield原理及用法，yield?是實現(xiàn)生成器方法之一，當(dāng)函數(shù)使用yield方法，則該函數(shù)就成為了一個生成器，更多相關(guān)資料需要的小伙伴可以參考一下下面文章內(nèi)容2022-06-06
Python?數(shù)據(jù)篩選功能實現(xiàn)
這篇文章主要介紹了Python?數(shù)據(jù)篩選,無論是在數(shù)據(jù)分析還是數(shù)據(jù)挖掘的時候，數(shù)據(jù)篩選總會涉及到，這里我總結(jié)了一下python中列表，字典，數(shù)據(jù)框中一些常用的數(shù)據(jù)篩選的方法，需要的朋友可以參考下2023-04-04
python使用zip將list轉(zhuǎn)為json的方法
今天小編就為大家分享一篇python使用zip將list轉(zhuǎn)為json的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
解決Jupyter無法導(dǎo)入已安裝的 module問題
這篇文章主要介紹了解決Jupyter無法導(dǎo)入已安裝的 module問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04
今天小編就為大家分享一篇python flask搭建web應(yīng)用教程，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11
使用Python實現(xiàn)下載網(wǎng)易云音樂的高清MV
本文給大家分享的是一則使用Python實現(xiàn)下載網(wǎng)易云音樂中高清MV的代碼，本人新手，沒有做特別的功能，僅僅是直接循環(huán)了MV的id,小伙伴們可以自己擴展下。2015-03-03
Python基于matplotlib畫箱體圖檢驗異常值操作示例【附xls數(shù)據(jù)文件下載】
這篇文章主要介紹了Python基于matplotlib畫箱體圖檢驗異常值操作,涉及Python針對xls格式數(shù)據(jù)文件的讀取、matplotlib圖形繪制等相關(guān)操作技巧,并附帶xls數(shù)據(jù)文件供讀者下載參考,需要的朋友可以參考下2019-01-01
Python設(shè)計足球聯(lián)賽賽程表程序的思路與簡單實現(xiàn)示例
足球聯(lián)賽的賽制就是一支隊伍在一個賽季中主客場分別面對聯(lián)賽中除了自身以外的球隊一次,對此我們可以使用一種循環(huán)算法來實現(xiàn),接下來就一起來看一下Python設(shè)計足球聯(lián)賽賽程表程序的思路與簡單實現(xiàn)示例:2016-06-06
這篇文章主要給大家介紹了Python讀取json文件的方法,使用python讀取json文件,輸出結(jié)果為字符串或python對象,文中有詳細的代碼示例和圖解,感興趣的小伙伴可以自己動手試一試2023-09-09
在python中定義和使用函數(shù)方法的時候,會遇到局部變量和全局變量,本文就來介紹一下python全局變量與局部變量的區(qū)別及使用,具有一定的參考價值,感興趣的可以了解一下2023-12-12