強(qiáng)悍的Python讀取大文件的解決方案
Python 環(huán)境下文件的讀取問題，請(qǐng)參見拙文 Python基礎(chǔ)之文件讀取的講解
這是一道著名的 Python 面試題，考察的問題是，Python 讀取大文件和一般規(guī)模的文件時(shí)的區(qū)別，也即哪些接口不適合讀取大文件。
1. read() 接口的問題
f = open(filename, 'rb') f.read()
我們來讀取 1 個(gè) nginx 的日至文件，規(guī)模為 3Gb 大小。read() 方法執(zhí)行的操作，是一次性全部讀入內(nèi)存，顯然會(huì)造成：
MemoryError
...
也即會(huì)發(fā)生內(nèi)存溢出。
2. 解決方案：轉(zhuǎn)換接口
- （1）readlines() ：讀取全部的行，構(gòu)成一個(gè) list，實(shí)踐表明還是會(huì)造成內(nèi)存的問題；
for line in f.reanlines(): ...
- （2）readline()：每次讀取一行，
while True:
line = f.readline()
if not line:
break
- （3）read(1024)：重載，指定每次讀取的長(zhǎng)度
while True:
block = f.read(1024)
if not block:
break
3. 真正 Pythonic 的方法
真正 Pythonci 的方法，使用 with 結(jié)構(gòu)：
with open(filename, 'rb') as f:
for line in f:
<do something with the line>
對(duì)可迭代對(duì)象 f，進(jìn)行迭代遍歷：for line in f，會(huì)自動(dòng)地使用緩沖IO（buffered IO）以及內(nèi)存管理，而不必?fù)?dān)心任何大文件的問題。
There should be one – and preferably only one – obvious way to do it.
Reference
How to read large file, line by line in python
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，謝謝大家對(duì)腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請(qǐng)查看下面相關(guān)鏈接
相關(guān)文章
Django python雪花算法實(shí)現(xiàn)方式
在Django項(xiàng)目中添加自定義模塊或應(yīng)用來封裝雪花算法,步驟包括創(chuàng)建應(yīng)用,編寫算法實(shí)現(xiàn)代碼至utils.py文件,及配置settings.py,此方法可方便在項(xiàng)目中隨處調(diào)用雪花算法,適用于需要唯一ID生成的場(chǎng)景2024-09-09
Python使用PyQt快速搭建桌面應(yīng)用的完整指南
在Python生態(tài)中,PyQt憑借其跨平臺(tái)特性、豐富的控件庫和成熟的開發(fā)模式,成為桌面應(yīng)用開發(fā)的首選框架之一,本文將以實(shí)戰(zhàn)為導(dǎo)向,通過具體案例拆解開發(fā)流程,幫助開發(fā)者快速掌握PyQt的核心技巧2025-09-09
這篇文章主要介紹了Python configparser模塊配置文件過程解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-03-03
這篇文章主要介紹了Python pymongo模塊常用操作,結(jié)合實(shí)例形式分析了pymongo模塊的導(dǎo)入、連接MongoDB數(shù)據(jù)以及插入、更新、刪除、查詢等操作相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2018-09-09
對(duì)django 模型 unique together的示例講解
今天小編就為大家分享一篇對(duì)django 模型 unique together的示例講解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-08-08
使用Python實(shí)現(xiàn)一個(gè)本地視頻流媒體服務(wù)器
你是否曾經(jīng)想過在本地網(wǎng)絡(luò)上輕松地將電腦上的視頻分享給手機(jī)或平板電腦觀看？也許你下載了一部電影,想在客廳的智能電視上播放,卻不想費(fèi)力地拷貝文件,今天,小編將給大家介紹如何使用Python構(gòu)建一個(gè)簡(jiǎn)單的本地視頻流媒體服務(wù)器,需要的朋友可以參考下2025-04-04
Python中的枚舉函數(shù)enumerate()的具體用法
本文主要介紹了Python中的枚舉函數(shù)enumerate()的具體用法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-06-06
這篇文章主要介紹了Python3爬蟲學(xué)習(xí)入門,簡(jiǎn)單介紹了Python3爬蟲的功能、原理及使用爬蟲爬取知乎首頁相關(guān)操作技巧,需要的朋友可以參考下2018-12-12
Python中scatter散點(diǎn)圖及顏色整理大全
python自帶的scatter函數(shù)參數(shù)中顏色和大小可以輸入列表進(jìn)行控制,即可以讓不同的點(diǎn)有不同的顏色和大小,下面這篇文章主要給大家介紹了關(guān)于Python中scatter散點(diǎn)圖及顏色整理大全的相關(guān)資料,需要的朋友可以參考下2023-05-05
K近鄰法(KNN)相關(guān)知識(shí)總結(jié)以及如何用python實(shí)現(xiàn)
這篇文章主要介紹了K近鄰法(KNN)相關(guān)知識(shí)總結(jié)以及如何用python實(shí)現(xiàn)，幫助大家更好的利用python實(shí)現(xiàn)機(jī)器學(xué)習(xí)，感興趣的朋友可以了解下2021-01-01