python 刪除大文件中的某一行(最有效率的方法)
更新時間：2017年08月19日 09:33:15 投稿：jingxian
下面小編就為大家?guī)硪黄猵ython 刪除大文件中的某一行(最有效率的方法)。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
用 python 處理一個文本時，想要刪除其中中某一行，常規(guī)的思路是先把文件讀入內(nèi)存，在內(nèi)存中修改后再寫入源文件。
但如果要處理一個很大的文本，比如GB級別的文本時，這種方法不僅需要占用很大內(nèi)存，而且一次性讀入內(nèi)存時耗費時間，還有可能導(dǎo)致內(nèi)存溢出。
所以，需要用另外一個思路去處理。
我們可以使用 open() 方法把需要修改的文件打開為兩個文件，然后逐行讀入內(nèi)存，找到需要刪除的行時，用后面的行逐一覆蓋。實現(xiàn)方式見以下代碼。
with open('file.txt', 'r') as old_file:
with open('file.txt', 'r+') as new_file:
current_line = 0
# 定位到需要刪除的行
while current_line < (del_line - 1):
old_file.readline()
current_line += 1
# 當(dāng)前光標(biāo)在被刪除行的行首，記錄該位置
seek_point = old_file.tell()
# 設(shè)置光標(biāo)位置
new_file.seek(seek_point, 0)
# 讀需要刪除的行，光標(biāo)移到下一行行首
old_file.readline()
# 被刪除行的下一行讀給 next_line
next_line = old_file.readline()
# 連續(xù)覆蓋剩余行，后面所有行上移一行
while next_line:
new_file.write(next_line)
next_line = old_file.readline()
# 寫完最后一行后截斷文件，因為刪除操作，文件整體少了一行，原文件最后一行需要去掉
new_file.truncate()
以上這篇python 刪除大文件里的某一行(最有效率的方法)就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python深入分析@property裝飾器的應(yīng)用
這篇文章主要介紹了Python @property裝飾器的用法，在Python中，可以通過@property裝飾器將一個方法轉(zhuǎn)換為屬性，從而實現(xiàn)用于計算的屬性，下面文章圍繞主題展開更多相關(guān)詳情，感興趣的小伙伴可以參考一下2022-07-07
最近工作中有這樣一個需求：客戶反饋在瀏覽器操作過程中,重復(fù)流程操作太頻繁,能不能讓瀏覽器自動操作完成？所以本文給大家介紹了如何使用python實現(xiàn)一個瀏覽器自動化的腳本,感興趣的朋友可以參考下2024-04-04
這篇文章主要介紹了python之dlib包安裝失敗問題及解決方案，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-05-05
python類中super()和__init__()的區(qū)別
這篇文章主要介紹了python類中super()和__init__()的區(qū)別，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值，需要的朋友可以參考下2016-10-10
python函數(shù)式編程學(xué)習(xí)之yield表達式形式詳解
這篇文章主要給大家介紹了關(guān)于python函數(shù)式編程學(xué)習(xí)之yield表達式形式的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家學(xué)習(xí)或者使用python具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起看看吧。2018-03-03
神經(jīng)網(wǎng)絡(luò)python源碼分享
這篇文章主要介紹了神經(jīng)網(wǎng)絡(luò)python源碼分享，具有一定借鑒價值，需要的朋友可以參考下。2017-12-12
下面小編就為大家?guī)硪黄狣jango內(nèi)容增加富文本功能的實例。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-10-10
Python網(wǎng)絡(luò)請求使用Requests庫抓取解析數(shù)據(jù)
在網(wǎng)絡(luò)編程中，請求和接收數(shù)據(jù)是最常見的任務(wù)之一，Python的Requests庫提供了豐富的功能，使得HTTP請求變得非常簡單，在本文中，我們將了解如何使用Requests庫發(fā)起HTTP請求，并解析返回的數(shù)據(jù)2023-08-08
這篇文章主要介紹了Numpy(Pandas)刪除全為零的列的方法,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-09-09
python網(wǎng)絡(luò)爬蟲采集聯(lián)想詞示例
這篇文章主要介紹了python網(wǎng)絡(luò)爬蟲采集聯(lián)想詞示例,需要的朋友可以參考下2014-02-02