python 刪除大文件中的某一行(最有效率的方法)
更新時(shí)間：2017年08月19日 09:33:15 投稿：jingxian
下面小編就為大家?guī)硪黄猵ython 刪除大文件中的某一行(最有效率的方法)。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧
用 python 處理一個(gè)文本時(shí)，想要?jiǎng)h除其中中某一行，常規(guī)的思路是先把文件讀入內(nèi)存，在內(nèi)存中修改后再寫入源文件。
但如果要處理一個(gè)很大的文本，比如GB級(jí)別的文本時(shí)，這種方法不僅需要占用很大內(nèi)存，而且一次性讀入內(nèi)存時(shí)耗費(fèi)時(shí)間，還有可能導(dǎo)致內(nèi)存溢出。
所以，需要用另外一個(gè)思路去處理。
我們可以使用 open() 方法把需要修改的文件打開為兩個(gè)文件，然后逐行讀入內(nèi)存，找到需要?jiǎng)h除的行時(shí)，用后面的行逐一覆蓋。實(shí)現(xiàn)方式見以下代碼。
with open('file.txt', 'r') as old_file:
with open('file.txt', 'r+') as new_file:
current_line = 0
# 定位到需要?jiǎng)h除的行
while current_line < (del_line - 1):
old_file.readline()
current_line += 1
# 當(dāng)前光標(biāo)在被刪除行的行首，記錄該位置
seek_point = old_file.tell()
# 設(shè)置光標(biāo)位置
new_file.seek(seek_point, 0)
# 讀需要?jiǎng)h除的行，光標(biāo)移到下一行行首
old_file.readline()
# 被刪除行的下一行讀給 next_line
next_line = old_file.readline()
# 連續(xù)覆蓋剩余行，后面所有行上移一行
while next_line:
new_file.write(next_line)
next_line = old_file.readline()
# 寫完最后一行后截?cái)辔募?，因?yàn)閯h除操作，文件整體少了一行，原文件最后一行需要去掉
new_file.truncate()
以上這篇python 刪除大文件里的某一行(最有效率的方法)就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python深入分析@property裝飾器的應(yīng)用
這篇文章主要介紹了Python @property裝飾器的用法，在Python中，可以通過@property裝飾器將一個(gè)方法轉(zhuǎn)換為屬性，從而實(shí)現(xiàn)用于計(jì)算的屬性，下面文章圍繞主題展開更多相關(guān)詳情，感興趣的小伙伴可以參考一下2022-07-07
使用python實(shí)現(xiàn)一個(gè)瀏覽器自動(dòng)化的腳本
最近工作中有這樣一個(gè)需求：客戶反饋在瀏覽器操作過程中,重復(fù)流程操作太頻繁,能不能讓瀏覽器自動(dòng)操作完成？所以本文給大家介紹了如何使用python實(shí)現(xiàn)一個(gè)瀏覽器自動(dòng)化的腳本,感興趣的朋友可以參考下2024-04-04
這篇文章主要介紹了python之dlib包安裝失敗問題及解決方案，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-05-05
python類中super()和__init__()的區(qū)別
這篇文章主要介紹了python類中super()和__init__()的區(qū)別，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2016-10-10
python函數(shù)式編程學(xué)習(xí)之yield表達(dá)式形式詳解
這篇文章主要給大家介紹了關(guān)于python函數(shù)式編程學(xué)習(xí)之yield表達(dá)式形式的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用python具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起看看吧。2018-03-03
神經(jīng)網(wǎng)絡(luò)python源碼分享
這篇文章主要介紹了神經(jīng)網(wǎng)絡(luò)python源碼分享，具有一定借鑒價(jià)值，需要的朋友可以參考下。2017-12-12
下面小編就為大家?guī)硪黄狣jango內(nèi)容增加富文本功能的實(shí)例。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-10-10
Python網(wǎng)絡(luò)請(qǐng)求使用Requests庫(kù)抓取解析數(shù)據(jù)
在網(wǎng)絡(luò)編程中，請(qǐng)求和接收數(shù)據(jù)是最常見的任務(wù)之一，Python的Requests庫(kù)提供了豐富的功能，使得HTTP請(qǐng)求變得非常簡(jiǎn)單，在本文中，我們將了解如何使用Requests庫(kù)發(fā)起HTTP請(qǐng)求，并解析返回的數(shù)據(jù)2023-08-08
這篇文章主要介紹了Numpy(Pandas)刪除全為零的列的方法,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-09-09
python網(wǎng)絡(luò)爬蟲采集聯(lián)想詞示例
這篇文章主要介紹了python網(wǎng)絡(luò)爬蟲采集聯(lián)想詞示例,需要的朋友可以參考下2014-02-02