Python基于read(size)方法讀取超大文件
pyhon讀取文件很方便,但是,如果文件很大,而且還是一行文件,那就蛋疼了. 不過還好有read(size)方法,這個(gè)方法就是每次讀取size大小的數(shù)據(jù)到內(nèi)存中
下面來個(gè)示例
def readlines(f, separator): ''' 讀取大文件方法 :param f: 文件句柄 :param separator: 每一行的分隔符 :return: ''' buf = '' while True: while separator in buf: position = buf.index(separator) # 分隔符的位置 yield buf[:position] # 切片, 從開始位置到分隔符位置 buf = buf[position + len(separator):] # 再切片,將yield的數(shù)據(jù)切掉,保留剩下的數(shù)據(jù) chunk = f.read(4096) # 一次讀取4096的數(shù)據(jù)到buf中 if not chunk: # 如果沒有讀到數(shù)據(jù) yield buf # 返回buf中的數(shù)據(jù) break # 結(jié)束 buf += chunk # 如果read有數(shù)據(jù) ,將read到的數(shù)據(jù)加入到buf中 with open('text.txt',encoding='utf-8') as f: for line in readlines(f,'|||'): # 為什么readlines函數(shù)能夠使用for循環(huán)遍歷呢, 因?yàn)檫@個(gè)函數(shù)里面有yield關(guān)鍵字呀, 有它就是一個(gè)生成器函數(shù) ...... print(line)
測試文件text.txt
fgshfsljflsjfls|||fyhdiyfdfhn|||fudofdb欽鐵桿jdlfdl|||tedsthfdskfdk
打印結(jié)果
fgshfsljflsjfls
fyhdiyfdfhn
fudofdb欽鐵桿jdlfdl
tedsthfdskfdk
以上就是本文的全部內(nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
opencv 圖像加法與圖像融合的實(shí)現(xiàn)代碼
這篇文章主要介紹了opencv 圖像加法與圖像融合的實(shí)現(xiàn)代碼,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-07-07基于多進(jìn)程中APScheduler重復(fù)運(yùn)行的解決方法
今天小編就為大家分享一篇基于多進(jìn)程中APScheduler重復(fù)運(yùn)行的解決方法,具有很好的價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-07-07Python中functools模塊的常用函數(shù)解析
這篇文章主要介紹了Python中functools模塊的常用函數(shù)解析,分別講解了partial、update_wrapper、wraps、total_ordering的用法,需要的朋友可以參考下2016-06-06