欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python基于read(size)方法讀取超大文件

 更新時(shí)間:2020年03月12日 11:44:11   作者:我太難了008  
這篇文章主要介紹了Python基于read(size)方法讀取超大文件,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

pyhon讀取文件很方便,但是,如果文件很大,而且還是一行文件,那就蛋疼了. 不過還好有read(size)方法,這個(gè)方法就是每次讀取size大小的數(shù)據(jù)到內(nèi)存中

下面來個(gè)示例

def readlines(f, separator):
  '''
  讀取大文件方法
  :param f:  文件句柄
  :param separator:  每一行的分隔符
  :return:
  '''
  buf = ''
  while True:
    while separator in buf:
      position = buf.index(separator) # 分隔符的位置
      yield buf[:position] # 切片, 從開始位置到分隔符位置
      buf = buf[position + len(separator):] # 再切片,將yield的數(shù)據(jù)切掉,保留剩下的數(shù)據(jù)

    chunk = f.read(4096) # 一次讀取4096的數(shù)據(jù)到buf中
    if not chunk: # 如果沒有讀到數(shù)據(jù)
      yield buf # 返回buf中的數(shù)據(jù)
      break # 結(jié)束
    buf += chunk # 如果read有數(shù)據(jù) ,將read到的數(shù)據(jù)加入到buf中


with open('text.txt',encoding='utf-8') as f:
  for line in readlines(f,'|||'):
    # 為什么readlines函數(shù)能夠使用for循環(huán)遍歷呢, 因?yàn)檫@個(gè)函數(shù)里面有yield關(guān)鍵字呀, 有它就是一個(gè)生成器函數(shù) ......
    print(line)

測試文件text.txt

fgshfsljflsjfls|||fyhdiyfdfhn|||fudofdb欽鐵桿jdlfdl|||tedsthfdskfdk

打印結(jié)果

fgshfsljflsjfls
fyhdiyfdfhn
fudofdb欽鐵桿jdlfdl
tedsthfdskfdk

以上就是本文的全部內(nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • Python檢測網(wǎng)絡(luò)延遲的代碼

    Python檢測網(wǎng)絡(luò)延遲的代碼

    這篇文章主要介紹了Python檢測網(wǎng)絡(luò)延遲的代碼,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧
    2018-05-05
  • opencv 圖像加法與圖像融合的實(shí)現(xiàn)代碼

    opencv 圖像加法與圖像融合的實(shí)現(xiàn)代碼

    這篇文章主要介紹了opencv 圖像加法與圖像融合的實(shí)現(xiàn)代碼,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-07-07
  • python中requests和https使用簡單示例

    python中requests和https使用簡單示例

    這篇文章主要介紹了python中requests和https使用簡單示例,具有一定借鑒價(jià)值,需要的朋友可以參考下
    2018-01-01
  • 如何獲取DataFrame值的索引以及其他

    如何獲取DataFrame值的索引以及其他

    這篇文章主要介紹了如何獲取DataFrame值的索引以及其他問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2024-02-02
  • 為什么從Python 3.6開始字典有序并效率更高

    為什么從Python 3.6開始字典有序并效率更高

    這篇文章主要給大家介紹了關(guān)于為什么從Python 3.6開始字典有序并效率更高的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用Python具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-07-07
  • python實(shí)現(xiàn)人工蜂群算法

    python實(shí)現(xiàn)人工蜂群算法

    這篇文章主要介紹了python如何實(shí)現(xiàn)人工蜂群算法,幫助大家更好的利用python進(jìn)行數(shù)據(jù)分析,感興趣的朋友可以了解下
    2020-09-09
  • Python Tkinter簡單布局實(shí)例教程

    Python Tkinter簡單布局實(shí)例教程

    這篇文章主要介紹了Python Tkinter簡單布局實(shí)例教程,包括了填充、左右布局、絕對(duì)布局、網(wǎng)格布局等,需要的朋友可以參考下
    2014-09-09
  • Python 可愛的大小寫

    Python 可愛的大小寫

    和其他語言一樣,Python為string對(duì)象提供了轉(zhuǎn)換大小寫的方法:upper() 和 lower()。還不止這些,Python還為我們提供了首字母大寫,其余小寫的capitalize()方法,以及所有單詞首字母大寫,其余小寫的title()方法。
    2008-09-09
  • 基于多進(jìn)程中APScheduler重復(fù)運(yùn)行的解決方法

    基于多進(jìn)程中APScheduler重復(fù)運(yùn)行的解決方法

    今天小編就為大家分享一篇基于多進(jìn)程中APScheduler重復(fù)運(yùn)行的解決方法,具有很好的價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2019-07-07
  • Python中functools模塊的常用函數(shù)解析

    Python中functools模塊的常用函數(shù)解析

    這篇文章主要介紹了Python中functools模塊的常用函數(shù)解析,分別講解了partial、update_wrapper、wraps、total_ordering的用法,需要的朋友可以參考下
    2016-06-06

最新評(píng)論