欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

利用Python讀取文件的四種不同方法比對

 更新時間：2017年05月18日 14:11:09   作者：時空路由器  
Python的文本處理是經(jīng)常碰到的一個問題，下面這篇文章主要給大家介紹了關于Python讀取文件的幾種不同方法比對的相關資料，文中給出了詳細的示例代碼供大家理解和學習，需要的朋友們下面來一起看看吧。

前言

大家都知道Python 讀文件的方式多種多樣，但是當需要讀取一個大文件的時候，不同的讀取方式會有不一樣的效果。下面就來看看詳細的介紹吧。

場景

逐行讀取一個 2.9G 的大文件

  • CPU i7 6820HQ
  • RAM 32G

方法

對每一行的讀取進行一次分割字符串操作

以下方法都使用 with…as 方法打開文件。

with 語句適用于對資源進行訪問的場合，確保不管使用過程中是否發(fā)生異常都會執(zhí)行必要的“清理”操作，釋放資源，比如文件使用后自動關閉、線程中鎖的自動獲取和釋放等。

方法一 最通用的讀文件方式

with open(file, 'r') as fh:
 for line in fh.readlines():
 line.split("|")

運行結(jié)果： 耗時 15.4346568584 秒

系統(tǒng)監(jiān)視器中顯示內(nèi)存從 4.8G 一下子飆到了 8.4G， fh.readlines() 將讀取的所有行數(shù)據(jù)存到內(nèi)存，這種方法適合小文件。

方法二

with open(file, 'r') as fh:
 line = fh.readline()
 while line:
 line.split("|")

運行結(jié)果： 耗時 22.3531990051 秒

內(nèi)存幾乎沒有變化，因為內(nèi)存中只存取一行的數(shù)據(jù)，但是時間明顯比上一次的長，對于進一步處理數(shù)據(jù)來說效率不高。

方法三

with open(file) as fh:
 for line in fh:
 line.split("|")

運行結(jié)果： 耗時 13.9956979752 秒

內(nèi)存幾乎沒有變化，速度也比方法二快。

for line in fh 將文件對象 fh 視為可迭代的，它自動使用緩沖的 IO 和內(nèi)存管理，因此您不必擔心大文件。這是很 pythonic 的方式！

方法四 fileinput 模塊

for line in fileinput.input(file):
 line.split("|")

運行結(jié)果： 耗時 26.1103110313 秒

內(nèi)存增加了 200-300 MB，速度是以上最慢的。

總結(jié)

以上方法僅供參考，公認的大文件讀取方法還是三最好。但是具體情況還是要根據(jù)機器的性能、處理數(shù)據(jù)的復雜度。

好了，以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學習或者工作能帶來一定的幫助，如果有疑問大家可以留言交流，謝謝大家對腳本之家的支持。

相關文章

  • Python高級應用實例對比：高效計算大文件中的最長行的長度

    Python高級應用實例對比：高效計算大文件中的最長行的長度

    在操作某個很多進程都要頻繁用到的大文件的時候，應該盡早釋放文件資源（f.close()）,只有這樣才能算是一則高效率的代碼，下面我們就來分析下這3種方法的優(yōu)劣
    2014-06-06
  • 使用Cython加密Python代碼防止反編譯

    使用Cython加密Python代碼防止反編譯

    本文我們主要介紹如何使用 Cython 加密源代碼,雖然 Cython 的作用主要是為了提高代碼的運行效率,但是也對源代碼有一定的加密效果,需要的朋友可以參考下
    2024-05-05
  • 從Pyspark UDF調(diào)用另一個自定義Python函數(shù)的方法步驟

    從Pyspark UDF調(diào)用另一個自定義Python函數(shù)的方法步驟

    PySpark,通常稱為Apache Spark的Python API,是為分布式數(shù)據(jù)處理而創(chuàng)建的,使用UDF,可以擴展和定制 PySpark 的功能以滿足某些需求,在本文中,我們將學習如何從Pyspark UDF調(diào)用另一個自定義Python函數(shù),需要的朋友可以參考下
    2023-11-11
  • python學習數(shù)據(jù)結(jié)構(gòu)實例代碼

    python學習數(shù)據(jù)結(jié)構(gòu)實例代碼

    數(shù)據(jù)結(jié)構(gòu)就是用來將數(shù)據(jù)組織在一起的結(jié)構(gòu)。換句話說，數(shù)據(jù)結(jié)構(gòu)是用來存儲一系列關聯(lián)數(shù)據(jù)的東西。在Python中有四種內(nèi)建的數(shù)據(jù)結(jié)構(gòu)，分別是List、Tuple、Dictionary以及Set。本文將通過實例來介紹這些數(shù)據(jù)結(jié)構(gòu)的用法。
    2015-05-05
  • 在Python中使用Protocol?Buffers的詳細介紹

    在Python中使用Protocol?Buffers的詳細介紹

    本文詳細介紹了協(xié)議緩沖區(qū)（Protocol Buffers）在Python中的應用,包括其定義、序列化和解析過程,協(xié)議緩沖區(qū)是一種靈活且高效的自動化解決方案,本文包括了如何將地址簿應用程序的個人詳細信息寫入文件的示例代碼,并提供了相應的下載和安裝指導,感興趣的朋友一起看看吧
    2024-10-10
  • 教你如何利用python進行數(shù)值分析

    教你如何利用python進行數(shù)值分析

    今天教大家如何利用python進行數(shù)值分析,文中有非常詳細的代碼示例,對正在學習python的小伙伴們很有幫助,需要的朋友可以參考下
    2021-06-06
  • macOS M1(AppleSilicon) 安裝TensorFlow環(huán)境

    macOS M1(AppleSilicon) 安裝TensorFlow環(huán)境

    蘋果為M1芯片的Mac提供了TensorFlow的支持，本文主要介紹了如何給使用M1芯片的macOS安裝TensorFlow的環(huán)境，感興趣的可以了解一下
    2021-08-08
  • python報錯: ''list'' object has no attribute ''shape''的解決

    python報錯: ''list'' object has no attribute ''shape''的解決

    這篇文章主要介紹了python報錯: 'list' object has no attribute 'shape'的解決，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-07-07
  • Python實現(xiàn)奇數(shù)列與偶數(shù)列調(diào)換的方法詳解

    Python實現(xiàn)奇數(shù)列與偶數(shù)列調(diào)換的方法詳解

    這篇文章主要為大家詳細介紹了如何利用Python實現(xiàn)df的奇數(shù)列與偶數(shù)列調(diào)換位置，比如A列，B列，調(diào)換成B列，A列，感興趣的小伙伴可以了解一下
    2022-05-05
  • 使用Python制作一個數(shù)據(jù)預處理小工具(多種操作一鍵完成)

    使用Python制作一個數(shù)據(jù)預處理小工具(多種操作一鍵完成)

    這篇文章主要介紹了使用Python制作一個數(shù)據(jù)預處理小工具(多種操作一鍵完成),本文通過圖文實例相結(jié)合給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下
    2021-02-02

最新評論