通過Pandas讀取大文件的實例
更新時間：2018年06月07日 10:17:14 作者：痞靨
今天小編就為大家分享一篇通過Pandas讀取大文件的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
當(dāng)數(shù)據(jù)文件過大時，由于計算機(jī)內(nèi)存有限，需要對大文件進(jìn)行分塊讀?。?/strong>
import pandas as pd
f = open('E:/學(xué)習(xí)相關(guān)/Python/數(shù)據(jù)樣例/用戶側(cè)數(shù)據(jù)/test數(shù)據(jù).csv')
reader = pd.read_csv(f, sep=',', iterator=True)
loop = True
chunkSize = 100000
chunks = []
while loop:
try:
chunk = reader.get_chunk(chunkSize)
chunks.append(chunk)
except StopIteration:
loop = False
print("Iteration is stopped.")
df = pd.concat(chunks, ignore_index=True)
print(df)
read_csv()函數(shù)的iterator參數(shù)等于True時，表示返回一個TextParser以便逐塊讀取文件；
chunkSize表示文件塊的大小，用于迭代；
TextParser類的get_chunk方法用于讀取任意大小的文件塊；
StopIteration的異常表示在循環(huán)對象窮盡所有元素時報錯；
concat()函數(shù)用于將數(shù)據(jù)做軸向連接：
pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, Verify_integrity=False)
常用參數(shù)：
objs：Series,DataFrame或者是Panel構(gòu)成的序列l(wèi)ist;
axis：需要合并連接的軸，0是行，1是列；
join：連接的參數(shù)，inner或outer；
ignore=True表示重建索引。
以上這篇通過Pandas讀取大文件的實例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了通過代碼實例展示Python中列表生成式的用法,包括找出質(zhì)數(shù)、算平方數(shù)等基本用法，需要的朋友可以參考下2015-03-03
python輕松辦公將100個Excel中符合條件的數(shù)據(jù)匯總到1個Excel里
這篇文章主要為大家介紹了python輕松辦公將100個Excel中符合條件的數(shù)據(jù)匯總到1個Excel里示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-03-03
python實現(xiàn)對csv文件的列的內(nèi)容讀取
今天小編就為大家分享一篇python實現(xiàn)對csv文件的列的內(nèi)容讀取，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07
今天小編就為大家分享一篇python看某個模塊的版本方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10
這篇文章主要介紹了用python讀寫excel的方法,涉及xlrd模塊與xlwt模塊的應(yīng)用,具有一定的學(xué)習(xí)借鑒價值,需要的朋友可以參考下2014-11-11
這篇文章主要介紹了關(guān)于Word2Vec可視化展示，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-11-11
這篇文章主要介紹了python利用拉鏈法實現(xiàn)字典的方法，文中給出了詳細(xì)的示例代碼，相信對大家具有一定的參考價值，需要的朋友可以們下面來一起看看吧。2017-03-03
這篇文章一文帶你了解Python中的枚舉(enum),在Python中，枚舉和我們在對象中定義的類變量時一樣的，每一個類變量就是一個枚舉項,需要的朋友可以參考下2023-04-04
這篇文章主要介紹了python下如何查詢CS反恐精英服務(wù)器信息的方法，分別分享了反恐精英1.5版本和反恐精英1.6版本的實現(xiàn)方法示例，有需要的朋友們可以參考借鑒，下面來一起學(xué)習(xí)學(xué)習(xí)吧。2017-01-01
大家好，本篇文章主要講的是python淘寶搶購腳本程序?qū)崿F(xiàn)，感興趣的同學(xué)趕快來看一看吧，對你有幫助的話記得收藏一下2022-02-02