python分塊讀取大數(shù)據(jù),避免內存不足的方法
更新時間：2018年12月10日 10:59:44 作者：水木小僧
今天小編就為大家分享一篇python分塊讀取大數(shù)據(jù),避免內存不足的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
如下所示：
def read_data(file_name):
'''
file_name:文件地址
'''
inputfile = open(file_name, 'rb') #可打開含有中文的地址
data = pd.read_csv(inputfile, iterator=True)
loop = True
chunkSize = 1000 #一千行一塊
chunks = []
while loop:
try:
chunk = dcs.get_chunk(chunkSize)
chunks.append(chunk)
except StopIteration:
loop = False
print("Iteration is stopped.")
data = pd.concat(chunks, ignore_index=True)
#print(train.head())
return data
以上這篇python分塊讀取大數(shù)據(jù),避免內存不足的方法就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
今天給大家?guī)淼氖顷P于Python的相關知識,文章圍繞著python csv的一些基本操作展開,文中有非常詳細的介紹及代碼示例,需要的朋友可以參考下2021-06-06
下面小編就為大家?guī)硪黄猵ython 采集中文亂碼問題的完美解決方法。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2016-09-09
解決Pycharm 中遇到Unresolved reference ''sklearn''的問題
這篇文章主要介紹了解決Pycharm 中遇到Unresolved reference 'sklearn'的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-07-07
Python之time模塊的時間戳,時間字符串格式化與轉換方法(13位時間戳)
今天小編就為大家分享一篇Python之time模塊的時間戳,時間字符串格式化與轉換方法(13位時間戳)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08
這篇文章主要介紹了Python圖像處理之膨脹與腐蝕的操作,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-02-02
今天小編就為大家分享一篇python 回溯法模板詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
這篇文章主要介紹了python mysql中in參數(shù)化說明，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
今天小編就為大家分享一篇解決pyinstaller打包pyqt5的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
運算符重載意味著賦予超出其預定義的操作含義的擴展含義。例如運算符 + 用于添加兩個整數(shù)以及連接兩個字符串和合并兩個列表。本文將通過示例帶大家詳細了解Python的運算符重載，感興趣的可以了解一下2022-09-09
這篇文章主要介紹了python中的Pytorch建模流程匯總，主要幫大家?guī)椭蠹沂崂砩窠浘W(wǎng)絡訓練的架構，具有一的的參考價值，需要的小伙伴可以參考一下，希望對你的學習有所幫助2022-03-03