Python 數(shù)據分析之逐塊讀取文本的實現(xiàn)

更新時間：2020年12月14日 14:19:34 作者：畢小寶

這篇文章主要介紹了Python 數(shù)據分析之逐塊讀取文本的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧

背景

《利用Python進行數(shù)據分析》，第 6 章的數(shù)據加載操作 read_xxx，有 chunksize 參數(shù)可以進行逐塊加載。

經測試，它的本質就是將文本分成若干塊，每次處理 chunksize 行的數(shù)據，最終返回一個TextParser 對象，對該對象進行迭代遍歷，可以完成逐塊統(tǒng)計的合并處理。

示例代碼

文中的示例代碼分析如下：

from pandas import DataFrame,Series
import pandas as pd
 
path='D:/AStudy2018/pydata-book-2nd-edition/examples/ex6.csv'
# chunksize return TextParser
chunker=pd.read_csv(path,chunksize=1000)
 
# an array of Series
tot=Series([])
chunkercount=0
for piece in chunker:
	print '------------piece[key] value_counts start-----------'
	#piece is a DataFrame,lenth is chunksize=1000,and piece[key] is a Series ,key is int ,value is the key column
	print piece['key'].value_counts()
	print '------------piece[key] value_counts end-------------'
	#piece[key] value_counts is a Series ,key is the key column, and value is the key count
	tot=tot.add(piece['key'].value_counts(),fill_value=0)
	chunkercount+=1
 
#last order the series
tot=tot.order(ascending=False)
print chunkercount
print '--------------'