前言

很多情況下我們處理的文件并不只是一個單純的CSV文件或者Excel文件。我們會結合更多是數(shù)據去進行聚合統(tǒng)計分析，或許是需要解析到一整個數(shù)據存儲壓縮包，或許是對一整個目錄文件讀取再進行數(shù)據操作，這都需要我們掌握一定的多文件處理方法和策略。此篇文章正是基于此場景下處理多文件方法整合策略。

一、多文件場景

我們就以2020年CCF大數(shù)據與智能競賽的數(shù)據來作為實例來處理：

現(xiàn)在我們有這么文本文件需要進行讀取分析，按照往常我們一個一個讀取顯然費時費力。那么我們肯定想到了如果能夠一次讀取所有的文件名就可以循環(huán)遍歷讀取文件內容了，此時有兩種方法可以獲取到目錄下所有文件名稱：

方法一

第一種方法是引用OS庫中的walk方法，python中os.walk是一個簡單易用的文件、目錄遍歷器，可以幫助我們高效的處理文件、目錄方面的事情。其語法為：

os.walk(top, topdown=True, οnerrοr=None, followlinks=False)

參數(shù)說明：

• top 是你所要便利的目錄的地址
• topdown 為真，則優(yōu)先遍歷top目錄，否則優(yōu)先遍歷top的子目錄(默認為開啟)
• onerror 需要一個 callable 對象，當walk需要異常時，會調用
• followlinks 如果為真，則會遍歷目錄下的快捷方式(linux 下是 symbolic link)實際所指的目錄(默認關閉)

os.walk 的返回值是一個生成器(generator),也就是說我們需要不斷的遍歷它，來獲得所有的內容。

返回說明：

每次遍歷的對象都是返回的是一個三元組(root,dirs,files)

• root 所指的是當前正在遍歷的這個文件夾的本身的地址
• dirs 是一個 list ，內容是該文件夾中所有的目錄的名字(不包括子目錄)
• files 同樣是 list , 內容是該文件夾中所有的文件(不包括子目錄)

其中files就是我們該目錄下的所有文件名稱：

file_dir = "D:\\metric-traffic\\traffic\\"
for root, dirs, files in os.walk(file_dir):
    print(files)

將該目錄下所有的文件路徑可以這樣寫:

file_dir = "D:\\metric-traffic\\traffic\\"
for root, dirs, files in os.walk(file_dir):
    for name in files:
        print(os.path.join(root, name))	# 文件

方法二

方法一需要循環(huán)遍歷而且一次只能讀出一條完整路徑，可以通過list來保存單個路徑形成列表，但是多個循環(huán)遍歷效率較為低下。Python提供了glob庫，只要安裝python就可以使用該模塊。glob模塊主要用來查找和文件，可以使用 *、？、[] 這三種**通配符**對路徑中的文件進行匹配。

• *：代表0個或多個字符
• ?：代表一個字符
• []：匹配指定范圍內的字符，如[0-9]匹配數(shù)字

如果我們想要取得一個目錄下的所有文件名稱僅需要兩行代碼：

file_dir = "D:\\metric-traffic\\traffic\\"
glob.glob(file_dir+"*.txt")

二、多文件讀取

使用Pandas的讀取文件很方便，例如read_csv,read_json或者是read_sql都是十分簡單且高效的操作。循環(huán)處理的話遍歷讀取文件就好了，根據我們獲取到的目錄路徑：

file_dir = "D:\\metric-traffic\\traffic\\"
list_file=glob.glob(file_dir+"*.txt")
for i in range(len(list_file)):
    df=pd.read_csv(list_file[i])
    print(df)

以上就是Pandas數(shù)據分析多文件批次聚合處理實例解析的詳細內容，更多關于Pandas多文件聚合處理的資料請關注腳本之家其它相關文章！

最新評論