Python實(shí)現(xiàn)本地csv文件合并
本篇的文件合并主要是針對.csv
的文件合并。
一、單文件之間合并
首先,要查詢目錄底下的文件要導(dǎo)入OS。并且我們要將.csv文件以pandas的dataframe底下,因此要導(dǎo)入PANDAS,另外由于我們要遍歷目錄,因此導(dǎo)入 GLOB:
import os import pandas as pd import glob
注:
import os
的作用:在python環(huán)境下對文件,文件夾執(zhí)行操作的一個模塊。
os.name返回當(dāng)前系統(tǒng) os.getcwd()返回當(dāng)前的路徑 os.remove(路徑)刪除路徑下的文件
import glob
的作用: glob是python自帶的一個操作文件的相關(guān)模塊,由于模塊功能比較少,所以很容易掌握。用它可以查找符合特定規(guī)則的文件路徑名。使用該模塊查找文件,只需要用到: “*”, “?”, “[]”這三個匹配符;
”*”匹配0個或多個字符; ”?”匹配單個字符; ”[]”匹配指定范圍內(nèi)的字符,如:[0-9]匹配數(shù)字。
f1=open('../input/covid19temp/2020/12-30-2020.csv').read() f2=open('../input/covid19temp/2020/12-31-2020.csv').read() with open('f1112.csv','a+') as f: f.write('\n'+f1) f.write('\n'+f2)
合并完成之后就會多出一個f1112.csv文件:
然而打開f1112.csv后發(fā)現(xiàn)合并后的文件有一些臟數(shù)據(jù)沒有整理:
這時候我們試試skiprows
:
在讀取文件的時候設(shè)置skiprows
參數(shù)的值,設(shè)置為1,會跳過一行,這里是要將第二個文件的索引屬性給去掉,因?yàn)橐呀?jīng)和第一個文件合并了,而第一個文件有索引屬性了。
f1=pd.read_csv('../input/covid19temp/2020/12-30-2020.csv') f2=pd.read_csv('../input/covid19temp/2020/12-31-2020.csv',skiprows=1) f1112=f1.append(f2)
f1112.to_csv('f1112.csv') # 導(dǎo)出該文件
在本地目錄中打開該文件:
二、單個文件夾底下多個文件合并
csv_list=glob.glob('../input/covid19temp/2020/*.csv') # 如果不加上*的話拿到的就是目錄的名稱,如果加上*,拿到的就是完整的目錄數(shù)據(jù) print(csv_list)
for i in csv_list: fr=open(i,'r').read() with open('2020csvdata.csv','a') as f: f.write(fr) f.close() print('數(shù)據(jù)文件合并完成!')
csv_list=glob.glob('../input/covid19temp/2020/*') for i in csv_list: fr=open(i,'rb').read() with open('2020csvdata2.csv','ab') as f: f.write(fr) f.close() print('數(shù)據(jù)文件合并完成!')
csv_list=glob.glob('../input/covid19temp/2020/*') csvdatadf=pd.DataFrame() for i in csv_list: csvdata=pd.read_csv(i) csvdatadf=csvdatadf.append(csvdata) print('數(shù)據(jù)文件合并完成!')
合并之后使用pd.read_csv讀取文件數(shù)據(jù),一共有20W+的疫情數(shù)據(jù)記錄:
三、多個文件夾底下多個文件合并
import os import pandas as pd import glob import openpyxl import numpy as np path='../input/covid19temp' # 寫的路徑 csv_lists=[] # 該列表的作用 # 是否更新目錄判斷: if os.path.isdir(path): #使用os.path.isdir判斷path是否是路徑 if not path.endswith("/"):# 如果該路徑的最后沒有加上'/'的話,會幫忙加一個/ path+="/" print(path)
如上圖所示,路徑后面多了一個 ‘/’
,否則路徑會找不到
文件操作:
os.listdir():
列出路徑下所有的文件
os.path.join():
連接文件的作用
os.path.isdir():
判斷是否是文件夾
import os import pandas as pd import glob import openpyxl import numpy as np path='../input/covid19temp' # 寫的路徑 csv_lists=[] # 該列表的作用 # 是否更新目錄判斷: if os.path.isdir(path): #使用os.path.isdir判斷path是否是路徑 if not path.endswith("/"):# 如果該路徑的最后沒有加上'/'的話,會幫忙加一個/ path+="/" print(path) for each in os.listdir(path):# os.listdir(): 列出路徑下所有的文件 print(each)
import os import pandas as pd import glob import openpyxl import numpy as np path='../input/covid19temp' # 寫的路徑 csv_lists=[] # 該列表的作用 # 是否更新目錄判斷: if os.path.isdir(path): #使用os.path.isdir判斷path是否是路徑 if not path.endswith("/"):# 如果該路徑的最后沒有加上'/'的話,會幫忙加一個/ path+="/" print(path) for each in os.listdir(path):# os.listdir(): 列出路徑下所有的文件 print(each) sub_path=path+each path_list=[] if os.path.isdir(sub_path): path_list.append(sub_path) csv_lists.append(path_list) # 生成主目錄下路徑列表(非文件) # 根據(jù)路徑進(jìn)行路徑下文件列表的生成 csvlists=[] for i in range(len(csv_lists)): # print(i) csvlists.append(glob.glob(csv_lists[i][0]+'/*.csv')) csvlists # 獲取每年的文件路徑 csvfilelist=[] for j in range(len(csvlists)): for k in csvlists[j]: csvfilelist.append(k) csvfilelist csvdatadf=pd.DataFrame() for m in csvfilelist: filesize=os.path.getsize(m) if filesize>0: csvdata=pd.read_csv(m) csvdatadf=csvdatadf.append(csvdata) else: continue print('數(shù)據(jù)合并完成')
四、多文件夾[函數(shù)遞歸]
import os import pandas as pd def mergeFiles(parent,path="",pathdeep=0): fileAbsPath=os.path.join(parent,path) if os.path.isdir(fileAbsPath)==True: if (pathdeep!=0 and('.ipynb_checkpoints' not in str(fileAbsPath))): print('=='+path) for filename2 in os.listdir(fileAbsPath): mergeFiles(fileAbsPath,filename2,pathdeep=pathdeep+1) else: print(path) path=input("請輸入需要的文件注主目錄:") mergeFiles(path)
總結(jié)
到此這篇關(guān)于Python實(shí)現(xiàn)本地csv文件合并的文章就介紹到這了,更多相關(guān)Python csv文件合并內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python自動化測試pytest中fixtureAPI簡單說明
這篇文章主要為大家介紹了Python自動化測試pytest中fixtureAPI的簡單說明,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步2021-10-10Python圖片文字識別與提取實(shí)戰(zhàn)記錄
這篇文章主要介紹了Python圖片文字識別與提取的相關(guān)資料,本文介紹了如何安裝和配置OCR環(huán)境,包括安裝pytesseract擴(kuò)展包、窗口配套軟件以及配置環(huán)境變量,在完成環(huán)境搭建后,即可進(jìn)行圖片中文字的提取,需要的朋友可以參考下2024-09-09Python實(shí)現(xiàn)字符串匹配的KMP算法
KMP算法的關(guān)鍵是利用匹配失敗后的信息,盡量減少模式串與主串的匹配次數(shù)以達(dá)到快速匹配的目的。這篇文章主要介紹了Python實(shí)現(xiàn)字符串匹配的KMP算法,需要的朋友可以參考下2019-04-04Python3 使用pip安裝git并獲取Yahoo金融數(shù)據(jù)的操作
這篇文章主要介紹了Python3 使用pip安裝git并獲取Yahoo金融數(shù)據(jù)的操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2021-04-04Python函數(shù)式編程中itertools模塊詳解
這篇文章主要介紹了在Python中使用itertools模塊中的組合函數(shù)的教程,來自IBM官方技術(shù)文檔,需要的朋友可以參考下,希望能夠給你帶來幫助2021-09-09Pytorch 數(shù)據(jù)加載與數(shù)據(jù)預(yù)處理方式
今天小編就為大家分享一篇Pytorch 數(shù)據(jù)加載與數(shù)據(jù)預(yù)處理方式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12