如何用pandas讀取一個文件或某個文件夾下所有文件
更新時間：2024年02月01日 10:25:23 作者：旺仔的算法coding筆記
這篇文章主要介紹了如何用pandas讀取一個文件或某個文件夾下所有文件問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
pandas讀取一個文件或某個文件夾下所有文件
讀取一個文件
直接用文件路徑。
如果是讀取某個文件夾下的所有文件，注意用os.path，逐個讀取文件，把新讀取到的Dataframe進(jìn)行concate操作到總的Dataframe中去。
詳細(xì)請見代碼。
character_list =['1010011_i_u_prov', '9010081_i_b_location']
#這是讀取一個文件的，
# data=pd.read_csv('../data/10line_of_part-00000',sep='\t',header=None)
# 如果讀取所有文件呢？如下
file_dir="../data/dt=20200807"
all_file_list=os.listdir(file_dir)
for single_file in all_file_list:
# 逐個讀取
single_data_frame=pd.read_csv(
os.path.join(file_dir,single_file),sep='\t',header=None)
if single_file ==all_file_list[0]:
all_data_frame=single_data_frame
else: #進(jìn)行concat操作
all_data_frame=pd.concat([all_data_frame,
single_data_frame],ignore_index=True)
# data.columns=character_list，給dataframe的屬性重新命名。
all_data_frame.columns=character_list備注：
data數(shù)據(jù)是從sql中select出來的結(jié)果。
注意：
分隔符要用\t，不然會報錯！
pandas讀取多個文件并合并到一起
先把文件位置放到一起，讀取文件，再concat。
subdir=‘store'
file_names = []#存文件名
file_names.append(test1.csv')#繼續(xù)添加文件名
csv_paths = []#存文件位置
for file_name in file_names:
csv_path = join( '..','csv', subdir, file_name)#文件位置
csv_paths.append(csv_path)
break
df_csvs = []
for csv_path in csv_paths:
df_tmp = pd.read_csv('%s' % csv_path, low_memory=False)
df_csvs.append(df_tmp)
df_total = pd.concat(df_csvs)#合并成一個dataframe#小技巧 非必須
#如列名為a.uid想改為uid 用以下方法操作 df_total.columns = [s[2:] for s in df_total.columns] df_total.shape
總結(jié)
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
用Python監(jiān)控你的朋友都在瀏覽哪些網(wǎng)站?
今天教各位小伙伴一個黑科技,用Python監(jiān)控你的朋友都在瀏覽哪些網(wǎng)站,文中有非常詳細(xì)的介紹,對正在學(xué)習(xí)python的小伙伴們很有幫助,需要的朋友可以參考下2021-05-05
定期更換密碼是一種非常重要的安全措施，這種做法可以有效地保護(hù)你的賬戶和個人信息不受黑客和網(wǎng)絡(luò)攻擊者的侵害。所以本文就來用Python制作一個密碼生成器吧2023-05-05
Python通過內(nèi)置函數(shù)和自寫算法DFS實現(xiàn)排列組合
這篇文章主要介紹了Python通過內(nèi)置函數(shù)和自寫算法DFS實現(xiàn)排列組合,排列組合是數(shù)學(xué)中的一種常見的計算方法，用于求出從給定的元素中選取若干個元素的所有可能的排列或組合。在Python中，有多種方式可以實現(xiàn)排列組合的計算,需要的朋友可以參考下2023-05-05
這篇文章主要分享的是python使用技巧查找文件，下面我們就來介紹針對python查找文件的相關(guān)內(nèi)容，需要的小伙伴可以參考一下2022-02-02
python基于?Web?實現(xiàn)?m3u8?視頻播放的實例
這篇文章主要介紹了python基于?Web?實現(xiàn)?m3u8?視頻播放的實例的相關(guān)資料,需要的朋友可以參考下2023-06-06
Python如何聲明以管理員方式運行(附實戰(zhàn)案例)
由于Windows的安全機制,Python寫的腳本缺少了管理員權(quán)限,運行就會受到一些限制,這篇文章主要介紹了Python如何聲明以管理員方式運行的相關(guān)資料,文中通過代碼介紹的非常詳細(xì),需要的朋友可以參考下2025-04-04
這篇文章主要介紹了總結(jié)Python編程中三條常用的技巧,包括JSON格式的轉(zhuǎn)換、else語句的活用和setdefault方法的使用,需要的朋友可以參考下2015-05-05
numpy中數(shù)組拼接、數(shù)組合并方法總結(jié)(append(),?concatenate,?hstack,?vstack
numpy庫是一個高效處理多維數(shù)組的工具,可以在進(jìn)行邊寫的數(shù)組計算上進(jìn)行一系列的操作,下面這篇文章主要給大家介紹了關(guān)于numpy中數(shù)組拼接、數(shù)組合并方法(append(),?concatenate,?hstack,?vstack,?column_stack,?row_stack,?np.r_,?np.c_等)的相關(guān)資料,需要的朋友可以參考下2022-08-08
Python如何查看并打印matplotlib中所有的colormap(cmap)類型
這篇文章主要介紹了Python如何查看并打印matplotlib中所有的colormap(cmap)類型，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-11-11
這篇文章主要介紹了如何用python實現(xiàn)一個HTTP連接池的步驟，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2021-01-01