使用pandas忽略行列索引,縱向拼接多個(gè)dataframe
從wind上面搞到一批股票數(shù)據(jù)后發(fā)現(xiàn):本來是一個(gè)類型的數(shù)據(jù),但是由于季度不同,列名也不同,導(dǎo)致使用pandas合并多個(gè)報(bào)表的時(shí)候總是出現(xiàn)一大堆NaN,所以這里我寫了一個(gè)函數(shù),專門針對(duì)這樣的表
它的思路是:
生成一堆單詞,然后把這些表的列索引全部替換為這些單詞,然后調(diào)用 pd.concat() 把這些dataframe全部合并后再把列索引改回來,當(dāng)然,這里也可以手動(dòng)指定列索引。
使用方法見代碼的最后一行,傳入一個(gè)dataframe的list就可以了。
import pandas as pd from random import Random # 隨機(jī)生成一堆單詞作為公共的列名 def random_list(random_str_count, randomlengtd=6): result_list = [] random = Random() chars = "qwertyuiopasdfghjklzxcvbnm" for str_count in range(random_str_count): ranstr = "" lengtd = len(chars) - 1 for str_lengtd in range(randomlengtd): ranstr += chars[random.randint(0, lengtd)] result_list.append(ranstr) return result_list def combine_as_data_location(pd_list, columns=''): if not pd_list: return None old_columns = pd_list[0].columns if columns: new_columns = columns else: new_columns = random_list(pd_list[0].shape[1]) for data_df in pd_list: # data is pandas Dataframe data_df.columns = new_columns result_df = pd.concat(pd_list, ignore_index=True) if columns: return result_df else: result_df.columns = old_columns return result_df result_df = combine_as_data_location([df1,df2,df3])
補(bǔ)充:pandas.concat實(shí)現(xiàn)豎著拼接、橫著拼接DataFrame
1、concat豎著拼接(默認(rèn)的豎著,axis=0)
話不多說,直接看例子:
import pandas as pd df1=pd.DataFrame([10,12,13]) df2=pd.DataFrame([22,33,44,55]) df3=pd.DataFrame([90,94])
df1
0 | |
---|---|
0 | 10 |
1 | 12 |
2 | 13 |
df2
0 | |
---|---|
0 | 22 |
1 | 33 |
2 | 44 |
3 | 55 |
df3
0 | |
---|---|
0 | 90 |
1 | 94 |
res= pd.concat([df1,df2,df3]) res
0 | |
---|---|
0 | 10 |
1 | 12 |
2 | 13 |
0 | 22 |
1 | 33 |
2 | 44 |
3 | 55 |
0 | 90 |
1 | 94 |
如果要生成新索引,忽略原來索引怎么辦?
默認(rèn)有個(gè)參數(shù)ignore_index= False,將其值改為True:
res2= pd.concat([df1,df2,df3], ignore_index=True) res2
0 | |
---|---|
0 | 10 |
1 | 12 |
2 | 13 |
3 | 22 |
4 | 33 |
5 | 44 |
6 | 55 |
7 | 90 |
8 | 94 |
2、concat橫著拼接
用參數(shù)axis= 1,看例子:
res_heng= pd.concat([df1,df2,df3], axis=1) res_heng
0 | 0 | 0 | |
---|---|---|---|
0 | 10.0 | 22 | 90.0 |
1 | 12.0 | 33 | 94.0 |
2 | 13.0 | 44 | NaN |
3 | NaN | 55 | NaN |
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教。
相關(guān)文章
numpy.transpose()實(shí)現(xiàn)數(shù)組的轉(zhuǎn)置例子
今天小編就為大家分享一篇numpy.transpose()實(shí)現(xiàn)數(shù)組的轉(zhuǎn)置例子,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-12-12python網(wǎng)絡(luò)編程實(shí)例簡(jiǎn)析
這篇文章主要介紹了python網(wǎng)絡(luò)編程,有不錯(cuò)的借鑒價(jià)值,需要的朋友可以參考下2014-09-09淺述python2與python3的簡(jiǎn)單區(qū)別
python2:print語句,語句就意味著可以直接跟要打印的東西而python3:print函數(shù),函數(shù)就以為這必須要加上括號(hào)才能調(diào)用。下面通過本文給大家介紹python2與python3的簡(jiǎn)單區(qū)別,感興趣的朋友跟隨小編一起看看吧2018-09-09python采集百度搜索結(jié)果帶有特定URL的鏈接代碼實(shí)例
這篇文章主要介紹了python采集百度搜索結(jié)果帶有特定URL的鏈接代碼實(shí)例,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-08-08Python數(shù)據(jù)類型之Dict字典實(shí)例詳解
這篇文章主要介紹了Python數(shù)據(jù)類型之Dict字典,結(jié)合具體實(shí)例形式詳細(xì)分析了Python字典的概念、原理、定義、元素添加、刪除、遍歷等相關(guān)操作技巧,需要的朋友可以參考下2019-05-05理解深度學(xué)習(xí)之深度學(xué)習(xí)簡(jiǎn)介
這篇文章主要是關(guān)于深度學(xué)習(xí)的簡(jiǎn)介,對(duì)大家學(xué)習(xí)了解機(jī)器深度學(xué)習(xí)有一定的幫助,以后會(huì)持續(xù)更新本系列,希望能為大家?guī)硪恍┦肇?,讓我們一起來看看下面的文章?/div> 2021-04-04Pygame游戲開發(fā)之太空射擊實(shí)戰(zhàn)子彈與碰撞處理篇
相信大多數(shù)8090后都玩過太空射擊游戲,在過去游戲不多的年代太空射擊自然屬于經(jīng)典好玩的一款了,今天我們來自己動(dòng)手實(shí)現(xiàn)它,在編寫學(xué)習(xí)中回顧過往展望未來,下面開始講解子彈與碰撞處理,在本課中,我們將添加玩家與敵人之間的碰撞,以及添加供玩家射擊的子彈2022-08-08Python使用Pandas生成日?qǐng)?bào)的實(shí)現(xiàn)代碼
Pandas是Python中一個(gè)強(qiáng)大的數(shù)據(jù)處理庫,它提供了許多功能強(qiáng)大的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分析工具,在本文中,我們將介紹Pandas的基本概念和如何使用它生成一個(gè)包含今天到未來20個(gè)工作日的日期列表的Excel文件,需要的朋友可以參考下2023-11-11Python使用Pillow實(shí)現(xiàn)圖像基本變化
這篇文章主要為大家詳細(xì)介紹了Python如何使用Pillow實(shí)現(xiàn)圖像的基本變化處理,文中的示例代碼講解詳細(xì),具有一定的學(xué)習(xí)價(jià)值,需要的可以了解一下2022-10-10最新評(píng)論