Python通過(guò)兩個(gè)dataframe用for循環(huán)求笛卡爾積
合并兩個(gè)沒(méi)有共同列的dataframe，相當(dāng)于按行號(hào)求笛卡爾積。
最終效果如下
以下代碼是參考別人的代碼修改的：
def cartesian_df(A,B):
new_df = pd.DataFrame(columns=list(A).extend(list(B)))
for _,A_row in A.iterrows():
for _,B_row in B.iterrows():
row = A_row.append(B_row)
new_df = new_df.append(row,ignore_index=True)
return new_df
#這個(gè)方法，如果兩張表列名重復(fù)會(huì)出錯(cuò)
這段代碼的思路是對(duì)兩個(gè)表的每一行進(jìn)行循環(huán)，運(yùn)行速度比較慢，復(fù)雜度應(yīng)該是O(m*n)，m是A表的行數(shù)，n是B表的行數(shù)。
因?yàn)槲矣玫降暮喜⒈硇袛?shù)比較多，時(shí)間太慢，所以針對(duì)上面的代碼進(jìn)行了優(yōu)化。
思路是利用dataframe的merge功能，先循環(huán)復(fù)制A表，將循環(huán)次數(shù)添加為列，直接使用merge合并，復(fù)雜度應(yīng)該為O(n)（n是B表的行數(shù)），代碼如下：
def cartesian_df(df_a,df_b):
'求兩個(gè)dataframe的笛卡爾積'
#df_a 復(fù)制n次，索引用復(fù)制次數(shù)
new_df_a = pd.DataFrame(columns=list(df_a))
for i in range(0,df_b.shape[0]):
df_a['merge_index'] = i
new_df_a = new_df_a.append(df_a,ignore_index=True)
#df_b 設(shè)置索引為行數(shù)
df_b.reset_index(inplace = True, drop =True)
df_b['merge_index'] = df_b.index
#merge
new_df = pd.merge(new_df_a,df_b,on=['merge_index'],how='left').drop(['merge_index'],axis = 1)
return new_df
#兩個(gè)原始表中不能有列名'merge_index'
使用一張8行的表和一張142行的表進(jìn)行測(cè)試，優(yōu)化前的方法用時(shí)：5.560689926147461秒
優(yōu)化后的方法用時(shí)：0.1296539306640625秒（142行的表作為b表）
根據(jù)計(jì)算原理，將行數(shù)少的表放在b表可以更快，測(cè)試用時(shí)：0.021603107452392578秒（8行的表作為b表）
這個(gè)速度已經(jīng)達(dá)到預(yù)期，基本感覺(jué)不到等待，優(yōu)化完成。
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
python發(fā)送json參數(shù)的實(shí)例代碼
在寫腳本的過(guò)程中，除了發(fā)送form表單參數(shù)之外，我們還會(huì)發(fā)送json格式的參數(shù)。那么碰見(jiàn)json格式要怎么發(fā)送呢，這篇我們來(lái)解決這個(gè)問(wèn)題,需要的朋友可以參考下2019-10-10
這篇文章主要介紹了Python貪心算法,結(jié)合三個(gè)常見(jiàn)實(shí)例分析了貪心算法的原理及解決具體問(wèn)題的相關(guān)使用技巧,需要的朋友可以參考下2018-04-04
這篇文章主要介紹了Python迭代用法,包括了迭代的定義及具體用法,是一個(gè)非常實(shí)用的技巧,需要的朋友可以參考下2014-09-09
這篇文章主要介紹了Python與Redis的連接教程,Redis是一個(gè)高性能的基于內(nèi)存的數(shù)據(jù)庫(kù),需要的朋友可以參考下2015-04-04
關(guān)于多種方式完美解決Python pip命令下載第三方庫(kù)的問(wèn)題
這篇文章主要介紹了多種方式完美解決python pip命令下載第三方庫(kù)的問(wèn)題,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-12-12
Python實(shí)現(xiàn)內(nèi)存泄露排查的示例詳解
一般在python代碼塊的調(diào)試過(guò)程中會(huì)使用memory-profiler、filprofiler、objgraph等三種方式進(jìn)行輔助分析，今天這里主要介紹使用objgraph對(duì)象提供的函數(shù)接口來(lái)進(jìn)行內(nèi)存泄露的分析，感興趣的可以了解一下2023-01-01
PyCharm MySQL可視化Database配置過(guò)程圖解
這篇文章主要介紹了PyCharm MySQL可視化Database配置過(guò)程圖解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-06-06
Python如何定義有默認(rèn)參數(shù)的函數(shù)
這篇文章主要介紹了Python如何定義有默認(rèn)參數(shù)的函數(shù)，幫助大家更好的理解和學(xué)習(xí)Python，感興趣的朋友可以了解下2020-08-08
python之線程池map()方法傳遞多參數(shù)list
這篇文章主要介紹了python之線程池map()方法傳遞多參數(shù)list問(wèn)題，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-03-03
python常見(jiàn)數(shù)制轉(zhuǎn)換實(shí)例分析
這篇文章主要介紹了python常見(jiàn)數(shù)制轉(zhuǎn)換,實(shí)例分析了二進(jìn)制、八進(jìn)制、十進(jìn)制及十六進(jìn)制之間的相互轉(zhuǎn)換技巧,需要的朋友可以參考下2015-05-05