欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python merge、concat合并數(shù)據(jù)集的實例講解

 更新時間:2018年04月12日 09:17:58   作者:LY_ysys629  
下面小編就為大家分享一篇python merge、concat合并數(shù)據(jù)集的實例講解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧

數(shù)據(jù)規(guī)整化:合并、清理、過濾

pandas和python標(biāo)準(zhǔn)庫提供了一整套高級、靈活的、高效的核心函數(shù)和算法將數(shù)據(jù)規(guī)整化為你想要的形式!

本篇博客主要介紹:

合并數(shù)據(jù)集:.merge()、.concat()等方法,類似于SQL或其他關(guān)系型數(shù)據(jù)庫的連接操作。

合并數(shù)據(jù)集

1) merge 函數(shù)參數(shù)

參數(shù) 說明
left 參與合并的左側(cè)DataFrame
right 參與合并的右側(cè)DataFrame
how 連接方式:‘inner'(默認(rèn));還有,‘outer'、‘left'、‘right'
on 用于連接的列名,必須同時存在于左右兩個DataFrame對象中,如果位指定,則以left和right列名的交集作為連接鍵
left_on 左側(cè)DataFarme中用作連接鍵的列
right_on 右側(cè)DataFarme中用作連接鍵的列
left_index 將左側(cè)的行索引用作其連接鍵
right_index 將右側(cè)的行索引用作其連接鍵
sort 根據(jù)連接鍵對合并后的數(shù)據(jù)進(jìn)行排序,默認(rèn)為True。有時在處理大數(shù)據(jù)集時,禁用該選項可獲得更好的性能
suffixes 字符串值元組,用于追加到重疊列名的末尾,默認(rèn)為(‘_x',‘_y').例如,左右兩個DataFrame對象都有‘data',則結(jié)果中就會出現(xiàn)‘data_x',‘data_y'
copy 設(shè)置為False,可以在某些特殊情況下避免將數(shù)據(jù)復(fù)制到結(jié)果數(shù)據(jù)結(jié)構(gòu)中。默認(rèn)總是賦值

1、多對一的合并(一個表的連接鍵列有重復(fù)值,另一個表中的連接鍵沒有重復(fù)值)

import pandas as pd
import numpy as np

df1 = pd.DataFrame({'key':['b','b','a','c','a','a','b'],'data1': range(7)})

df1

data1 key
0 0 b
1 1 b
2 2 a
3 3 c
4 4 a
5 5 a
6 6 b

df2 = pd.DataFrame({'key':['a','b','d'],'data2':range(3)})

df2

data2 key
0 0 a
1 1 b
2 2 d

pd.merge(df1,df2)#默認(rèn)情況

data1 key data2
0 0 b 1
1 1 b 1
2 6 b 1
3 2 a 0
4 4 a 0
5 5 a 0

df1.merge(df2)

data1 key data2
0 0 b 1
1 1 b 1
2 6 b 1
3 2 a 0
4 4 a 0
5 5 a 0

df1.merge(df2,on = 'key',how = 'inner')#內(nèi)連接,取交集

data1 key data2
0 0 b 1
1 1 b 1
2 6 b 1
3 2 a 0
4 4 a 0
5 5 a 0

df1.merge(df2,on = 'key',how = 'outer')#外鏈接,取并集,并用nan填充

data1 key data2
0 0.0 b 1.0
1 1.0 b 1.0
2 6.0 b 1.0
3 2.0 a 0.0
4 4.0 a 0.0
5 5.0 a 0.0
6 3.0 c NaN
7 NaN d 2.0

df1.merge(df2,on = 'key',how = 'left')#左連接,左側(cè)DataFrame取全部,右側(cè)DataFrame取部分

data1 key data2
0 0 b 1.0
1 1 b 1.0
2 2 a 0.0
3 3 c NaN
4 4 a 0.0
5 5 a 0.0
6 6 b 1.0

df1.merge(df2,on = 'key',how = 'right')#右連接,右側(cè)DataFrame取全部,左側(cè)DataFrame取部分

data1 key data2
0 0.0 b 1
1 1.0 b 1
2 6.0 b 1
3 2.0 a 0
4 4.0 a 0
5 5.0 a 0
6 NaN d 2

如果左右側(cè)DataFrame的連接鍵列名不一致,但是取值有重疊,可使用left_on、right_on來指定左右連接鍵

df3 = pd.DataFrame({'lkey':['b','b','a','c','a','a','b'],'data1': range(7)})

df3

data1 lkey
0 0 b
1 1 b
2 2 a
3 3 c
4 4 a
5 5 a
6 6 b

df4 = pd.DataFrame({'rkey':['a','b','d'],'data2':range(3)})

df4

data2 rkey
0 0 a
1 1 b
2 2 d

df3.merge(df4,left_on = 'lkey',right_on = 'rkey',how = 'inner')

data1 lkey data2 rkey
0 0 b 1 b
1 1 b 1 b
2 6 b 1 b
3 2 a 0 a
4 4 a 0 a
5 5 a 0 a

2、多對多的合并(一個表的連接鍵列有重復(fù)值,另一個表中的連接鍵有重復(fù)值)

df1 = pd.DataFrame({'key':['b','b','a','c','a','a','b'],'data1': range(7)})

df1

data1 key
0 0 b
1 1 b
2 2 a
3 3 c
4 4 a
5 5 a
6 6 b

df5 = pd.DataFrame({'key':['a','b','a','b','b'],'data2': range(5)})
df5

data2 key
0 0 a
1 1 b
2 2 a
3 3 b
4 4 b

df1.merge(df5)

data1 key data2
0 0 b 1
1 0 b 3
2 0 b 4
3 1 b 1
4 1 b 3
5 1 b 4
6 6 b 1
7 6 b 3
8 6 b 4
9 2 a 0
10 2 a 2
11 4 a 0
12 4 a 2
13 5 a 0
14 5 a 2

合并小結(jié)

1)默認(rèn)情況下,會將兩個表中相同列名作為連接鍵

2)多對多,會采用笛卡爾積形式鏈接(左表連接鍵有三個值‘1,3,5',右表有兩個值‘2,3',則會形成,(1,2)(1,3)(3,1),(3,2)。。。6種組合)

3)存在多個連接鍵的處理

left = pd.DataFrame({'key1':['foo','foo','bar'],'key2':['one','one','two'],'lval':[1,2,3]})

right = pd.DataFrame({'key1':['foo','foo','bar','bar'],'key2':['one','one','one','two'],'rval':[4,5,6,7]})
left

key1 key2 lval
0 foo one 1
1 foo one 2
2 bar two 3

right

key1 key2 rval
0 foo one 4
1 foo one 5
2 bar one 6
3 bar two 7

pd.merge(left,right,on = ['key1','key2'],how = 'outer')
key1 key2 lval rval
0 foo one 1.0 4
1 foo one 1.0 5
2 foo one 2.0 4
3 foo one 2.0 5
4 bar two 3.0 7
5 bar one NaN 6

1)連接鍵是多對多關(guān)系,應(yīng)執(zhí)行笛卡爾積形式

2)多列應(yīng)看連接鍵值對是否一致

4)對連接表中非連接列的重復(fù)列名的處理

pd.merge(left,right,on = 'key1')

key1 key2_x lval key2_y rval
0 foo one 1 one 4
1 foo one 1 one 5
2 foo one 2 one 4
3 foo one 2 one 5
4 bar two 3 one 6
5 bar two 3 two 7

pd.merge(left,right,on = 'key1',suffixes = ('_left','_right'))

key1 key2_left lval key2_right rval
0 foo one 1 one 4
1 foo one 1 one 5
2 foo one 2 one 4
3 foo one 2 one 5
4 bar two 3 one 6
5 bar two 3 two 7

2)索引上的合并

當(dāng)連接鍵位于索引中時,成為索引上的合并,可以通過merge函數(shù),傳入left_index、right_index來說明應(yīng)該被索引的情況。

一表中連接鍵是索引列、另一表連接鍵是非索引列

left1 = pd.DataFrame({'key':['a','b','a','a','b','c'],'value': range(6)})
left1

key value
0 a 0
1 b 1
2 a 2
3 a 3
4 b 4
5 c 5

right1 = pd.DataFrame({'group_val':[3.5,7]},index = ['a','b'])
right1

group_val
a 3.5
b 7.0

pd.merge(left1,right1,left_on = 'key',right_index = True)
key value group_val
0 a 0 3.5
2 a 2 3.5
3 a 3 3.5
1 b 1 7.0
4 b 4 7.0

有上可知,left_on、right_on是指定表中非索引列為連接鍵,left_index、right_index是指定表中索引列為連接鍵,兩者可以組合,是為了區(qū)分是否是索引列

兩個表中的索引列都是連接鍵

left2 = pd.DataFrame(np.arange(6).reshape(3,2),index = ['a','b','e'],columns = ['0hio','nevada'])

right2 = pd.DataFrame(np.arange(7,15).reshape(4,2),index = ['b','c','d','e'],columns = ['misso','ala'])

left2

0hio nevada
a 0 1
b 2 3
e 4 5

right2

misso ala
b 7 8
c 9 10
d 11 12
e 13 14

pd.merge(left2,right2,left_index = True,right_index = True,how = 'outer')
0hio nevada misso ala
a 0.0 1.0 NaN NaN
b 2.0 3.0 7.0 8.0
c NaN NaN 9.0 10.0
d NaN NaN 11.0 12.0
e 4.0 5.0 13.0 14.0

3)軸向連接

在這里展示一種新的連接方法,對應(yīng)于numpy的concatenate函數(shù),pandas有concat函數(shù)

#numpy
arr =np.arange(12).reshape(3,4)
arr
 array([[ 0, 1, 2, 3],
   [ 4, 5, 6, 7],
   [ 8, 9, 10, 11]])
np.concatenate([arr,arr],axis = 1)#橫軸連接塊
 
 array([[ 0, 1, 2, 3, 0, 1, 2, 3],
   [ 4, 5, 6, 7, 4, 5, 6, 7],
   [ 8, 9, 10, 11, 8, 9, 10, 11]])

concat函數(shù)參數(shù)表格

參數(shù) 說明
objs 參與連接的列表或字典,且列表或字典里的對象是pandas數(shù)據(jù)類型,唯一必須給定的參數(shù)
axis=0 指明連接的軸向,0是縱軸,1是橫軸,默認(rèn)是0
join ‘inner'(交集),‘outer'(并集),默認(rèn)是‘outer'指明軸向索引的索引是交集還是并集
join_axis 指明用于其他n-1條軸的索引(層次化索引,某個軸向有多個索引),不執(zhí)行交并集
keys 與連接對象有關(guān)的值,用于形成連接軸向上的層次化索引(外層索引),可以是任意值的列表或數(shù)組、元組數(shù)據(jù)、數(shù)組列表(如果將levels設(shè)置成多級數(shù)組的話)
levels 指定用作層次化索引各級別(內(nèi)層索引)上的索引,如果設(shè)置keys的話
names 用于創(chuàng)建分層級別的名稱,如果設(shè)置keys或levels的話
verify_integrity 檢查結(jié)果對象新軸上的重復(fù)情況,如果發(fā)橫則引發(fā)異常,默認(rèn)False,允許重復(fù)
ignore_index 不保留連接軸上的索引,產(chǎn)生一組新索引range(total_length)

s1 = pd.Series([0,1,2],index = ['a','b','c'])

s2 = pd.Series([2,3,4],index = ['c','f','e'])

s3 = pd.Series([4,5,6],index = ['c','f','g'])
pd.concat([s1,s2,s3])#默認(rèn)并集、縱向連接

a 0 b 1 c 2 c 2 f 3 e 4 c 4 f 5 g 6 dtype: int64

pd.concat([s1,s2,s3],ignore_index = True)#生成縱軸上的并集,索引會自動生成新的一列

0 0 1 1 2 2 3 2 4 3 5 4 6 4 7 5 8 6 dtype: int64

pd.concat([s1,s2,s3],axis = 1,join = 'inner')#縱向取交集,注意該方法對對象表中有重復(fù)索引時失效

0 1 2
c 2 2 4

pd.concat([s1,s2,s3],axis = 1,join = 'outer')#橫向索引取并集,縱向索引取交集,注意該方法對對象表中有重復(fù)索引時失效
0 1 2
a 0.0 NaN NaN
b 1.0 NaN NaN
c 2.0 2.0 4.0
e NaN 4.0 NaN
f NaN 3.0 5.0
g NaN NaN 6.0

concat函數(shù)小結(jié)

1)縱向連接,ignore_index = False ,可能生成重復(fù)的索引

2)橫向連接時,對象索引不能重復(fù)

4)合并重疊數(shù)據(jù)

適用范圍:

1)當(dāng)兩個對象的索引有部分或全部重疊時

2)用參數(shù)對象中的數(shù)據(jù)為調(diào)用者對象的缺失數(shù)據(jù)‘打補(bǔ)丁'

a = pd.Series([np.nan,2.5,np.nan,3.5,4.5,np.nan],index = ['a','b','c','d','e','f'])

b = pd.Series(np.arange(len(a)),index = ['a','b','c','d','e','f'])
a
a NaN
b 2.5
c NaN
d 3.5
e 4.5
f NaN
dtype: float64
b
a 0
b 1
c 2
d 3
e 4
f 5
dtype: int32
a.combine_first(b)#利用b填補(bǔ)了a的空值
a 0.0
b 2.5
c 2.0
d 3.5
e 4.5
f 5.0
dtype: float64
a = pd.Series([np.nan,2.5,np.nan,3.5,4.5,np.nan],index = ['g','b','c','d','e','f'])
a.combine_first(b)#部分索引重疊
a 0.0
b 2.5
c 2.0
d 3.5
e 4.5
f 5.0
g NaN
dtype: float64

小結(jié)

本篇博客主要講述了一下內(nèi)容:

1) merge函數(shù)合并數(shù)據(jù)集

2)concat函數(shù)合并數(shù)據(jù)集

3)combine_first函數(shù),含有重疊索引的缺失值填補(bǔ)

以上這篇python merge、concat合并數(shù)據(jù)集的實例講解就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • Python變量和數(shù)據(jù)類型詳解

    Python變量和數(shù)據(jù)類型詳解

    這篇文章主要介紹了Python變量和數(shù)據(jù)類型,是Python學(xué)習(xí)當(dāng)中的基礎(chǔ)知識,需要的朋友可以參考下,希望能夠給你帶來幫助
    2021-10-10
  • Python?calendar模塊詳情

    Python?calendar模塊詳情

    這篇文章主要介紹了?Python?calendar模塊,Python?專門為了處理日歷提供了calendar日歷模塊,下面文章基于time模塊和datetime模塊展開,具有一定的參考價值,需要的朋友可以參考一下
    2021-11-11
  • Python Opencv實戰(zhàn)之印章提取的實現(xiàn)

    Python Opencv實戰(zhàn)之印章提取的實現(xiàn)

    很多時候我們需要電子版的章,但有些同學(xué)并不會通過Photoshop摳圖獲取。因此本文將利用Python OpenCV來實現(xiàn)印章的提取,感興趣的可以了解一下
    2022-03-03
  • Python socket實現(xiàn)的文件下載器功能示例

    Python socket實現(xiàn)的文件下載器功能示例

    這篇文章主要介紹了Python socket實現(xiàn)的文件下載器功能,結(jié)合實例形式分析了Python使用socket模塊實現(xiàn)的文件下載器客戶端與服務(wù)器端相關(guān)操作技巧,需要的朋友可以參考下
    2019-11-11
  • Python利用filestools模塊實現(xiàn)水印添加

    Python利用filestools模塊實現(xiàn)水印添加

    最近發(fā)現(xiàn)的這款filestools非標(biāo)準(zhǔn)庫其實真正實現(xiàn)添加水印的只要一個函數(shù)的調(diào)用,一行代碼即可完成水印的添加,感興趣的快跟隨小編一起學(xué)起來吧
    2022-09-09
  • Python實現(xiàn)簡易的圖書管理系統(tǒng)

    Python實現(xiàn)簡易的圖書管理系統(tǒng)

    這篇文章主要為大家詳細(xì)介紹了Python實現(xiàn)簡易的圖書管理系統(tǒng),文中示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2022-03-03
  • Java多線程編程中ThreadLocal類的用法及深入

    Java多線程編程中ThreadLocal類的用法及深入

    這篇文章主要介紹了Java多線程編程中ThreadLocal類的用法及深入,嘗試了自己實現(xiàn)一個ThreadLocal類以及對相關(guān)的線程安全問題進(jìn)行討論,需要的朋友可以參考下
    2016-06-06
  • python排序方法實例分析

    python排序方法實例分析

    這篇文章主要介紹了python排序方法,實例分析了Python實現(xiàn)默認(rèn)排序、降序排序及按照key值排序的相關(guān)技巧,非常簡單實用,需要的朋友可以參考下
    2015-04-04
  • Python實現(xiàn)基于POS算法的區(qū)塊鏈

    Python實現(xiàn)基于POS算法的區(qū)塊鏈

    這篇文章主要介紹了Python實現(xiàn)基于POS算法的區(qū)塊鏈,今天我們就來認(rèn)識POS(proof of stake)算法。需要的朋友可以參考下
    2018-08-08
  • python實現(xiàn)數(shù)組求和與平均值

    python實現(xiàn)數(shù)組求和與平均值

    這篇文章主要介紹了python實現(xiàn)數(shù)組求和與平均值方式,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2022-05-05

最新評論