Python DataFrame.groupby()聚合函數(shù),分組級運算

更新時間：2018年09月18日 11:43:19 作者：brucewong0516

python的pandas包提供的數(shù)據(jù)聚合與分組運算功能很強大，也很靈活，本文就帶領(lǐng)大家一起來了解groupby技術(shù)，感興趣的朋友跟隨小編一起來看下

pandas提供了一個靈活高效的groupby功能，它使你能以一種自然的方式對數(shù)據(jù)集進行切片、切塊、摘要等操作。根據(jù)一個或多個鍵（可以是函數(shù)、數(shù)組或DataFrame列名）拆分pandas對象。計算分組摘要統(tǒng)計，如計數(shù)、平均值、標準差，或用戶自定義函數(shù)。對DataFrame的列應(yīng)用各種各樣的函數(shù)。應(yīng)用組內(nèi)轉(zhuǎn)換或其他運算，如規(guī)格化、線性回歸、排名或選取子集等。計算透視表或交叉表。執(zhí)行分位數(shù)分析以及其他分組分析。

groupby分組函數(shù)：

　　返回值：返回重構(gòu)格式的DataFrame，特別注意，groupby里面的字段內(nèi)的數(shù)據(jù)重構(gòu)后都會變成索引

　　groupby(),一般和sum()、mean()一起使用，如下例：

先自定義生成數(shù)組

import pandas as pd
df = pd.DataFrame({'key1':list('ababa'),
  'key2': ['one','two','one','two','one'],
  'data1': np.random.randn(5),
  'data2': np.random.randn(5)})
print(df)

 data1 data2 key1 key2
0 -1.313101 -0.453361 a one
1 0.791463 1.096693 b two
2 0.462611 1.150597 a one
3 -0.216121 1.381333 b two
4 0.077367 -0.282876 a one

應(yīng)用groupby,分組鍵均為Series(譬如df[‘xx'])，實際上分組鍵可以是任何長度適當?shù)臄?shù)組

#將df['data1']按照分組鍵為df['key1']進行分組
grouped=df['data1'].groupby(df['key1'])
print(grouped.mean())
key1
a -0.257707
b 0.287671
Name: data1, dtype: float64
states=np.array(['Ohio','California','California','Ohio','Ohio'])
years=np.array([2005,2005,2006,2005,2006])
#states第一層索引，years第二層分層索引
print(df['data1'].groupby([states,years]).mean())
California 2005 0.791463
 2006 0.462611
Ohio 2005 -0.764611
 2006 0.077367
Name: data1, dtype: float64
#df根據(jù)‘key1'分組，然后對df剩余數(shù)值型的數(shù)據(jù)運算
df.groupby('key1').mean()
 data1 data2
key1  
a -0.257707 0.138120
b 0.287671 1.239013
#可以看出沒有key2列，因為df[‘key2']不是數(shù)值數(shù)據(jù)，所以被從結(jié)果中移除。默認情況下，所有數(shù)值列都會被聚合，雖然有時可能被過濾為一個子集。

對分組進行迭代

#name就是groupby中的key1的值，group就是要輸出的內(nèi)容
for name, group in df.groupby('key1'):
 print (name,group)
a data1 data2 key1 key2
0 -1.313101 -0.453361 a one
2 0.462611 1.150597 a one
4 0.077367 -0.282876 a one
b data1 data2 key1 key2
1 0.791463 1.096693 b two
3 -0.216121 1.381333 b two

對group by后的內(nèi)容進行操作，可轉(zhuǎn)換成字典

#轉(zhuǎn)化為字典
piece=dict(list(df.groupby('key1')))
{'a': data1 data2 key1 key2
 0 -1.313101 -0.453361 a one
 2 0.462611 1.150597 a one
 4 0.077367 -0.282876 a one, 'b': data1 data2 key1 key2
 1 0.791463 1.096693 b two
 3 -0.216121 1.381333 b two}
#對字典取值
value = piece['a']

groupby默認是在axis=0上進行分組的，通過設(shè)置也可以在其他任何軸上進行分組

grouped=df.groupby(df.dtypes, axis=1)
value = dict(list(grouped))
print(value)
{dtype('float64'): data1 data2
0 -1.313101 -0.453361
1 0.791463 1.096693
2 0.462611 1.150597
3 -0.216121 1.381333
4 0.077367 -0.282876, dtype('O'): key1 key2
0 a one
1 b two
2 a one
3 b two
4 a one}

對于大數(shù)據(jù)，很多情況是只需要對部分列進行聚合

#對df進行'key1'，'key2'的兩次分組，然后取data2的數(shù)據(jù)，對兩次細分的分組數(shù)據(jù)取均值
value = df.groupby(['key1','key2'])[['data2']].mean()
 data2
key1 key2 
a one 0.138120
b two 1.239013
----------------------------------
df
Out[1]: 
 data1 data2 key1 key2
0 -1.313101 -0.453361 a one
1 0.791463 1.096693 b two
2 0.462611 1.150597 a one
3 -0.216121 1.381333 b two
4 0.077367 -0.282876 a one
----------------------------------
df['key2'].iloc[-1] ='two'
value = df.groupby(['key1','key2'])[['data2']].mean()
value
Out[2]: 
 data2
key1 key2 
a one 0.348618
 two -0.282876
b two 1.239013

Python中的分組函數(shù)（groupby、itertools）

from operator import itemgetter #itemgetter用來去dict中的key，省去了使用lambda函數(shù)
from itertools import groupby #itertool還包含有其他很多函數(shù)，比如將多個list聯(lián)合起來。。
d1={'name':'zhangsan','age':20,'country':'China'}
d2={'name':'wangwu','age':19,'country':'USA'}
d3={'name':'lisi','age':22,'country':'JP'}
d4={'name':'zhaoliu','age':22,'country':'USA'}
d5={'name':'pengqi','age':22,'country':'USA'}
d6={'name':'lijiu','age':22,'country':'China'}
lst=[d1,d2,d3,d4,d5,d6]
#通過country進行分組：
lst.sort(key=itemgetter('country')) #需要先排序，然后才能groupby。lst排序后自身被改變
lstg = groupby(lst,itemgetter('country')) 
#lstg = groupby(lst,key=lambda x:x['country']) 等同于使用itemgetter()
for key,group in lstg:
 for g in group: #group是一個迭代器，包含了所有的分組列表
 print key,g
返回：
China {'country': 'China', 'age': 20, 'name': 'zhangsan'}
China {'country': 'China', 'age': 22, 'name': 'lijiu'}
JP {'country': 'JP', 'age': 22, 'name': 'lisi'}
USA {'country': 'USA', 'age': 19, 'name': 'wangwu'}
USA {'country': 'USA', 'age': 22, 'name': 'zhaoliu'}
USA {'country': 'USA', 'age': 22, 'name': 'pengqi'}
print [key for key,group in lstg] #返回：['China', 'JP', 'USA']
print [(key,list(group)) for key,group in lstg]
#返回的list中包含著三個元組：
[('China', [{'country': 'China', 'age': 20, 'name': 'zhangsan'}, {'country': 'China', 'age': 22, 'name': 'lijiu'}]), ('JP', [{'country': 'JP', 'age': 22, 'name': 'lisi'}]), ('USA', [{'country': 'USA', 'age': 19, 'name': 'wangwu'}, {'country': 'USA', 'age': 22, 'name': 'zhaoliu'}, {'country': 'USA', 'age': 22, 'name': 'pengqi'}])]
print dict([(key,list(group)) for key,group in lstg])
#返回的是一個字典：
{'JP': [{'country': 'JP', 'age': 22, 'name': 'lisi'}], 'China': [{'country': 'China', 'age': 20, 'name': 'zhangsan'}, {'country': 'China', 'age': 22, 'name': 'lijiu'}], 'USA': [{'country': 'USA', 'age': 19, 'name': 'wangwu'}, {'country': 'USA', 'age': 22, 'name': 'zhaoliu'}, {'country': 'USA', 'age': 22, 'name': 'pengqi'}]}
print dict([(key,len(list(group))) for key,group in lstg])
#返回每個分組的個數(shù)：
{'JP': 1, 'China': 2, 'USA': 3}

#返回包含有2個以上元素的分組
print [key for key,group in groupby(sorted(lst,key=itemgetter('country')),itemgetter('country')) if len(list(group))>=2]
#返回：['China', 'USA']

lstg = groupby(sorted(lst,key=itemgetter('country')),key=itemgetter('country')) 
lstgall=[(key,list(group)) for key,group in lstg ]
print dict(filter(lambda x:len(x[1])>2,lstgall)) 
#過濾出分組后的元素個數(shù)大于2個的分組，返回：
{'USA': [{'country': 'USA', 'age': 19, 'name': 'wangwu'}, {'country': 'USA', 'age': 22, 'name': 'zhaoliu'}, {'country': 'USA', 'age': 22, 'name': 'pengqi'}]}

自定義分組：

from itertools import groupby
lst=[2,8,11,25,43,6,9,29,51,66]

def gb(num):
 if num <= 10:
 return 'less'
 elif num >=30:
 return 'great'
 else:
 return 'middle'
print [(k,list(g))for k,g in groupby(sorted(lst),key=gb)]
返回：
[('less', [2, 6, 8, 9]), ('middle', [11, 25, 29]), ('great', [43, 51, 66])]

總結(jié)

以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，謝謝大家對腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請查看下面相關(guān)鏈接

您可能感興趣的文章: