Pandas數(shù)據(jù)分析-pandas數(shù)據(jù)框的多層索引
前言
pandas數(shù)據(jù)框針對高維數(shù)據(jù),也有多層索引的辦法去應對。多層數(shù)據(jù)一般長這個樣子
可以看到AB兩大列,下面又有xy兩小列。 行有abc三行,又分為onetwo兩小行。
在分組聚合的時候也會產(chǎn)生多層索引,下面演示一下。
導入包和數(shù)據(jù):
import numpy as np import pandas as pd df=pd.read_excel('team.xlsx')
分組聚合:
df.groupby(['team',df.mean(1)>60]).count() #每組平均分大于60的人的個數(shù)
可以看到分為abcde五組,平均分大于60 的組員兩小行。
創(chuàng)建多層索引
#序列中創(chuàng)建 arrays = [[1, 1, 2, 2], ['red', 'blue', 'red', 'blue']] index=pd.MultiIndex.from_arrays(arrays, names=('number', 'color')) index
pd.DataFrame([{'a':1, 'b':2}], index=index)
#來自元組創(chuàng)建 arrays = [['bar', 'bar', 'baz', 'baz', 'foo', 'foo', 'qux', 'qux'], ['one', 'two', 'one', 'two', 'one', 'two', 'one', 'two']] tuples = list(zip(*arrays)) index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second']) pd.Series(np.random.randn(8), index=index)
#可迭代對象的笛卡爾積,排列組合各種情況 numbers = [0, 1, 2] colors = ['green', 'purple'] index = pd.MultiIndex.from_product([numbers, colors],names=['number', 'color']) pd.Series(np.random.randn(6), index=index)
#來自 DataFrame df = pd.DataFrame([['bar', 'one'], ['bar', 'two'], ['foo', 'one'], ['foo', 'two']], columns=['first', 'second']) ''' first second 0 bar one 1 bar two 2 foo one 3 foo two ''' index = pd.MultiIndex.from_frame(df) pd.Series(np.random.randn(4), index=index)
多層索引操作
index_arrays = [[1, 1, 2, 2], ['男', '女', '男', '女']] columns_arrays = [['2020', '2020', '2021', '2021'], ['上半年', '下半年', '上半年', '下半年',]] index = pd.MultiIndex.from_arrays(index_arrays,names=('班級', '性別')) columns = pd.MultiIndex.from_arrays(columns_arrays,names=('年份', '學期')) df = pd.DataFrame([(88,99,88,99),(77,88,97,98), (67,89,54,78),(34,67,89,54)],columns=columns, index=index) df
索引名稱的查看
#索引名稱的查看: df.index # 索引, 是一個 MultiIndex df.columns # 引索引,也是一個 MultiIndex # 查看行索引的名稱 df.index.names # FrozenList(['班級', '性別']) # 查看列索引的名稱 df.columns.names # FrozenList(['年份', '學期'])
索引的層級
#索引的層級: df.index.nlevels # 層級數(shù) 2 df.index.levels # 行的層級 # FrozenList([[1, 2], ['女', '男']]) df.columns.levels # 列的層級 # FrozenList([['2020', '2021'], ['上半年', '下半年']]) df[['2020','2021']].index.levels # 篩選后的層級 # FrozenList([[1, 2], ['女', '男']])
索引內(nèi)容的查看
#索引內(nèi)容的查看: # 獲取索引第2層內(nèi)容 df.index.get_level_values(1) # Index(['男', '女', '男', '女'], dtype='object', name='性別') # 獲取列索引第1層內(nèi)容 df.columns.get_level_values(0) # Index(['2020', '2020', '2021', '2021'], dtype='object', name='年份') # 按索引名稱取索引內(nèi)容 df.index.get_level_values('班級') # Int64Index([1, 1, 2, 2], dtype='int64', name='班級') df.columns.get_level_values('年份') # Index(['2020', '2020', '2021', '2021'], dtype='object', name='年份') # 多層索引的數(shù)據(jù)類型,1.3.0+ df.index.dtypes
#排序
# 使用索引名可進行排序,可以指定具體的列 df.sort_values(by=['性別', ('2020','下半年')]) df.index.reorder_levels([1,0]) # 等級順序,互換 df.index.set_codes([1, 1, 0, 0], level='班級') # 設置順序 df.index.sortlevel(level=0, ascending=True) # 按指定級別排序 df.index.reindex(df.index[::-1]) # 更換順序,或者指定一個順序
相關操作轉換:
df.index.to_numpy() # 生成一個笛卡爾積的元組對列表 # array([(1, '男'), (1, '女'), (2, '男'), (2, '女')], dtype=object) df.index.remove_unused_levels() # 返回沒有使用的層級 df.swaplevel(0, 2) # 交換索引 df.to_frame() # 轉為 DataFrame idx.set_levels(['a', 'b'], level='bar') # 設置新的索引內(nèi)容 idx.set_levels([['a', 'b', 'c'], [1, 2, 3, 4]], level=[0, 1]) idx.to_flat_index() # 轉為元組對列表 df.index.droplevel(0) # 刪除指定等級 df.index.get_locs((2, '女')) # 返回索引的位置
數(shù)據(jù)查詢
#查詢指定行 df.loc[1] #一班的 df.loc[(1, '男')] # 一年級男 df.loc[1:2] # 一二兩年級數(shù)據(jù)
#查詢指定列 df['2020'] # 整個一級索引下 df[('2020','上半年')] # 指定二級索引 df['2020']['上半年'] # 同上
#行列綜合 slice(None)表示本層所有內(nèi)容 df.loc[(1, '男'), '2020'] # 只顯示2020年一年級男 df.loc[:, (slice(None), '下半年')] # 只看下半年的 df.loc[(slice(None), '女'),:] # 只看女生 df.loc[1, (slice(None)),:] # 只看1班 df.loc[:, ('2020', slice(None))] # 只看 2020 年的
#查詢指定條件
#和單層索引的數(shù)據(jù)查詢一樣,不過在選擇列上要按多層的規(guī)則。 df[df[('2020','上半年')] > 80]
#pd.IndexSlice切片使用: idx = pd.IndexSlice idx[0] # 0 idx[:] # slice(None, None, None) idx[0,'x'] # (0, 'x') idx[0:3] # slice(0, 3, None) idx[0.1:1.5] # slice(0.1, 1.5, None) idx[0:5,'x':'y'] # (slice(0, 5, None), slice('x', 'y', None))
#查詢應用: idx = pd.IndexSlice df.loc[idx[:,['男']],:] # 只顯示男 df.loc[:,idx[:,['上半年']]] # 只顯示上半年 #df.xs() df.xs((1, '男')) # 一年級男生 df.xs('2020', axis=1) # 2020 年 df.xs('男', level=1) # 所有男生
數(shù)據(jù)分組
df.groupby(level=0).sum() df.groupby(level='性別').sum() df.sum(level='班級') # 也可以直接統(tǒng)計
df.groupby(level=['性別', '班級']).sum()
到此這篇關于Pandas數(shù)據(jù)分析-andas數(shù)據(jù)框的多層索引的文章就介紹到這了,更多相關pandas多層索引內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
Python日期與時間模塊(datetime+time+Calendar+dateuil?)相關使用講解
這篇文章主要介紹了Python日期與時間模塊(datetime+time+Calendar+dateuil?)相關使用講解,文章圍繞主題展開詳細的內(nèi)容戒殺,具有一定的參考價值,需要的朋友可以參考一下2022-09-09Python 2.7.x 和 3.x 版本的重要區(qū)別小結
這篇文章主要介紹了Python 2.7.x 和 3.x 版本的重要區(qū)別小結,需要的朋友可以參考下2014-11-11Python實現(xiàn)抓取百度搜索結果頁的網(wǎng)站標題信息
這篇文章主要介紹了Python實現(xiàn)抓取百度搜索結果頁的網(wǎng)站標題信息,本文使用BeautifulSoup來解析HTML,需要的朋友可以參考下2015-01-01