準(zhǔn)備工作

首先是準(zhǔn)備工作，導(dǎo)入需要使用的庫，讀取并創(chuàng)建數(shù)據(jù)表取名為loandata。

import numpy as np
import pandas as pd
loandata=pd.DataFrame(pd.read_excel('loan_data.xlsx'))

設(shè)置索引字段

在開始提取數(shù)據(jù)前，先將member_id列設(shè)置為索引字段。然后開始提取數(shù)據(jù)。

Loandata = loandata.set_index('member_id')

按行提取信息

第一步是按行提取數(shù)據(jù)，例如提取某個(gè)用戶的信息。下面使用ix函數(shù)對member_id為1303503的用戶信息進(jìn)行了提取。

loandata.ix[1303503]

按列提取信息

第二步是按列提取數(shù)據(jù)，例如提取用戶工作年限列的所有信息，下面是具體的代碼和提取結(jié)果，顯示了所有用戶的工作年齡信息。

loandata.ix[:,'emp_length']

按行與列提取信息

第三步是按行和列提取信息，把前面兩部的查詢條件放在一起，查詢特定用戶的特定信息，下面是查詢member_id為1303503的用戶的emp_length信息。

loandata.ix[1303503,'emp_length']

在前面的基礎(chǔ)上繼續(xù)增加條件，增加一行同時(shí)查詢兩個(gè)特定用戶的貸款金額信息。具體代碼和查詢結(jié)果如下。結(jié)果中分別列出了兩個(gè)用戶的代碼金額。

loandata.ix[[1303503,1298717],'loan_amnt']

在前面的代碼后增加sum函數(shù)，對結(jié)果進(jìn)行求和，同樣是查詢兩個(gè)特定用戶的貸款進(jìn)行，下面的結(jié)果中直接給出了貸款金額的匯總值。

loandata.ix[[1303503,1298717],'loan_amnt'].sum()

除了增加行的查詢條件以外，還可以增加列的查詢條件，下面的代碼中查詢了一個(gè)特定用戶的貸款金額和年收入情況，結(jié)果中分別顯示了這兩個(gè)字段的結(jié)果。

loandata.ix[1303503,['loan_amnt','annual_inc']]

多個(gè)列的查詢也可以進(jìn)行求和計(jì)算，在前面的代碼后增加sum函數(shù)，對這個(gè)用戶的貸款金額和年收入兩個(gè)字段求和，并顯示出結(jié)果。

loandata.ix[1303503,['loan_amnt','annual_inc']].sum()

提取特定日期的信息

數(shù)據(jù)提取中還有一種很常見的需求就是按日期維度對數(shù)據(jù)進(jìn)行匯總和提取，如按月，季度的匯總數(shù)據(jù)提取和按特定時(shí)間段的數(shù)據(jù)提取等等。

設(shè)置索引字段

首先將索引字段改為數(shù)據(jù)表中的日期字段，這里將issue_d設(shè)置為數(shù)據(jù)表的索引字段。按日期進(jìn)行查詢和數(shù)據(jù)提取。

loandata = loandata.set_index('issue_d')

按日期提取信息

下面的代碼查詢了所有2016年的數(shù)據(jù)。

loandata['2016']

在前面代碼的基礎(chǔ)上增加月份，查詢所有2016年3月的數(shù)據(jù)。

loandata['2016-03']

繼續(xù)在前面代碼的基礎(chǔ)上增加日期，查詢所有2016年6月16日的數(shù)據(jù)。

loandata['2016-06-16']

除了按單獨(dú)日期查詢以外，還可以按日期段進(jìn)行數(shù)據(jù)查詢，下面的代碼中查詢了所有2016年1月至5月的數(shù)據(jù)。下面顯示了具體的查詢結(jié)果，可以發(fā)現(xiàn)數(shù)據(jù)的日期都是在1-5月的，但是按日期維度顯示的，這就需要我們對數(shù)據(jù)按月進(jìn)行匯總。

loandata['2016-01':'2016-05']

按日期匯總信息

Pandas中的resample函數(shù)可以完成日期的聚合工作，包括按小時(shí)維度，日期維度，月維度，季度及年的維度等等。下面我們分別說明。首先是按周的維度對前面數(shù)據(jù)表的數(shù)據(jù)進(jìn)行求和。下面的代碼中W表示聚合方式是按周，how表示數(shù)據(jù)的計(jì)算方式，默認(rèn)是計(jì)算平均值，這里設(shè)置為sum，進(jìn)行求和計(jì)算。

loandata.resample('W',how=sum).head(10)

將W改為M，數(shù)據(jù)變成了按月聚合的方式。計(jì)算方式依然是求和。這里需要說明的是resample函數(shù)會顯示出所有連續(xù)的時(shí)間段，例如前面按周的聚合操作會顯示連續(xù)的周日期，這里的按月操作則會在結(jié)果中顯示連續(xù)的月，如果某個(gè)時(shí)間段沒有數(shù)據(jù)，會以NaN值顯示。

loandata.resample('M',how=sum)

將前面代碼中的M改為Q，則為按季度對數(shù)據(jù)進(jìn)行聚合，計(jì)算方式依然為求和。從下面的數(shù)據(jù)表中看，日期顯示的都是每個(gè)季度的最后一天，如果希望以每個(gè)季度的第一天顯示，可以改為QS。

loandata.resample('Q',how=sum)

將前面代碼中的Q改為A，就是按年對數(shù)據(jù)進(jìn)行聚合，計(jì)算方式依然為求和。

loandata.resample('A',how=sum)

前面的方法都是對整個(gè)數(shù)據(jù)表進(jìn)行聚合和求和操作，如果只需要對某一個(gè)字段的值進(jìn)行聚合和求和，可以在數(shù)據(jù)表后增加列的名稱。下面是將貸款金額字段按月聚合后求和，并用0填充空值。

loandata['loan_amnt'].resample('M',how=sum).fillna(0)

在前面代碼的基礎(chǔ)上再增加一個(gè)數(shù)值字段，并且在后面的計(jì)算方式中增加len用來計(jì)數(shù)。在下面的結(jié)果中分別對貸款金額和利息收入按月聚合，并進(jìn)行求和和計(jì)數(shù)計(jì)算

loandata[['loan_amnt','total_rec_int']].resample('M',how=[len,sum])

有時(shí)我們需要只對某一時(shí)間段的數(shù)據(jù)進(jìn)行聚合和計(jì)算，下面的代碼中對2016年1月至5月的數(shù)據(jù)按月進(jìn)行了聚合，并計(jì)算求和。用0填充空值。

loandata['2016-01':'2016-05'].resample('M',how=sum).fillna(0)

或者只對某些符合條件的數(shù)據(jù)進(jìn)行聚合和計(jì)算。下面的代碼中對于貸款金額大于5000的按月進(jìn)行聚合，并計(jì)算求和?？罩狄?進(jìn)行填充。

loandata[loandata['loan_amnt']>5000].resample('M',how=sum).fillna(0)

除了按周，月，季度和年以外，resample函數(shù)還可以按以下方式對日期進(jìn)行聚合。

下面給出了具體的對應(yīng)表和說明。

總結(jié)

以上就是利用python按特定的維度或條件對數(shù)據(jù)進(jìn)行提取的全部內(nèi)容，希望本文的內(nèi)容對大家學(xué)習(xí)使用Python能有所幫助。

最新評論