快捷導(dǎo)航

使用python 計(jì)算百分位數(shù)實(shí)現(xiàn)數(shù)據(jù)分箱代碼

更新時(shí)間：2020年03月03日 10:41:34 作者：淺笑古今

這篇文章主要介紹了使用python 計(jì)算百分位數(shù)實(shí)現(xiàn)數(shù)據(jù)分箱代碼，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

對(duì)于百分位數(shù)，相信大家都比較熟悉，以下解釋源引自百度百科。

百分位數(shù)，如果將一組數(shù)據(jù)從小到大排序，并計(jì)算相應(yīng)的累計(jì)百分位，則某一百分位所對(duì)應(yīng)數(shù)據(jù)的值就稱為這一百分位的百分位數(shù)?？杀硎緸椋阂唤Mn個(gè)觀測(cè)值按數(shù)值大小排列。如，處于p%位置的值稱第p百分位數(shù)。

因?yàn)榘俜治粩?shù)是采用等分的方式劃分?jǐn)?shù)據(jù)，因此也可用此方法進(jìn)行等頻分箱。

import pandas as pd
import numpy as np
import random
t=pd.DataFrame(columns=['l','s'])
#隨機(jī)生成1000個(gè)0到999整數(shù)
t['l']=[random.randint(0,999) for _range in range(1000)]
#定義s為1，便于統(tǒng)計(jì)
t['s']=1
#通過(guò)np.percentile找到分位點(diǎn)
l_bin=[]
for i in range(0,101,10):
 l_bin.append(np.percentile(t['l'],i))
#分位點(diǎn)最后一個(gè)數(shù)加上一個(gè)極小的數(shù)，否則切分后數(shù)字999會(huì)標(biāo)記為nan
l_bin[-1]+=1/1e10
print('分位點(diǎn):',np.array(l_bin).round(2))
#對(duì)隨機(jī)數(shù)進(jìn)行切分，right=False時(shí)左閉右開(kāi)
t['box']=pd.cut(t['l'],l_bin,right=False)
tj=t.groupby('box')['s'].agg('sum')
print('分箱統(tǒng)計(jì)')
print(tj)
#生成新的標(biāo)簽
label=[]
for i in range(len(l_bin)-1):
 label.append(str(l_bin[i].round(4))+'+')
#原標(biāo)簽和自定義的新標(biāo)簽生成字典 
list_box_td=list(set(t['box']))
list_box_td.sort()
dict_t=dict(zip(list_box_td,label))
#根據(jù)字典進(jìn)行替換
t['new_box']=t['box'].replace(dict_t)
print('新分箱統(tǒng)計(jì)')
tj=t.groupby('new_box')['s'].agg('sum')
print(tj)
del t['s']
print(t.head())

輸出結(jié)果：

分位點(diǎn): [ 0. 90.9 194.6 290. 386. 473.5 589. 688. 783.2 884.2
 997. ]
分箱統(tǒng)計(jì)
box
[0.0, 90.9)  100
[90.9, 194.6)  100
[194.6, 290.0)  99
[290.0, 386.0)  99
[386.0, 473.5) 102
[473.5, 589.0)  99
[589.0, 688.0) 100
[688.0, 783.2) 101
[783.2, 884.2) 100
[884.2, 997.0) 100
Name: s, dtype: int64
新分箱統(tǒng)計(jì)
new_box
0.0+  100
194.6+  99
290.0+  99
386.0+ 102
473.5+  99
589.0+ 100
688.0+ 101
783.2+ 100
884.2+ 100
90.9+  100
Name: s, dtype: int64
  l    box new_box
0 253 [194.6, 290.0) 194.6+
1 468 [386.0, 473.5) 386.0+
2 130 [90.9, 194.6) 90.9+
3 476 [473.5, 589.0) 473.5+
4 656 [589.0, 688.0) 589.0+

可以看出每個(gè)分箱內(nèi)，約有100個(gè)數(shù)字。根據(jù)這個(gè)方法，可以自定義一些標(biāo)簽。

補(bǔ)充拓展：python 計(jì)算動(dòng)態(tài)時(shí)點(diǎn)的百分位數(shù)

【說(shuō)明】

1、動(dòng)態(tài)時(shí)點(diǎn)：每次計(jì)算的數(shù)據(jù)框?yàn)榻刂褂诋?dāng)前行的數(shù)據(jù)，即累計(jì)行（多次計(jì)算）；

2、靜態(tài)時(shí)點(diǎn)（當(dāng)前時(shí)間）：計(jì)算的數(shù)據(jù)框?yàn)樗行校ㄒ淮斡?jì)算）；

【代碼】

test = pd.DataFrame(np.random.randint(1, 10, size=10), columns=['value']) # 生成[1,10]的隨機(jī)整數(shù)
test['pct_sf'] = test.index.map(lambda x: test.ix[:x].value.rank(pct=True)[x]) # 動(dòng)態(tài)時(shí)點(diǎn)
test['pct'] = test.value.rank(pct=True) # 當(dāng)前時(shí)點(diǎn)
test