Python實(shí)現(xiàn)對相同數(shù)據(jù)分箱的小技巧分享

更新時(shí)間：2022年01月20日 16:09:50 作者：小瀾ovo

這篇文章主要給大家介紹了關(guān)于Python實(shí)現(xiàn)對相同數(shù)據(jù)分箱的小技巧,文中通過實(shí)例代碼介紹的非常詳細(xì),對大家學(xué)習(xí)或者使用python具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

前言

博主最近工作中剛好用到數(shù)據(jù)分箱操作（對相同數(shù)據(jù)進(jìn)行遍歷比較，避免了全部遍歷比較，大大減少了電腦IO次數(shù)，提高程序運(yùn)行速度），翻了很多博文都沒有找到解決方法，寫一下我自己的解決思路?。?！

什么是分箱？

簡單點(diǎn)說就是將不同的東西，按照特定的條件放到一個(gè)指定容器里，比如水果把綠色的放一個(gè)籃子里，紅色一個(gè)籃子等等，這個(gè)籃子就是箱，而水果就是數(shù)據(jù) 顏色就是條件

什么樣式的數(shù)據(jù)要進(jìn)行分箱

數(shù)據(jù)主要分為連續(xù)變量和分類變量，分箱的操作主要針對于連續(xù)變量。

為什么要對數(shù)據(jù)進(jìn)行分箱操作

穩(wěn)定性，時(shí)間復(fù)雜度，看的舒服，提高準(zhǔn)確度等等

思路

先給定 last 為列表第一個(gè)（并存入temp列表）,將后面的數(shù)據(jù)從第二個(gè)開始與 last 比較，如果相同存入 temp 中。

當(dāng)不相同時(shí)，則將 last 切換為不同的那個(gè)數(shù)（并存入temp），并將 temp列表放入一個(gè)空列表中。

類型一：數(shù)字

實(shí)現(xiàn)效果

[1,1,1,2,2,2,3,3,4,4,5,5,5,5,5]

# 轉(zhuǎn)變?yōu)?
[[1, 1, 1], [2, 2, 2], [3, 3], [4, 4], [5, 5, 5, 5, 5]]

代碼實(shí)現(xiàn)

box = [1,1,1,2,2,2,3,3,4,4,5,5,5,5,5]

last = box[0]
temp = [box[0]]
box_list = [temp]

for a in box[1::]:
    if a == last:
        temp.append(a)
    else:
        last = a
        temp = [a]
        box_list.append(temp)

print(box_list) # [[1, 1, 1], [2, 2, 2], [3, 3], [4, 4], [5, 5, 5, 5, 5]]

# 實(shí)現(xiàn)按每一個(gè)分箱列表遍歷數(shù)據(jù)（而不用全部遍歷）
for boxs in box_list:
    for i in boxs:
        print(i)

類型二：元組

實(shí)現(xiàn)效果

box = [('小黑','20','四川'),('小黑','21','北京'),('張三','18','上海'),('張三','22','上海'),('張三','30','北京'),('李四','10','廣州')]

# 實(shí)現(xiàn)把名字相同的元組放入一個(gè)列表
[[('小黑', '20', '四川'), ('小黑', '21', '北京')], [('張三', '18', '上海'), ('張三', '22', '上海'), ('張三', '30', '北京')], [('李四', '10', '廣州')]]

代碼實(shí)現(xiàn)

box = [('小黑','20','四川'),('小黑','21','北京'),('張三','18','上海'),('張三','22','上海'),('張三','30','北京'),('李四','10','廣州')]


last = box[0][0]
temp = [box[0]]
box_list = [temp]

for a in box[1::]:
    if a[0] == last:
        temp.append(a)
    else:
        last = a[0]
        temp = [a]
        box_list.append(temp)
       
print(box_list)    

# 實(shí)現(xiàn)按每一個(gè)分箱列表遍歷數(shù)據(jù)（而不用全部遍歷）
for boxs in box_list:
    for i in boxs:
        print(i[0]) # 0取的姓名，1取年齡，3取地址

附：利用Python的cut方法可以對數(shù)據(jù)進(jìn)行分箱。

import pandas as pd 
import numpy as np 
from pandas import Series,DataFrame

# 隨機(jī)生成一組數(shù)據(jù)
score_list = np.random.randint(25,100,size = 20)  # 隨機(jī)生成最小值25，最大值100的20個(gè)數(shù)據(jù)

# 分箱的區(qū)間
bins = [0,59,70,80,100]

# 分箱
score_cat = pd.cut(score_list,bins)

# 統(tǒng)計(jì)不同區(qū)間的個(gè)數(shù)
pd.value_counts(score_cat)


# 生成一個(gè)空的DataFrame
df = DataFrame()
df['Score'] = score_list
df['Name'] =  [pd.util.testing.rands(5) for i in range(20)] # 生成20個(gè)姓名
df['Categories'] =pd.cut(df['Score'],bins,labels = ['不及格','一般','優(yōu)秀','厲害']) 
# labels對應(yīng)的是bins的