欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python中應(yīng)用Winsorize縮尾處理的操作經(jīng)驗(yàn)

 更新時(shí)間：2022年07月01日 09:39:53   作者：啥都不懂的鱷魚(yú)  
縮尾處理相當(dāng)于對(duì)數(shù)據(jù)進(jìn)行掐頭(尾)去尾,然后再按照一定的方法填補(bǔ)被掐掉的數(shù)據(jù),下面這篇文章主要給給大家介紹了關(guān)于Python中應(yīng)用Winsorize縮尾處理的相關(guān)資料,需要的朋友可以參考下

最近搞數(shù)據(jù)時(shí)發(fā)現(xiàn)，縮尾時(shí)本來(lái)是空值或者無(wú)效值的地方被填補(bǔ)了數(shù)據(jù)。傳統(tǒng)的研究會(huì)將空值剔除后再進(jìn)行縮尾，但一些不需要剔除空值的數(shù)據(jù)集需要剔除極端值，因而不能省略縮尾。結(jié)合自己的操作經(jīng)驗(yàn)做些記錄：

以保存在Excel中的數(shù)據(jù)為例：

from scipy.stats.mstats import winsorize
import pandas as pd
df = pd.read_excel('Excel.xlsx', engine='openpyxl', header=0)
df_list=["a","b","c"]#需要進(jìn)行縮尾的列名

1：直接應(yīng)用Winsorize，不考慮空值和無(wú)效值，縮尾結(jié)果可能導(dǎo)致部分空值被填充數(shù)據(jù)

for i in df_list():
    df[i]=winsorize(df[i],limits=[0.01, 0.01])#對(duì)指定列中的連續(xù)數(shù)據(jù)進(jìn)行1%和99%的縮尾（Winsorize）處理

2.1：屏蔽空值和無(wú)效值，僅對(duì)其他值進(jìn)行Winsorize處理，縮尾結(jié)果不改變?cè)瓉?lái)的空值和無(wú)效值

for i in df_list():
    df[i]=np.where(df[i].isnull(), np.nan, winsorize(np.ma.masked_invalid(df[i]),limits=(0.01,0.01)))
#np.where(condition, x, y),滿(mǎn)足condition是x，否則y
#此處判斷是否空值，是的話為空，否的話進(jìn)行屏蔽空值和無(wú)效值的1%和99%縮尾處理

2.2：winsorize提供的參數(shù)，但這個(gè)方法我沒(méi)有成功…僅供參考

for i in df_list():
    df[i]=winsorize(df[i],limits=[0.01, 0.01], nan_policy='omit')

winsorize官方文檔

3：屏蔽空值和無(wú)效值，對(duì)所有值進(jìn)行Winsorize處理，縮尾結(jié)果不改變?cè)瓉?lái)的空值和無(wú)效值，與方法2的區(qū)別在于方法3沒(méi)有改變需要縮尾的數(shù)據(jù)長(zhǎng)度

for i in df_list():
    mask = df[i].notna()
    df.loc[mask,i] = winsorize(df[i].loc[mask],limits=[0.01, 0.01]) 
    #這個(gè)mask就是一個(gè)bool index,指示哪些位置上是nan
    #比如一列數(shù)據(jù)是[1, NaN, 2],如果用df['A'].isnan()得到的就是一個(gè)[False, True, False]的數(shù)組 
    #這個(gè)數(shù)組就是所謂的mask，它可以把dataframe中的特定數(shù)據(jù)挑出來(lái)

我碰到后續(xù)描述性統(tǒng)計(jì)有負(fù)無(wú)窮值的問(wèn)題，因而將其替換為空值

#如果需要將無(wú)窮值換為空值
df=df.replace(-np.Inf,np.NaN)

（在此鳴謝不厭其煩給我提供參考的張老師、李老師、孫老師?。?/p>

參考文章：

1.Winsorize的正確方法但在Python中忽略nan

2.有關(guān)numpy.ma.masked_invalid的用法

3.Python數(shù)據(jù)分析 - 縮尾處理

總結(jié)

到此這篇關(guān)于Python中應(yīng)用Winsorize縮尾處理的文章就介紹到這了,更多相關(guān)Python應(yīng)用Winsorize縮尾內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

相關(guān)文章

最新評(píng)論