python使用箱型圖剔除異常值的實現方法

更新時間：2023年05月09日 16:25:13 作者：bug嘛我經常寫

python中的箱線圖可用于分析數據中的異常值,下面這篇文章主要給大家介紹了關于python使用箱型圖剔除異常值的相關資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下

箱型圖

將一組數據從大到小排列，分別計算出，

上四分位數??3： 75%分位點所對應的值
中位數??2： 50%分位點對應的值
下四分位數??1： 25%分位點所對應的值
上邊緣（須）： Q3+1.5(Q3-Q1)
下邊緣（須）： Q1-1.5(Q3-Q1)

數據??的合理范圍為：

??1 − 1.5(??3 − ??1) ≤ ?? ≤ ??3 + 1.5(??3 − ??1)

和使用3σ準則剔除異常值相比，箱線圖不需要數據服從正態(tài)分布，能真實直觀的表現數據形狀；箱線圖以四分位數和四分位距作為判斷異常值的標準，四分位數具有一定的耐抗性，多達 25%的數據可以變得任意遠而不會很大地擾動四分位數，使得異常值無法對數據形狀造成巨大影響，因此箱形圖識別異常值的結果比較客觀。

pandas.DataFrame.quantile

對于dataframe形式的數據，可以直接調用DataFrame.quantile()，以快速計算箱型圖的分位點。

DataFrame.quantile(q=0.5, axis=0, numeric_only=True, interpolation='linear')

參數：

q：float or array-like, default 0.5 (50% quantile)，0 ≤ q ≤ 1之間的值，即要計算的分位數；
axis：{0, 1, ‘index’, ‘columns’}, default 0，對于行，等于0或“索引”，對于列，等于1或“列”；
numeric_only：bool, default True，如果為False，則還將計算日期時間和時間增量數據的分位數；
interpolation：{‘linear’, ‘lower’, ‘higher’, ‘midpoint’, ‘nearest’}，當所需分位數位于兩個數據點i和j之間時，此可選參數指定要使用的插值方法。

返回：（Series or DataFrame）

如果q是數組，則將返回DataFrame，其中index為q，列為self的列，值為分位數。
如果q為float，則index是self的列，值為分位數

示例：

import pandas as pd
import numpy as np
 
# 生成數據
d = pd.DataFrame({"SO2":[-1000, 5, 5, 10, 9, 12, 11, 100],
                     "NO2":[12, 52, 14, 10, 10, 23, 15, 9],
                     "CO2":[15, 23, 0, 24, 25, 7, 4, 715],
                     "O3":[17, 23, 33, 10000, 11, 47, 5, 22] })

q 為 float：

q 為數組：

代碼實現

# 箱型圖判斷異常點
def box_outlier(data):
    df = data.copy(deep=True)
    out_index = []
    for col in df.columns:             # 對每一列分別用箱型圖進行判斷
        Q1 = df[col].quantile(q=0.25)       # 下四分位
        Q3 = df[col].quantile(q=0.75)       # 上四分位
        low_whisker = Q1 - 1.5 * (Q3 - Q1)  # 下邊緣
        up_whisker = Q3 + 1.5 * (Q3 - Q1)   # 上邊緣
        # 尋找異常點,獲得異常點索引值，刪除索引值所在行數據
        rule = (df[col] > up_whisker) | (df[col] < low_whisker)  
        out = df[col].index[rule]
        out_index += out.tolist()  
    df.drop(out_index, inplace=True)
    return df

使用前文創(chuàng)建的數據