欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python數(shù)據(jù)分析實戰(zhàn)指南之異常值處理

 更新時間：2022年01月24日 11:16:11   作者：sharon@zhang  
數(shù)據(jù)預處理是明確分析目標與思路之后進行數(shù)據(jù)分析的第一步,也是整個項目中最基礎、花費時間較長的工作,下面這篇文章主要給大家介紹了關于python數(shù)據(jù)分析實戰(zhàn)指南之異常值處理的相關資料,需要的朋友可以參考下

異常值

異常值是指樣本中的個別值，其數(shù)值明顯偏離其余的觀測值。異常值也稱離群點，異常值的分析也稱為離群點的分析。

常用的異常值分析方法為3σ原則、箱型圖分析、機器學習算法檢測，一般情況下對異常值的處理都是刪除和修正填補，即默認為異常值對整個項目的作用不大，只有當我們的目的是要求準確找出離群點，并對離群點進行分析時有必要用到機器學習算法，其他情況下不用費精力去分析他們

1、異常值定義

在統(tǒng)計學中，離群點是并不屬于特定族群的數(shù)據(jù)點，是與其它值相距甚遠的異常觀測。離群點是一種與其它結構良好的數(shù)據(jù)不同的觀測值。

例如，你可以很清楚地看到這個列表中的離群點：[20,24,22,19,29,18,4300,30,18]

當觀測值是一堆數(shù)字且都是一維時，辨別離群點很容易，但如果有數(shù)以千計的觀測值或數(shù)據(jù)是多維的，你可能會需要更機智的方法來檢測這些離群點。

2、異常值處理方式

2.1 均方差

3σ原則
如果數(shù)據(jù)服從正態(tài)分布，在3σ原則下，異常值被定義為一組測定值中與平均值的偏差超過三倍標準差的值。
在正態(tài)分布下，距離平均值3σ之外的值出現(xiàn)的概率為 P(|x-μ|>3σ)<=0.003，屬于極個別的小概率事件。
如果數(shù)據(jù)不服從正態(tài)分布，也可以用遠離平均值的多少倍標準差來描述

這個原則有個前提條件：數(shù)據(jù)需要服從正態(tài)分布

在3∂原則下，如果觀測值與平均值的差值超過3倍標準差，那么可以將其視為異常值。
正負3∂的概率是99.7%，那么距離平均值3∂之外的值出現(xiàn)的概率為P(|x-u| > 3∂) <= 0.003，屬于極個別的小概率事件。

import numpy as np
import pandas as pd

def detect_outliers(data,threshold=3):
    mean_d = np.mean(data)
    std_d = np.std(data)
    outliers = []
    
    for y in data_d:
        z_score= (y - mean_d)/std_d 
        if np.abs(z_score) > threshold:
            outliers.append(y)
    return outliers

2.2 箱形圖

四分位間距 (IQR) 的概念被用于構建箱形圖。IQR 是統(tǒng)計學中的一個概念，通過將數(shù)據(jù)集分成四分位來衡量統(tǒng)計分散度和數(shù)據(jù)可變性。

簡單來說，任何數(shù)據(jù)集或任意一組觀測值都可以根據(jù)數(shù)據(jù)的值以及它們與整個數(shù)據(jù)集的比較情況被劃分為四個確定的間隔。四分位數(shù)會將數(shù)據(jù)分為三個點和四個區(qū)間。

四分位間距對定義離群點非常重要。它是第三個四分位數(shù)和第一個四分位數(shù)的差 (IQR = Q3 -Q1)。在這種情況下，離群點被定義為低于箱形圖下觸須（或 Q1 − 1.5x IQR）或高于箱形圖上觸須（或 Q3 + 1.5x IQR）的觀測值。

IQR是統(tǒng)計分散程度的一個度量，分散程度通過需要借助箱線圖來觀察，通常把小于 Q1 - 1.5 * IQR 或者大于 Q3 + 1.5 * IQR的數(shù)據(jù)點視作離群點，探測離群點的公式是：

outliers =  value < ( Q1 - 1.5 * IQR )  or value > ( Q3 + 1.5 * IQR )

這種探測離群點的方法，是箱線圖默認的方法，箱線圖提供了識別異常值/離群點的一個標準：

異常值通常被定義為小于 QL - l.5 IQR 或者 大于 Qu + 1.5 IQR的值，QL稱為下四分位數(shù)， Qu稱為上四分位數(shù)，IQR稱為四分位數(shù)間距，是Qu上四分位數(shù)和QL下四分位數(shù)之差，其間包括了全部觀察值的一半。

def detect_outliers(sr):
    q1 = sr.quantile(0.25)
    q3 = sr.quantile(0.75)
    iqr = q3-q1 #Interquartile range
    fence_low  = q1-1.5*iqr
    fence_high = q3+1.5*iqr
    outliers = sr.loc[(sr < fence_low) | (sr > fence_high)]
    return outliers

3、實戰(zhàn)

上面數(shù)據(jù)基礎知識的介紹了，下面我們進入今天的正題，也就是利用python與pandas進行數(shù)據(jù)分析，今天的主要目標就是找到數(shù)據(jù)中的異常值。（我們使用的是前面介紹的第一種方法）

3.1 加載數(shù)據(jù)

首先，我們需要加載進行分析的數(shù)據(jù)，同樣使用beer的數(shù)據(jù)，不過這里的數(shù)據(jù)是經(jīng)過處理的，可以看到abv屬性列的值中大部分都是0.0*，基本都不超過1，但是也有數(shù)據(jù)是55，也就是說這些數(shù)據(jù)是遠大于其他數(shù)據(jù)的，我們主要是對這部分數(shù)據(jù)進行處理。

class Repair_Dirty(object):
    __init_data = 0

    def __init__(self, filename):
        self.filename = filename

    def get_data(self):
        if self.filename == " ":
            # print("您輸入的文件路徑為空")
            return
        else:
            self.__init_data = pd.read_csv(self.filename)

        return self.__init_data

#主函數(shù)定義一個對象，并實現(xiàn)對方法的調用
if __name__ == "__main__":
    file_path = 'dirty_beer_last.csv'
    data_cla = Repair_Dirty(file_path)
    data = data_cla.get_data()#得到數(shù)據(jù)

形如下面的數(shù)據(jù)圖，紅色框內數(shù)據(jù)為55的，就是我們所說的異常值，我們的目標就是通過第一種方法，將此類數(shù)據(jù)找出來。

3.2 檢測異常值數(shù)據(jù)

使用第一種檢測方式來檢測異常值，我們主要是定義一個函數(shù)find_outlier()，并且函數(shù)是在類的內部實現(xiàn)的。

    # 找到異常值,abv列
    def find_outlier(self, attribute):
        data_att = self.__init_data[attribute]
        # 找到異常值
        outlier = data_att[np.abs(data_att - data_att.mean()) > 3 * data_att.std()]
        print(data.loc[data[attribute] == 55])#對abv屬性的異常值進行輸出
        #print(np.where(self.__init_data[attribute] == 55))  # 返回指定位置的索引
        return outlier

下面的圖片中可以看到整個數(shù)據(jù)表中有108行數(shù)據(jù)中abv值為55的，所以很明顯，我們基本上已經(jīng)達到了想要的目標，找到了數(shù)據(jù)中的異常值，根據(jù)索引或者id我們便可以將其進行值替換操作，對異常值進行修復。

3.3 顯示異常值的索引位置

既然已經(jīng)找到了異常值，那我們再對其進行索引顯示就比較簡單了，也就是一行代碼的事，其實在上面代碼中也可以看到，只不過上面這行代碼被我們給注釋掉了，下面將其單獨拿出來顯示。

print(np.where(self.__init_data[attribute] == 55))  # 返回指定位置的索引

這行代碼就是對異常值索引進行顯示了。

至此，我們今天的數(shù)據(jù)分析異常值處理的博文就寫到這里了，小張同學仍在馬不停蹄的進行學習，希望這篇文章能夠幫助正在學習數(shù)據(jù)分析的小伙伴?。。?br />奧利給

最后，將源代碼附上，有需要的小伙伴可以自取。

import pandas as pd
import numpy as np
import re

class Repair_Dirty(object):
    __init_data = 0

    def __init__(self, filename):
        self.filename = filename

    def get_data(self):
        if self.filename == " ":
            # print("您輸入的文件路徑為空")
            return
        else:
            self.__init_data = pd.read_csv(self.filename)

        return self.__init_data
        
	# 找到異常值,abv列
    def find_outlier(self, attribute):
        data_att = self.__init_data[attribute]
        # 找到異常值
        outlier = data_att[np.abs(data_att - data_att.mean()) > 3 * data_att.std()]
        print(data.loc[data[attribute] == 55])#對abv屬性的異常值進行輸出
        print(np.where(self.__init_data[attribute] == 55))  # 返回指定位置的索引
        return outlier
        
if __name__ == "__main__":
    file_path = 'dirty_beer_last.csv'
    data_cla = Repair_Dirty(file_path)
    data = data_cla.get_data()
    print((data))
    if data is None:
        print("路徑為空，程序退出?。。?)
    else:
        data = data_cla.fill_na()
        outlier = data_cla.find_outlier()
        print(outlier)

總結

到此這篇關于python數(shù)據(jù)分析實戰(zhàn)指南之異常值處理的文章就介紹到這了,更多相關python異常值處理內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

相關文章

最新評論