import pandas as pd
dataset= pd.read_csv("red_wine_repetition.csv")
print("是否存在重復(fù)值：",any(dataset.duplicated()))     #輸出：True
dataset.drop_duplicates(inplace=True)
dataset.to_csv('red_wine_repetition2.csv',index=False)   #保存移除重復(fù)值后的數(shù)據(jù)集

from numpy import NaN
from pandas import Series
data=Series([5, None, 15, NaN, 25])
print(data.isnull())    #輸出每個元素的檢測結(jié)果
print('是否存在缺失值：',any(data.isnull()))  #輸出 :True

import pandas as pd
dataset= pd.read_csv("red_wine_deficiency.csv")
data1=dataset.dropna()  #刪除所有的缺失值
data2=dataset.dropna(axis=1, thresh=9)  #刪除有效屬性小于9的列
data3=dataset.drop("free sulfur dioxide", axis=1)   #刪除free sulfur dioxide的數(shù)據(jù)
print(data1,'\n---------------\n',data2,'\n---------------\n',data3)

import pandas as pd
dataset= pd.read_csv("red_wine_deficiency.csv")
data1=dataset.fillna(0)    #用0填補所有的缺失值
data2=dataset.fillna(method='ffill')      #用前一行的值填補缺失值
data3=dataset.fillna(method='bfill')      #用后一行的值填補缺失值，最后一行缺失不處理
data4=dataset.fillna(value={'pH':dataset.pH.mode()[0],           #使用眾數(shù)填補
                            'density':dataset.density.mean(),    #使用均值填補
                            'alcohol':dataset.alcohol.median()}) #使用中位數(shù)填補
print(data1,'\n-----\n',data2,'\n-----\n',data3,'\n-----\n',data4)

import pandas as pd
dataset= pd.read_csv("red_wine_deficiency.csv")
data=dataset.fillna(value={'pH':dataset.pH.mode()[0],           #使用眾數(shù)填補
                            'density':dataset.density.interpolate(method='polynomial',order=2),
                            #使用二項式插值填補
                            'alcohol':dataset.alcohol.interpolate()})  #使用線性插值填補
print(data)

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
dataset= pd.read_csv("red_wine_abnormal.csv")
dataset=dataset['fixed acidity']
mu=dataset.mean()      #計算平均值
δ=dataset.std()      #計算標準差
print('標準差法異常值上限檢測:',any(dataset > mu+2*δ))    #輸出：True
print('標準差法異常值下限檢測:',any(dataset < mu-2*δ))    #輸出：True
Q1=dataset.quantile(0.25)    #計算下四分位數(shù)
Q3=dataset.quantile(0.75)    #計算上四分位數(shù)
IQR=Q3-Q1
print('箱線圖法異常值上限檢測：',any(dataset > Q3+1.5*IQR))  #輸出：True
print('箱線圖法異常值下限檢測：',any(dataset < Q1-1.5*IQR))  #輸出：True
plt.style.use('ggplot')
dataset.plot(kind='hist',bins=30,density=True)  
dataset.plot(kind='kde')
plt.show()
#替換異常值
UB=Q3+1.5*IQR
st=dataset[dataset < UB].max()    #找出低于判斷上限的最大值
dataset.loc[dataset >UB] = st
plt.style.use('ggplot')
dataset.plot(kind='hist',bins=30,density=True)  
dataset.plot(kind='kde')
plt.show()