python數(shù)據(jù)預(yù)處理之?dāng)?shù)據(jù)標(biāo)準(zhǔn)化的幾種處理方式
何為標(biāo)準(zhǔn)化:
在數(shù)據(jù)分析之前,我們通常需要先將數(shù)據(jù)標(biāo)準(zhǔn)化(normalization),利用標(biāo)準(zhǔn)化后的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析。數(shù)據(jù)標(biāo)準(zhǔn)化也就是統(tǒng)計(jì)數(shù)據(jù)的指數(shù)化。數(shù)據(jù)標(biāo)準(zhǔn)化處理主要包括數(shù)據(jù)同趨化處理和無量綱化處理兩個(gè)方面。數(shù)據(jù)同趨化處理主要解決不同性質(zhì)數(shù)據(jù)問題,對(duì)不同性質(zhì)指標(biāo)直接加總不能正確反映不同作用力的綜合結(jié)果,須先考慮改變逆指標(biāo)數(shù)據(jù)性質(zhì),使所有指標(biāo)對(duì)測(cè)評(píng)方案的作用力同趨化,再加總才能得出正確結(jié)果。數(shù)據(jù)無量綱化處理主要解決數(shù)據(jù)的可比性。
幾種標(biāo)準(zhǔn)化方法:
歸一化Max-Min
min-max標(biāo)準(zhǔn)化方法是對(duì)原始數(shù)據(jù)進(jìn)行線性變換。設(shè)minA和maxA分別為屬性A的最小值和最大值,將A的一個(gè)原始值x通過min-max標(biāo)準(zhǔn)化映射成在區(qū)間[0,1]中的值x',其公式為:
新數(shù)據(jù)=(原數(shù)據(jù)-最小值)/(最大值-最小值)
這種方法能使數(shù)據(jù)歸一化到一個(gè)區(qū)域內(nèi),同時(shí)不改變?cè)瓉淼臄?shù)據(jù)結(jié)構(gòu)。
實(shí)現(xiàn)中心化Z-Score
這種方法基于原始數(shù)據(jù)的均值(mean)和標(biāo)準(zhǔn)差(standard deviation)進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化。將A的原始值x使用z-score標(biāo)準(zhǔn)化到x'。
z-score標(biāo)準(zhǔn)化方法適用于屬性A的最大值和最小值未知的情況,或有超出取值范圍的離群數(shù)據(jù)的情況。
新數(shù)據(jù)=(原數(shù)據(jù)-均值)/標(biāo)準(zhǔn)差
這種方法適合大多數(shù)類型數(shù)據(jù),也是很多工具的默認(rèn)標(biāo)準(zhǔn)化方法。標(biāo)準(zhǔn)化之后的數(shù)據(jù)是以0為均值,方差為以的正太分布。但是Z-Score方法是一種中心化方法,會(huì)改變?cè)袛?shù)據(jù)的分布結(jié)構(gòu),不適合用于對(duì)稀疏數(shù)據(jù)做處理。
很多時(shí)候數(shù)據(jù)集會(huì)存在稀疏特征,表現(xiàn)為標(biāo)準(zhǔn)差小,很多元素值為0,最常見的稀疏數(shù)據(jù)集是用來做協(xié)同過濾的數(shù)據(jù)集,絕大部分?jǐn)?shù)據(jù)都是0。對(duì)稀疏數(shù)據(jù)做標(biāo)準(zhǔn)化,不能采用中心化的方式,否則會(huì)破壞稀疏數(shù)據(jù)的結(jié)構(gòu)。
用于稀疏數(shù)據(jù)的MaxAbs
最大值絕對(duì)值標(biāo)準(zhǔn)化(MaxAbs)即根據(jù)最大值的絕對(duì)值進(jìn)行標(biāo)準(zhǔn)化,假設(shè)原轉(zhuǎn)換的數(shù)據(jù)為x,新數(shù)據(jù)為x',那么x'=x/|max|,其中max為x鎖在列的最大值。
該方法的數(shù)據(jù)區(qū)間為[-1, 1],也不破壞原數(shù)據(jù)結(jié)構(gòu)的特點(diǎn),因此也可以用于稀疏數(shù)據(jù),一些稀疏矩陣。
針對(duì)離群點(diǎn)的RobustScaler
有些時(shí)候,數(shù)據(jù)集中存在離群點(diǎn),用Z-Score進(jìn)行標(biāo)準(zhǔn)化,但是結(jié)果不理想,因?yàn)殡x群點(diǎn)在標(biāo)準(zhǔn)化后喪失了利群特性。RobustScaler針對(duì)離群點(diǎn)做標(biāo)準(zhǔn)化處理,該方法對(duì)數(shù)據(jù)中心化的數(shù)據(jù)的縮放健壯性有更強(qiáng)的參數(shù)控制能力。
python實(shí)現(xiàn)
import numpy as np import pandas as pd from sklearn import preprocessing import matplotlib.pyplot as plt from sklearn.datasets import make_moons import matplotlib.pyplot as plt %matplotlib inline # 導(dǎo)入數(shù)據(jù) data = make_moons(n_samples=200, noise=10)[0] #Z-Score標(biāo)準(zhǔn)化 #建立StandardScaler對(duì)象 zscore = preprocessing.StandardScaler() # 標(biāo)準(zhǔn)化處理 data_zs = zscore.fit_transform(data) #Max-Min標(biāo)準(zhǔn)化 #建立MinMaxScaler對(duì)象 minmax = preprocessing.MinMaxScaler() # 標(biāo)準(zhǔn)化處理 data_minmax = minmax.fit_transform(data) #MaxAbs標(biāo)準(zhǔn)化 #建立MinMaxScaler對(duì)象 maxabs = preprocessing.MaxAbsScaler() # 標(biāo)準(zhǔn)化處理 data_maxabs = maxabs.fit_transform(data) #RobustScaler標(biāo)準(zhǔn)化 #建立RobustScaler對(duì)象 robust = preprocessing.RobustScaler() # 標(biāo)準(zhǔn)化處理 data_rob = robust.fit_transform(data) # 可視化數(shù)據(jù)展示 # 建立數(shù)據(jù)集列表 data_list = [data, data_zs, data_minmax, data_maxabs, data_rob] # 創(chuàng)建顏色列表 color_list = ['blue', 'red', 'green', 'black', 'pink'] # 創(chuàng)建標(biāo)題樣式 title_list = ['source data', 'zscore', 'minmax', 'maxabs', 'robust'] # 設(shè)置畫幅 plt.figure(figsize=(9, 6)) # 循環(huán)數(shù)據(jù)集和索引 for i, dt in enumerate(data_list): # 子網(wǎng)格 plt.subplot(2, 3, i+1) # 數(shù)據(jù)畫散點(diǎn)圖 plt.scatter(dt[:, 0], dt[:, 1], c=color_list[i]) # 設(shè)置標(biāo)題 plt.title(title_list[i]) # 圖片儲(chǔ)存 plt.savefig('xx.png') # 圖片展示 plt.show()
參考:
《python數(shù)據(jù)分析與數(shù)據(jù)化運(yùn)營(yíng)》 宋天龍
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
python 虛擬環(huán)境的創(chuàng)建與使用方法
本文先介紹虛擬環(huán)境的基礎(chǔ)知識(shí)以及使用方法,然后再深入介紹虛擬環(huán)境背后的工作原理,需要的朋友可以參考下2021-06-06利用OpenCV+Tensorflow實(shí)現(xiàn)的手勢(shì)識(shí)別
這幾天沒事,想著再學(xué)點(diǎn)一些視覺識(shí)別方向的東西,因?yàn)橹白隽蓑?yàn)證碼識(shí)別,有了機(jī)器學(xué)習(xí)的信心,因此這次打算做個(gè)手勢(shì)識(shí)別,下面這篇文章主要給大家介紹了關(guān)于利用OpenCV+Tensorflow實(shí)現(xiàn)的手勢(shì)識(shí)別的相關(guān)資料,需要的朋友可以參考下2022-11-11tensorflow學(xué)習(xí)教程之文本分類詳析
初學(xué)tensorflow,借鑒了很多別人的經(jīng)驗(yàn),參考博客對(duì)評(píng)論分類(感謝博主的一系列好文),本人也嘗試著實(shí)現(xiàn)了對(duì)文本數(shù)據(jù)的分類,下面這篇文章主要給大家介紹了關(guān)于tensorflow學(xué)習(xí)教程之文本分類的相關(guān)資料,需要的朋友可以參考下2018-08-08PyTorch之nn.ReLU與F.ReLU的區(qū)別介紹
這篇文章主要介紹了PyTorch之nn.ReLU與F.ReLU的區(qū)別介紹,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-06-06PyTorch中g(shù)rid_sample的使用及說明
這篇文章主要介紹了PyTorch中g(shù)rid_sample的使用及說明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-02-02對(duì)python numpy.array插入一行或一列的方法詳解
今天小編就為大家分享一篇對(duì)python numpy.array插入一行或一列的方法詳解,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-01-01