數(shù)據(jù)的預(yù)處理是數(shù)據(jù)分析，或者機(jī)器學(xué)習(xí)訓(xùn)練前的重要步驟。

通過數(shù)據(jù)預(yù)處理，可以

• 提高數(shù)據(jù)質(zhì)量，處理數(shù)據(jù)的缺失值、異常值和重復(fù)值等問題，增加數(shù)據(jù)的準(zhǔn)確性和可靠性
• 整合不同數(shù)據(jù)，數(shù)據(jù)的來源和結(jié)構(gòu)可能多種多樣，分析和訓(xùn)練前要整合成一個(gè)數(shù)據(jù)集
• 提高數(shù)據(jù)性能，對(duì)數(shù)據(jù)的值進(jìn)行變換，規(guī)約等（比如無量綱化），讓算法更加高效

本篇介紹的數(shù)據(jù)縮放處理，主要目的是消除數(shù)據(jù)的不同特征之間的量綱差異，使得每個(gè)特征的數(shù)值范圍相同。這樣可以避免某些特征對(duì)模型的影響過大，從而提高模型的性能。

1. 原理

數(shù)據(jù)縮放有多種方式，其中有一種按照最小值-最大值縮放的算法是最常用的。
其主要步驟如下：

• 計(jì)算數(shù)據(jù)列的最小值（min）和最大值（max）
• 對(duì)數(shù)據(jù)列中的每個(gè)值進(jìn)行最小-最大縮放，即將其轉(zhuǎn)換為 **[0,1]區(qū)間 **之內(nèi)的一個(gè)值

縮放公式為：new_data=(data−min?)/(max−min)

實(shí)現(xiàn)縮放的代碼如下：

# 數(shù)據(jù)縮放的實(shí)現(xiàn)原理
data = np.array([10, 20, 30, 40, 50])
min = np.min(data)
max = np.max(data)
data_new = (data - min) / (max-min)
print("處理前: {}".format(data))
print("處理后: {}".format(data_new))
# 運(yùn)行結(jié)果
處理前: [10 20 30 40 50]
處理后: [0.   0.25 0.5  0.75 1.  ]

數(shù)值被縮放到 **[0,1]區(qū)間 **之內(nèi)。

這個(gè)示例只是為了演示縮放的過程，實(shí)際場景中最好使用scikit-learn庫中的函數(shù)。

scikit-learn中的minmax_scale函數(shù)是封裝好的數(shù)據(jù)縮放函數(shù)。

from sklearn import preprocessing as pp
data = np.array([10, 20, 30, 40, 50])
pp.minmax_scale(data, feature_range=(0, 1))
# 運(yùn)行結(jié)果
array([0.  , 0.25, 0.5 , 0.75, 1.  ])

使用scikit-learn中的minmax_scale函數(shù)得到的結(jié)果是一樣的，數(shù)據(jù)也被壓縮到 **[0,1]區(qū)間 **之內(nèi)。

所以 數(shù)據(jù)縮放 的這個(gè)操作有時(shí)也被稱為歸一化。

不過，數(shù)據(jù)縮放不一定非得把數(shù)據(jù)壓縮到 **[0,1]區(qū)間 **之內(nèi)，

通過調(diào)整feature_range參數(shù)，可以把數(shù)據(jù)壓縮到任意的區(qū)間。

# 壓縮到[0, 1]
print(pp.minmax_scale(data, feature_range=(0, 1)))
# 壓縮到[-1, 1]
print(pp.minmax_scale(data, feature_range=(-1, 1)))
# 壓縮到[0, 5]
print(pp.minmax_scale(data, feature_range=(0, 5)))
# 運(yùn)行結(jié)果
[0.   0.25 0.5  0.75 1.  ]
[-1.  -0.5  0.   0.5  1. ]
[0.   1.25 2.5  3.75 5.  ]

2. 作用

數(shù)據(jù)縮放的作用主要有：

2.1. 統(tǒng)一數(shù)據(jù)尺度

通過縮放處理，將不同量綱、不同尺度、不同單位的數(shù)據(jù)轉(zhuǎn)換成一個(gè)統(tǒng)一的尺度，

避免由于數(shù)據(jù)量綱不一致而導(dǎo)致的數(shù)據(jù)分析結(jié)果失真或誤導(dǎo)。

2.2. 增強(qiáng)數(shù)據(jù)可比性

通過縮放處理，將不同量綱、不同尺度、不同單位的數(shù)據(jù)轉(zhuǎn)換成一個(gè)統(tǒng)一的尺度，使得不同數(shù)據(jù)之間的比較更加方便和有意義。

例如，在評(píng)價(jià)多個(gè)樣本的性能時(shí)，如果采用不同的量綱、不同尺度、不同單位進(jìn)行比較，會(huì)導(dǎo)致比較結(jié)果不準(zhǔn)確甚至誤導(dǎo)。

通過統(tǒng)一的縮放處理之后，可以消除這種影響，使得比較結(jié)果更加準(zhǔn)確可信。

2.3. 增強(qiáng)數(shù)據(jù)穩(wěn)定性

通過縮放處理，將數(shù)據(jù)的數(shù)值范圍調(diào)整到一個(gè)相對(duì)較小的區(qū)間內(nèi)，

增加數(shù)據(jù)的穩(wěn)定性，避免由于數(shù)據(jù)分布范圍過大或過小而導(dǎo)致的分析誤差或計(jì)算誤差。

2.4. 提高算法效率和精度

通過縮放處理，使得一些計(jì)算算法的效率和精度得到提高。

例如，在神經(jīng)網(wǎng)絡(luò)算法中，如果輸入數(shù)據(jù)的尺度過大或過小，會(huì)導(dǎo)致算法訓(xùn)練時(shí)間過長或過短，同時(shí)也會(huì)影響算法的精度和穩(wěn)定性。

而縮放處理之后，就可以使算法的訓(xùn)練時(shí)間和精度得到優(yōu)化。

3. 總結(jié)

在scikit-learn庫中，處理數(shù)據(jù)縮放不是只有上面的最小值-最大值縮放，

還可用StandardScaler進(jìn)行標(biāo)準(zhǔn)化縮放；用RobustScaler實(shí)現(xiàn)尺度縮放和平移等等。

進(jìn)行數(shù)據(jù)縮放時(shí)，需要注意一點(diǎn)，就是縮放處理對(duì)異常值非常敏感，

如果數(shù)據(jù)中存在極大或者極小的異常值時(shí)，有可能會(huì)破壞原始數(shù)據(jù)本身。

所以，縮放處理前，最好把異常值過濾掉。

到此這篇關(guān)于python sklearn數(shù)據(jù)預(yù)處理之?dāng)?shù)據(jù)縮放詳解的文章就介紹到這了,更多相關(guān)sklearn數(shù)據(jù)預(yù)處理內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論