欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python數(shù)據(jù)預(yù)處理之數(shù)據(jù)標準化的幾種處理方式

 更新時間:2019年07月17日 11:20:28   作者:泛泛之素  
這篇文章主要介紹了python數(shù)據(jù)預(yù)處理之數(shù)據(jù)標準化的幾種處理方式,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧

何為標準化:

在數(shù)據(jù)分析之前,我們通常需要先將數(shù)據(jù)標準化(normalization),利用標準化后的數(shù)據(jù)進行數(shù)據(jù)分析。數(shù)據(jù)標準化也就是統(tǒng)計數(shù)據(jù)的指數(shù)化。數(shù)據(jù)標準化處理主要包括數(shù)據(jù)同趨化處理和無量綱化處理兩個方面。數(shù)據(jù)同趨化處理主要解決不同性質(zhì)數(shù)據(jù)問題,對不同性質(zhì)指標直接加總不能正確反映不同作用力的綜合結(jié)果,須先考慮改變逆指標數(shù)據(jù)性質(zhì),使所有指標對測評方案的作用力同趨化,再加總才能得出正確結(jié)果。數(shù)據(jù)無量綱化處理主要解決數(shù)據(jù)的可比性。

幾種標準化方法:

歸一化Max-Min

min-max標準化方法是對原始數(shù)據(jù)進行線性變換。設(shè)minA和maxA分別為屬性A的最小值和最大值,將A的一個原始值x通過min-max標準化映射成在區(qū)間[0,1]中的值x',其公式為:

新數(shù)據(jù)=(原數(shù)據(jù)-最小值)/(最大值-最小值)

這種方法能使數(shù)據(jù)歸一化到一個區(qū)域內(nèi),同時不改變原來的數(shù)據(jù)結(jié)構(gòu)。

實現(xiàn)中心化Z-Score

這種方法基于原始數(shù)據(jù)的均值(mean)和標準差(standard deviation)進行數(shù)據(jù)的標準化。將A的原始值x使用z-score標準化到x'。

z-score標準化方法適用于屬性A的最大值和最小值未知的情況,或有超出取值范圍的離群數(shù)據(jù)的情況。

新數(shù)據(jù)=(原數(shù)據(jù)-均值)/標準差

這種方法適合大多數(shù)類型數(shù)據(jù),也是很多工具的默認標準化方法。標準化之后的數(shù)據(jù)是以0為均值,方差為以的正太分布。但是Z-Score方法是一種中心化方法,會改變原有數(shù)據(jù)的分布結(jié)構(gòu),不適合用于對稀疏數(shù)據(jù)做處理。

很多時候數(shù)據(jù)集會存在稀疏特征,表現(xiàn)為標準差小,很多元素值為0,最常見的稀疏數(shù)據(jù)集是用來做協(xié)同過濾的數(shù)據(jù)集,絕大部分數(shù)據(jù)都是0。對稀疏數(shù)據(jù)做標準化,不能采用中心化的方式,否則會破壞稀疏數(shù)據(jù)的結(jié)構(gòu)。

用于稀疏數(shù)據(jù)的MaxAbs

最大值絕對值標準化(MaxAbs)即根據(jù)最大值的絕對值進行標準化,假設(shè)原轉(zhuǎn)換的數(shù)據(jù)為x,新數(shù)據(jù)為x',那么x'=x/|max|,其中max為x鎖在列的最大值。

該方法的數(shù)據(jù)區(qū)間為[-1, 1],也不破壞原數(shù)據(jù)結(jié)構(gòu)的特點,因此也可以用于稀疏數(shù)據(jù),一些稀疏矩陣。

針對離群點的RobustScaler

有些時候,數(shù)據(jù)集中存在離群點,用Z-Score進行標準化,但是結(jié)果不理想,因為離群點在標準化后喪失了利群特性。RobustScaler針對離群點做標準化處理,該方法對數(shù)據(jù)中心化的數(shù)據(jù)的縮放健壯性有更強的參數(shù)控制能力。

python實現(xiàn)

import numpy as np
import pandas as pd
from sklearn import preprocessing
import matplotlib.pyplot as plt
from sklearn.datasets import make_moons
import matplotlib.pyplot as plt
%matplotlib inline

# 導(dǎo)入數(shù)據(jù)
data = make_moons(n_samples=200, noise=10)[0]

#Z-Score標準化
#建立StandardScaler對象
zscore = preprocessing.StandardScaler()
# 標準化處理
data_zs = zscore.fit_transform(data)

#Max-Min標準化
#建立MinMaxScaler對象
minmax = preprocessing.MinMaxScaler()
# 標準化處理
data_minmax = minmax.fit_transform(data)

#MaxAbs標準化
#建立MinMaxScaler對象
maxabs = preprocessing.MaxAbsScaler()
# 標準化處理
data_maxabs = maxabs.fit_transform(data)

#RobustScaler標準化
#建立RobustScaler對象
robust = preprocessing.RobustScaler()
# 標準化處理
data_rob = robust.fit_transform(data)

# 可視化數(shù)據(jù)展示
# 建立數(shù)據(jù)集列表
data_list = [data, data_zs, data_minmax, data_maxabs, data_rob]
# 創(chuàng)建顏色列表
color_list = ['blue', 'red', 'green', 'black', 'pink']
# 創(chuàng)建標題樣式
title_list = ['source data', 'zscore', 'minmax', 'maxabs', 'robust']

# 設(shè)置畫幅
plt.figure(figsize=(9, 6))
# 循環(huán)數(shù)據(jù)集和索引
for i, dt in enumerate(data_list):
  # 子網(wǎng)格
  plt.subplot(2, 3, i+1)
  # 數(shù)據(jù)畫散點圖
  plt.scatter(dt[:, 0], dt[:, 1], c=color_list[i])
  # 設(shè)置標題
  plt.title(title_list[i])
# 圖片儲存 
plt.savefig('xx.png')
# 圖片展示
plt.show()

參考:
python數(shù)據(jù)分析與數(shù)據(jù)化運營》 宋天龍

以上就是本文的全部內(nèi)容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • python爬蟲神器Pyppeteer入門及使用

    python爬蟲神器Pyppeteer入門及使用

    這篇文章主要介紹了python爬蟲神器Pyppeteer入門及使用,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2019-07-07
  • python 虛擬環(huán)境的創(chuàng)建與使用方法

    python 虛擬環(huán)境的創(chuàng)建與使用方法

    本文先介紹虛擬環(huán)境的基礎(chǔ)知識以及使用方法,然后再深入介紹虛擬環(huán)境背后的工作原理,需要的朋友可以參考下
    2021-06-06
  • 利用OpenCV+Tensorflow實現(xiàn)的手勢識別

    利用OpenCV+Tensorflow實現(xiàn)的手勢識別

    這幾天沒事,想著再學點一些視覺識別方向的東西,因為之前做了驗證碼識別,有了機器學習的信心,因此這次打算做個手勢識別,下面這篇文章主要給大家介紹了關(guān)于利用OpenCV+Tensorflow實現(xiàn)的手勢識別的相關(guān)資料,需要的朋友可以參考下
    2022-11-11
  • tensorflow學習教程之文本分類詳析

    tensorflow學習教程之文本分類詳析

    初學tensorflow,借鑒了很多別人的經(jīng)驗,參考博客對評論分類(感謝博主的一系列好文),本人也嘗試著實現(xiàn)了對文本數(shù)據(jù)的分類,下面這篇文章主要給大家介紹了關(guān)于tensorflow學習教程之文本分類的相關(guān)資料,需要的朋友可以參考下
    2018-08-08
  • PyTorch之nn.ReLU與F.ReLU的區(qū)別介紹

    PyTorch之nn.ReLU與F.ReLU的區(qū)別介紹

    這篇文章主要介紹了PyTorch之nn.ReLU與F.ReLU的區(qū)別介紹,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-06-06
  • python中pyplot直方圖的繪制方式

    python中pyplot直方圖的繪制方式

    這篇文章主要介紹了python中pyplot直方圖的繪制方式,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2022-11-11
  • PyTorch中g(shù)rid_sample的使用及說明

    PyTorch中g(shù)rid_sample的使用及說明

    這篇文章主要介紹了PyTorch中g(shù)rid_sample的使用及說明,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2023-02-02
  • python協(xié)程用法實例分析

    python協(xié)程用法實例分析

    這篇文章主要介紹了python協(xié)程用法,實例分析Python中協(xié)議的概念、功能及使用方法,需要的朋友可以參考下
    2015-06-06
  • 對python numpy.array插入一行或一列的方法詳解

    對python numpy.array插入一行或一列的方法詳解

    今天小編就為大家分享一篇對python numpy.array插入一行或一列的方法詳解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-01-01
  • Python常用庫推薦

    Python常用庫推薦

    本文給大家推薦的是在Python學習使用中經(jīng)常需要用到的第三方庫和工具,非常的實用,有需要的小伙伴可以參考下
    2016-12-12

最新評論