欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

如何將numpy二維數(shù)組中的np.nan值替換為指定的值

 更新時(shí)間:2021年05月14日 10:16:17   作者:PythonStyle  
這篇文章主要介紹了將numpy二維數(shù)組中的np.nan值替換為指定的值操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教

基礎(chǔ)知識(shí):

(1)np.nan表示該值不是一個(gè)數(shù),比如數(shù)據(jù)中收入、年齡的缺失值;np.inf表示無窮大

(2)np.nan == np.nan 的結(jié)果為False

(3)nan與任何數(shù)的操作結(jié)果均為nan,例如sum((np.nan,4)) 的結(jié)果為nan

(4)一個(gè)ndarray數(shù)組t1,可以用np.isnan(t1) 定位到nan值的位置,再用t1[np.isnan(t1)] = 指定值 將nan替換為指定值

(5)np.nan_to_num(t1),可以將t1中的nan替換為0

(6)t1[ t1 == t1]可以剔除所有nan只保留非nan值

現(xiàn)在生成一個(gè)3*4的數(shù)組,設(shè)定第1行,第2、3列位置兩個(gè)元素為np.nan

import numpy as np
t1 = np.arange(12).reshape(3,4).astype('float')
t1[1,2:] = np.nan
print(t1)

[[ 0. 1. 2. 3.]

[ 4. 5. nan nan]

[ 8. 9. 10. 11.]]

1. 問題1:

如何將t1中的nan替換為0

#方法1:
for i in range(t1.shape[1]):
    col = t1[:,i]
    col[np.isnan(col)] = 0
#方法2:調(diào)用np.nan_to_num方法
t1 = np.nan_to_num(t1)
#方法3:或用np.isnan(t1)做索引,然后替換,建議用該方法
t1[np.isnan(t1)] = 0

方法3不但可以替換為0,替換為其它值也可,建議使用。

2. 問題2:

如何將t1中的nan替換為某些計(jì)算之后的值,例如將其替換為該列所有非 nan元素的均值

將原始數(shù)據(jù)中缺失的值替換為0有時(shí)未必是合適的。例如原始數(shù)據(jù)中某些人的年齡沒有填,如果替換為0,將來在計(jì)算年齡平均值或做數(shù)據(jù)分析時(shí)就存在不合理的后果。此時(shí),將年齡缺失的的人的年齡設(shè)為均值更為合理。

(1)方法1

#方法1:
for i in range(t1.shape[1]):
    col = t1[:,i]
    #當(dāng)前列中如果存在nan,由于np.nan不等于np.nan,所以如果某列中存在nan,則col!=col將會(huì)有元素為True,np.count_nonzero方法將會(huì)累計(jì)值為True的元素?cái)?shù)量,可以通過這種方法來判斷該列是否存在nan
    nan_num = np.count_nonzero(col != col)
    if nan_num:
        not_nan_col = col[col == col] #用布爾矩陣col == col做索引來篩選矩陣,布爾矩陣中False位置的元素將被剔除。
        col[np.isnan(col)] = not_nan_col.mean()
print(t1)

運(yùn)行結(jié)果:

[[ 0. 1. 2. 3.]

[ 4. 5. 6. 7.]

[ 8. 9. 10. 11.]]

(2)方法2

#方法2:np.nanmean方法可以計(jì)算非nan值的均值,此外還有np.nanmax, np.nanmin方法。所以上述程序可以改寫如下:
mean = np.nanmean(t1,axis=0)
print('各列的均值為:%s' %mean)
for i in range(t1.shape[1]):
    col = t1[:,i]
    col[np.isnan(col)] = mean[i]
print(t1)

運(yùn)行結(jié)果同上

(3)方法3

使用功能強(qiáng)大的pandas庫

#也可以用pandas來處理,更為簡單便捷
import pandas as pd
df = pd.DataFrame(t1)
t1 = df.fillna(df.mean()).values  #values代替as_matrix(),可以將DataFrame轉(zhuǎn)換為ndarray
print(t1)

運(yùn)行結(jié)果同上。

補(bǔ)充:python 快速替換Numpy 中的Nan(空值)和inf (無限值)

在做數(shù)據(jù)處理的時(shí)候由于要保證數(shù)據(jù)的個(gè)數(shù)不變,需要把數(shù)據(jù)中的空值和無窮值替換為指定的值(此處為255),考慮到數(shù)據(jù)量比較大(50000000條數(shù)據(jù)),效率也是一個(gè)考慮因素。

下面主要給出了替換數(shù)據(jù)的核心代碼

# +--+--+--+--+--+--+--+--+--+--+
print('Predict New Data......')
start = datetime.datetime.now()

dataPre = input_Data   # 此處輸入需要處理的原始數(shù)據(jù)

# 0: 00:23.012951  標(biāo)記了這個(gè)方法的時(shí)間(以50000000條數(shù)據(jù)為例)
dataPre0 = np.array(dataPre)
dataPre0[np.isnan(dataPre0)] = 255
dataPre0[np.isinf(dataPre0)] = 255

# 0:02:03.038840
dataPre1 = (dataPre)
dataPre1 = dataPre1.replace([np.inf, -np.inf], np.nan)
dataPre1 = dataPre1.fillna(value = 255)

# 0:02:03.140287
dataPre2 = (dataPre)
dataPre2 = (dataPre2.replace([np.inf, -np.inf], np.nan)).fillna(value = 255)    # shi yong te ding shuju tian chong

# 0:00:30.346661
dataPre3 = np.array(dataPre)
dataPre3[(dataPre3 == float('inf')) | (dataPre3 == float('-inf')) | (dataPre3 == float('nan'))] = 255

# 0:00:19.702519
dataPre4 = np.array(dataPre)
dataPre4[np.isinf(dataPre4)] = np.nan  # 將數(shù)組里面的無窮值轉(zhuǎn)為空值
dataPre4[np.isnan(dataPre4)] = 255  # # 將nan值替換為255

# 0:01:10.404677
dataPre5 = np.array(dataPre)
dataPre5 = np.where(np.isnan(dataPre5), 255, dataPre5)
dataPre5 = np.where(np.isinf(dataPre5), 255, dataPre5)

可以看出幾種方法的效率差別還是比較大的,尤其是使用了replace或者np.where函數(shù)的方法,比較慢。

以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • python調(diào)用tcpdump抓包過濾的方法

    python調(diào)用tcpdump抓包過濾的方法

    這篇文章主要為大家詳細(xì)介紹了python調(diào)用tcpdump抓包過濾的方法,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2018-07-07
  • python 的列表遍歷刪除實(shí)現(xiàn)代碼

    python 的列表遍歷刪除實(shí)現(xiàn)代碼

    這篇文章主要介紹了python 的列表遍歷刪除,需要的朋友可以參考下
    2015-11-11
  • Python 調(diào)用DLL操作抄表機(jī)

    Python 調(diào)用DLL操作抄表機(jī)

    Python 調(diào)用DLL的實(shí)用代碼。
    2009-01-01
  • 提高python代碼可讀性利器pycodestyle使用詳解

    提高python代碼可讀性利器pycodestyle使用詳解

    鑒于 Python 在數(shù)據(jù)科學(xué)中的流行,我將深入研究 pycodestyle 的使用方法,以提高 Python 代碼的質(zhì)量和可讀性。如果你想提升代碼質(zhì)量,歡迎收藏學(xué)習(xí),有所收獲,點(diǎn)贊支持
    2021-11-11
  • 對(duì)Python subprocess.Popen子進(jìn)程管道阻塞詳解

    對(duì)Python subprocess.Popen子進(jìn)程管道阻塞詳解

    今天小編就為大家分享一篇對(duì)Python subprocess.Popen子進(jìn)程管道阻塞詳解,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2018-10-10
  • PyTorch?Autograd的核心原理和功能深入探究

    PyTorch?Autograd的核心原理和功能深入探究

    本文深入探討了PyTorch中Autograd的核心原理和功能,從基本概念、Tensor與Autograd的交互,到計(jì)算圖的構(gòu)建和管理,再到反向傳播和梯度計(jì)算的細(xì)節(jié),最后涵蓋了Autograd的高級(jí)特性
    2024-01-01
  • Python必備技巧之Pandas數(shù)據(jù)合并函數(shù)

    Python必備技巧之Pandas數(shù)據(jù)合并函數(shù)

    Pandas中一共有五個(gè)數(shù)據(jù)合并函數(shù),分別為:concat、append、merge、join、combine,本文詳細(xì)講解這五個(gè)函數(shù)的使用方法,需要的可以參考一下
    2022-03-03
  • python中copy和deepcopy的使用區(qū)別

    python中copy和deepcopy的使用區(qū)別

    本文主要介紹了python中copy和deepcopy的使用區(qū)別,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2024-04-04
  • Windows下pycharm安裝第三方庫失敗(通用解決方案)

    Windows下pycharm安裝第三方庫失敗(通用解決方案)

    這篇文章主要介紹了Windows下pycharm安裝第三方庫失敗(通用解決方案),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-09-09
  • Django 連接sql server數(shù)據(jù)庫的方法

    Django 連接sql server數(shù)據(jù)庫的方法

    這篇文章主要介紹了Django 連接sql server數(shù)據(jù)庫的方法,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧
    2018-06-06

最新評(píng)論