如何將numpy二維數(shù)組中的np.nan值替換為指定的值
基礎知識:
(1)np.nan表示該值不是一個數(shù),比如數(shù)據(jù)中收入、年齡的缺失值;np.inf表示無窮大
(2)np.nan == np.nan 的結果為False
(3)nan與任何數(shù)的操作結果均為nan,例如sum((np.nan,4)) 的結果為nan
(4)一個ndarray數(shù)組t1,可以用np.isnan(t1) 定位到nan值的位置,再用t1[np.isnan(t1)] = 指定值 將nan替換為指定值
(5)np.nan_to_num(t1),可以將t1中的nan替換為0
(6)t1[ t1 == t1]可以剔除所有nan只保留非nan值
現(xiàn)在生成一個3*4的數(shù)組,設定第1行,第2、3列位置兩個元素為np.nan
import numpy as np t1 = np.arange(12).reshape(3,4).astype('float') t1[1,2:] = np.nan print(t1)
[[ 0. 1. 2. 3.]
[ 4. 5. nan nan]
[ 8. 9. 10. 11.]]
1. 問題1:
如何將t1中的nan替換為0
#方法1: for i in range(t1.shape[1]): col = t1[:,i] col[np.isnan(col)] = 0 #方法2:調(diào)用np.nan_to_num方法 t1 = np.nan_to_num(t1) #方法3:或用np.isnan(t1)做索引,然后替換,建議用該方法 t1[np.isnan(t1)] = 0
方法3不但可以替換為0,替換為其它值也可,建議使用。
2. 問題2:
如何將t1中的nan替換為某些計算之后的值,例如將其替換為該列所有非 nan元素的均值
將原始數(shù)據(jù)中缺失的值替換為0有時未必是合適的。例如原始數(shù)據(jù)中某些人的年齡沒有填,如果替換為0,將來在計算年齡平均值或做數(shù)據(jù)分析時就存在不合理的后果。此時,將年齡缺失的的人的年齡設為均值更為合理。
(1)方法1
#方法1: for i in range(t1.shape[1]): col = t1[:,i] #當前列中如果存在nan,由于np.nan不等于np.nan,所以如果某列中存在nan,則col!=col將會有元素為True,np.count_nonzero方法將會累計值為True的元素數(shù)量,可以通過這種方法來判斷該列是否存在nan nan_num = np.count_nonzero(col != col) if nan_num: not_nan_col = col[col == col] #用布爾矩陣col == col做索引來篩選矩陣,布爾矩陣中False位置的元素將被剔除。 col[np.isnan(col)] = not_nan_col.mean() print(t1)
運行結果:
[[ 0. 1. 2. 3.]
[ 4. 5. 6. 7.]
[ 8. 9. 10. 11.]]
(2)方法2
#方法2:np.nanmean方法可以計算非nan值的均值,此外還有np.nanmax, np.nanmin方法。所以上述程序可以改寫如下: mean = np.nanmean(t1,axis=0) print('各列的均值為:%s' %mean) for i in range(t1.shape[1]): col = t1[:,i] col[np.isnan(col)] = mean[i] print(t1)
運行結果同上
(3)方法3
使用功能強大的pandas庫
#也可以用pandas來處理,更為簡單便捷 import pandas as pd df = pd.DataFrame(t1) t1 = df.fillna(df.mean()).values #values代替as_matrix(),可以將DataFrame轉換為ndarray print(t1)
運行結果同上。
補充:python 快速替換Numpy 中的Nan(空值)和inf (無限值)
在做數(shù)據(jù)處理的時候由于要保證數(shù)據(jù)的個數(shù)不變,需要把數(shù)據(jù)中的空值和無窮值替換為指定的值(此處為255),考慮到數(shù)據(jù)量比較大(50000000條數(shù)據(jù)),效率也是一個考慮因素。
下面主要給出了替換數(shù)據(jù)的核心代碼
# +--+--+--+--+--+--+--+--+--+--+ print('Predict New Data......') start = datetime.datetime.now() dataPre = input_Data # 此處輸入需要處理的原始數(shù)據(jù) # 0: 00:23.012951 標記了這個方法的時間(以50000000條數(shù)據(jù)為例) dataPre0 = np.array(dataPre) dataPre0[np.isnan(dataPre0)] = 255 dataPre0[np.isinf(dataPre0)] = 255 # 0:02:03.038840 dataPre1 = (dataPre) dataPre1 = dataPre1.replace([np.inf, -np.inf], np.nan) dataPre1 = dataPre1.fillna(value = 255) # 0:02:03.140287 dataPre2 = (dataPre) dataPre2 = (dataPre2.replace([np.inf, -np.inf], np.nan)).fillna(value = 255) # shi yong te ding shuju tian chong # 0:00:30.346661 dataPre3 = np.array(dataPre) dataPre3[(dataPre3 == float('inf')) | (dataPre3 == float('-inf')) | (dataPre3 == float('nan'))] = 255 # 0:00:19.702519 dataPre4 = np.array(dataPre) dataPre4[np.isinf(dataPre4)] = np.nan # 將數(shù)組里面的無窮值轉為空值 dataPre4[np.isnan(dataPre4)] = 255 # # 將nan值替換為255 # 0:01:10.404677 dataPre5 = np.array(dataPre) dataPre5 = np.where(np.isnan(dataPre5), 255, dataPre5) dataPre5 = np.where(np.isinf(dataPre5), 255, dataPre5)
可以看出幾種方法的效率差別還是比較大的,尤其是使用了replace或者np.where函數(shù)的方法,比較慢。
以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關文章
提高python代碼可讀性利器pycodestyle使用詳解
鑒于 Python 在數(shù)據(jù)科學中的流行,我將深入研究 pycodestyle 的使用方法,以提高 Python 代碼的質(zhì)量和可讀性。如果你想提升代碼質(zhì)量,歡迎收藏學習,有所收獲,點贊支持2021-11-11對Python subprocess.Popen子進程管道阻塞詳解
今天小編就為大家分享一篇對Python subprocess.Popen子進程管道阻塞詳解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10Python必備技巧之Pandas數(shù)據(jù)合并函數(shù)
Pandas中一共有五個數(shù)據(jù)合并函數(shù),分別為:concat、append、merge、join、combine,本文詳細講解這五個函數(shù)的使用方法,需要的可以參考一下2022-03-03Windows下pycharm安裝第三方庫失敗(通用解決方案)
這篇文章主要介紹了Windows下pycharm安裝第三方庫失敗(通用解決方案),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2020-09-09Django 連接sql server數(shù)據(jù)庫的方法
這篇文章主要介紹了Django 連接sql server數(shù)據(jù)庫的方法,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2018-06-06