快捷導(dǎo)航

Python3?DataFrame缺失值的處理方法

更新時(shí)間：2022年05月12日 14:13:22 作者：古月財(cái)經(jīng)之月光寶盒

這篇文章主要介紹了Python3?DataFrame缺失值的處理,包括缺失值的判斷缺失值數(shù)據(jù)的過濾及缺失值數(shù)據(jù)的填充，本文通過示例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下

一、缺失值的判斷

在通過Pandas做數(shù)據(jù)分析時(shí)，數(shù)據(jù)中往往會(huì)因?yàn)橐恍┰蚨霈F(xiàn)缺失值NaN (Nota number)o比如前文中的例子，當(dāng)兩個(gè)DataFrame對象進(jìn)行簡單運(yùn)算時(shí)，無法匹配的位置會(huì)出現(xiàn)缺失值NaN或者None.

isnull ( )和notnull ( )方法都可以用于判斷數(shù)據(jù)是否為缺失值( NaN或者None).如果是缺失值，則isnull()返回值為True, notnull()返回值為False.

df2
Out[170]: 
      A     B     C   D
a   2.0   4.0   6.0 NaN
b   6.0   8.0  10.0 NaN
c  10.0  12.0  14.0 NaN
 
df2.isnull()
Out[171]: 
       A      B      C     D
a  False  False  False  True
b  False  False  False  True
c  False  False  False  True
 
df2.notnull()
Out[172]: 
      A     B     C      D
a  True  True  True  False
b  True  True  True  False
c  True  True  True  False

二、缺失值數(shù)據(jù)的過濾

有時(shí)遇到包含缺失值的數(shù)據(jù)處理起來比較簡單，只需要保留有數(shù)值的數(shù)據(jù)即可:

df2
Out[182]: 
      A     B     C    D
a   2.0   4.0   6.0  NaN
b   6.0   8.0  10.0  NaN
c  10.0  12.0  14.0  1.0
 
#把D列中的缺失值過濾掉
df2.D[df2.D.notnull()]
Out[183]: 
c    1.0
Name: D, dtype: float64

三、缺失值數(shù)據(jù)的填充

有時(shí)處理數(shù)據(jù)時(shí)我們會(huì)想將缺失值用實(shí)際的值做替代，Pandas包里也有函數(shù)可以調(diào) 用：DataFrame.fillna(value=None, method = None, axis = None, inplace=False, limit=None)

參數(shù)value是在缺失值處填充的值，可以是數(shù)值數(shù)字，也可以是字符串；method 是填充的方式，默認(rèn)為None,也可以取值為ffin、pad、bfill或backfill,其中ffill/pad是用行或列方向上的上一個(gè)觀測值來填充缺失值，bfill/backfin是用行或列方向上的下一個(gè)觀測值來填充；axis與method配合使用，指定行(axis=l)或列(axis=0)的方向；limit=None 時(shí)，會(huì)填充連續(xù)的缺失值，如果指定數(shù)值的話，比如limit=2,只會(huì)依次填充連續(xù)NaN值的指定數(shù)字個(gè)數(shù)(比如2個(gè))；若inplace=False則不會(huì)變更原DataFrame,若inplace=True, 則會(huì)改變原DataFrame。

import pandas as pd
import numpy as np
h2h2df=pd.DataFrame(np.arange(1,21).reshape(5,4),index=list('abcde'),columns=list("ABCD"))
h2df.loc['c','A']=np.nan
h2df.loc['b':'d','C']=np.nan
h2df
Out[192]: 
      A   B     C   D
a   1.0   2   3.0   4
b   5.0   6   NaN   8
c   NaN  10   NaN  12
d  13.0  14   NaN  16
e  17.0  18  19.0  20
h2df.fillna(0)
Out[193]: 
      A   B     C   D
a   1.0   2   3.0   4
b   5.0   6   0.0   8
c   0.0  10   0.0  12
d  13.0  14   0.0  16
e  17.0  18  19.0  20
h2df.fillna(method='ffill')
Out[194]: 
      A   B     C   D
a   1.0   2   3.0   4
b   5.0   6   3.0   8
c   5.0  10   3.0  12
d  13.0  14   3.0  16
e  17.0  18  19.0  20
h2df.fillna(method='pad')
Out[197]: 
      A   B     C   D
a   1.0   2   3.0   4
b   5.0   6   3.0   8
c   5.0  10   3.0  12
d  13.0  14   3.0  16
e  17.0  18  19.0  20
h2df.fillna(method='backfill',axis=1)
Out[196]: 
      A     B     C     D
a   1.0   2.0   3.0   4.0
b   5.0   6.0   8.0   8.0
c  10.0  10.0  12.0  12.0
d  13.0  14.0  16.0  16.0
e  17.0  18.0  19.0  20.0
h2df.fillna(method='ffill',limit=2)
Out[198]: 
      A   B     C   D
a   1.0   2   3.0   4
b   5.0   6   3.0   8
c   5.0  10   3.0  12
d  13.0  14   NaN  16
e  17.0  18  19.0  20

四、缺失值的刪除

Pandas提供對包含缺失值的數(shù)據(jù)集進(jìn)行行列的刪除操作：

DataFrame.dropna（axis=0, how=‘any’, thresh=None）

axis = 0指刪除包含缺失值的行，axis = 1指刪除包含缺失值的列，默認(rèn)為0； how=any表示只要有一個(gè)缺失值就刪除該行（列），how = all表示只有當(dāng)所有的元素都為缺失值時(shí)才刪除該行（列），how默認(rèn)取值為any；thresh默認(rèn)為None。當(dāng)thresh=5時(shí)表示只有當(dāng)某行（列）缺失值的數(shù)量大于或者等于5時(shí)刪除該行（列）。

df
Out[199]: 
      A   B     C   D
a   1.0   2   3.0   4
b   5.0   6   NaN   8
c   NaN  10   NaN  12
d  13.0  14   NaN  16
e  17.0  18  19.0  20
 
df.dropna(axis=0)
Out[200]: 
      A   B     C   D
a   1.0   2   3.0   4
e  17.0  18  19.0  20
 
df.dropna(axis=1)
Out[201]: 
    B   D
a   2   4
b   6   8
c  10  12
d  14  16
e  18  20

到此這篇關(guān)于Python3 DataFrame缺失值的處理的文章就介紹到這了,更多相關(guān)Python3 DataFrame缺失值內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: