pandas 空數(shù)據(jù)處理方法詳解
這篇文章主要介紹了pandas 空數(shù)據(jù)處理方法詳解,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
方法一:直接刪除
1.查看行或列是否有空格(以下的df為DataFrame類型,axis=0,代表列,axis=1代表行,以下的返回值都是行或列索引加上布爾值)
isnull方法
查看行:df.isnull().any(axis=1)
查看列:df.isnull().any(axis=0)
notnull方法:
查看行:df.notnull().all(axis=1)
查看列:df.notnull().all(axis=0)
例子:
df.isnull().any(axis=1) # 檢測(cè)行內(nèi)是否有空值 0 False 1 True 2 False 3 True 4 False 5 True 6 False 7 True 8 False 9 False dtype: bool
注意點(diǎn):以上方法都可以用~取反的辦法獲取相反的結(jié)果
2.在1的前提下使用df.loc[],可取出1中篩選出數(shù)據(jù)的具體數(shù)據(jù)如:
df.loc[df.isnull().any(axis=1)]
取出這幾行的索引可用屬性index如:df.loc[df.isnull().any(axis=1)].index
得到這些索引后可以使用drop方法進(jìn)行刪除如:
注意:drop方法中的axis值與其他方法相反,axis=0表示行,=1表示列。
df.drop(labels=drop_index, axis=0)
總結(jié)下來為4步:
一.使用isnull或notnull篩選:df.isnull().any(axis=0)
二.使用loc取出具體數(shù)據(jù):df.loc[df.isnull().any(axis=1)]
三:取出這些數(shù)據(jù)的索引:df.loc[df.isnull().any(axis=1)].index
四.使用drop刪除:df.drop(labels=drop_index, axis=0)
方法二:填充空值
步驟和方法一前幾步相同
isnull()
notnull()
dropna(): 過濾丟失數(shù)據(jù)(df.dropna() 可以選擇過濾的是行還是列(默認(rèn)為行):axis中0表示行,1表示的列)
fillna(): 填充丟失數(shù)據(jù)(可以選擇自主添加數(shù)據(jù),或者用表中原有的數(shù)據(jù)進(jìn)行補(bǔ)充)
1.使用dropna(不常用):df.dropna(axis=0)
2.使用fillna(常用):
一.df.fillna(value=666)給所有的控制賦值為666
二.df.fillna(method='ffill', axis=0) # axis=0表示在垂直方向填充(axis值:0為垂直,1為水平),使用上方的值對(duì)空值進(jìn)行填充,組合起來就是,使用垂直方向上方的值對(duì)當(dāng)前位置的值進(jìn)行填充
三.df.fillna(method='bfill', axis=1) # axis=1表示在水平方向填充(axis值為0垂直1為水平),bfill表示使用后面的值對(duì)空值進(jìn)行填充,組合起來就是,使用水平方向右邊的值對(duì)當(dāng)前位置的值進(jìn)行填充
總結(jié):ffill(前)和bfill(后)決定前或后,axis決定垂直或水平
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Python實(shí)現(xiàn)EXCEL表格的排序功能示例
這篇文章主要介紹了Python實(shí)現(xiàn)EXCEL表格的排序功能示例,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06Python標(biāo)準(zhǔn)庫(kù)之time庫(kù)的使用教程詳解
這篇文章主要介紹了Python的time庫(kù)的使用教程,文中有非常詳細(xì)的代碼示例,對(duì)正在學(xué)習(xí)python基礎(chǔ)的小伙伴們有非常好的幫助,需要的朋友可以參考下2022-04-04基于Python實(shí)現(xiàn)n-gram文本生成的示例代碼
N-gram是自然語言處理中常用的技術(shù),它可以用于文本生成、語言模型訓(xùn)練等任務(wù),本文主要介紹了如何在Python中實(shí)現(xiàn)n-gram文本生成,需要的可以參考下2024-01-01PyTorch如何創(chuàng)建自己的數(shù)據(jù)集
這篇文章主要介紹了PyTorch如何創(chuàng)建自己的數(shù)據(jù)集,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-11-11Python進(jìn)階之高級(jí)用法詳細(xì)總結(jié)
今天帶各位小伙伴學(xué)習(xí)一下Python高級(jí)語法,主要有Lambda表達(dá)式,map函數(shù),filter函數(shù),reduce函數(shù),三大推導(dǎo)式等,文中有非常詳細(xì)的介紹,需要的朋友可以參考下2021-05-05pytest-sugar?執(zhí)行過程中顯示進(jìn)度條的腳本分享
Pytest-sugar是一款用來改善控制臺(tái)顯示的插件,增加了進(jìn)度條顯示,使得在用例執(zhí)行過程中可以看到進(jìn)度條,而且進(jìn)度條是根據(jù)用例是否通過標(biāo)注不同顏色,非常醒目,接下來通過本文給大家分享下pytest?sugar?顯示進(jìn)度條的腳本,感興趣的朋友一起看看吧2022-12-12