Pandas數(shù)據(jù)清洗的實(shí)現(xiàn)
在處理數(shù)據(jù)的時(shí)候,需要對(duì)數(shù)據(jù)進(jìn)行一個(gè)清洗過程。清洗操作包括:空白行的刪除、數(shù)據(jù)完整性檢驗(yàn)、數(shù)據(jù)填充、插值等內(nèi)容。
下面是數(shù)據(jù)清洗過程中使用的具體方法
刪除缺失值
DataFrame.dropna
方法用于刪除含有缺失值的行或列,關(guān)鍵參數(shù):axis
和how
。
axis表示軸向,0 為行,1 為列,默認(rèn) 0。
how表示刪除形式,how = 'any'
表示只要有缺失值就刪除;how='all'
表示全為缺失值才刪除。
檢測(cè)缺失值
DataFrame.isnull()
識(shí)別缺失值,返回包含True
和False
的 DataFrame。DataFrame.notnull()
方法識(shí)別非缺失值,返回包含True
和False
的 DataFrame。
上述兩方法結(jié)合sum
函數(shù)可用于檢測(cè)數(shù)據(jù)序列中缺失值的分布情況。
填充缺失值
DataFrame.fillna
方法能用指定值替換缺失值。關(guān)鍵參數(shù):value
、method
和axis
。
value表示指定的填充值。
methodmethod = 'bfill'
后向填充,用后面的非缺失值填充;method = 'ffill'
前向填充,用前面的非缺失值填充。
axis表示操作軸向,默認(rèn)1(列)。
拉格朗日插值
from scipy.interpolate import lagrange formula = lagrange(x,y)#formula是通過lagrange方法生成的公式,x和y為數(shù)據(jù)序列 ins_y = formula(ins_x)#ins_x為缺失值所在位置,ins_y為插值結(jié)果。
線性插值
from scipy.interpolate import interp1d#1是數(shù)字一 formula = interp1d(x,y,kind = 'linear')#formula是通過linear方法生成的公式,x和y為數(shù)據(jù)序列 ins_y = formula(ins_x)#ins_x為缺失值所在位置,ins_y為插值結(jié)果。
到此這篇關(guān)于Pandas數(shù)據(jù)清洗的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)Pandas數(shù)據(jù)清洗內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- Pandas 數(shù)據(jù)處理,數(shù)據(jù)清洗詳解
- 利用pandas進(jìn)行數(shù)據(jù)清洗的方法
- pandas數(shù)據(jù)清洗實(shí)現(xiàn)刪除的項(xiàng)目實(shí)踐
- Pandas數(shù)據(jù)清洗函數(shù)總結(jié)
- Python數(shù)據(jù)清洗之利用pandas篩選數(shù)據(jù)詳解
- 利用pandas進(jìn)行數(shù)據(jù)清洗的7種方式
- 基于pandas數(shù)據(jù)清洗的實(shí)現(xiàn)示例
- Pandas數(shù)據(jù)清洗與過濾空值技巧
- Pandas數(shù)據(jù)清洗的維度詳解
- Pandas 數(shù)據(jù)清洗的具體使用
相關(guān)文章
Python實(shí)現(xiàn)將內(nèi)容寫入文件的五種方法總結(jié)
本篇帶你詳細(xì)看一下python將內(nèi)容寫入文件的方法以及細(xì)節(jié),主要包括write()方法、writelines()?方法、print()?函數(shù)、使用?csv?模塊、使用?json?模塊,需要的可以參考一下2023-04-04Python常用數(shù)據(jù)類型之間的轉(zhuǎn)換總結(jié)
在本篇文章里小編給大家整理的是關(guān)于Python中常用數(shù)據(jù)類型之間的轉(zhuǎn)換相關(guān)知識(shí)點(diǎn),有需要的朋友們可以學(xué)習(xí)下2019-09-09django 自定義過濾器(filter)處理較為復(fù)雜的變量方法
今天小編就為大家分享一篇django 自定義過濾器(filter)處理較為復(fù)雜的變量方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-08-08Pycharm中flask開啟debug模式的詳細(xì)流程
PyCharm是一個(gè)強(qiáng)大的集成開發(fā)環(huán)境(IDE),非常適合Python開發(fā)者,包括Flask框架,當(dāng)你在使用Flask開發(fā)Web應(yīng)用時(shí),Debug功能是非常重要的,它允許你在運(yùn)行時(shí)檢查程序的狀態(tài)、調(diào)試代碼錯(cuò)誤,本文將介紹Pycharm中flask開啟debug模式的詳細(xì)流程,需要的朋友可以參考下2024-08-08Python日期與時(shí)間模塊(datetime+time+Calendar+dateuil?)相關(guān)使用講解
這篇文章主要介紹了Python日期與時(shí)間模塊(datetime+time+Calendar+dateuil?)相關(guān)使用講解,文章圍繞主題展開詳細(xì)的內(nèi)容戒殺,具有一定的參考價(jià)值,需要的朋友可以參考一下2022-09-09python字符串string的內(nèi)置方法實(shí)例詳解
這篇文章主要介紹了python字符串string的內(nèi)置方法,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友參考下吧2018-05-05Python已解決NameError: name ‘xxx‘ is not&nb
本文主要介紹了Python已解決NameError: name ‘xxx‘ is not defined,解決報(bào)錯(cuò)NameError: name 'xxx' is not defined的關(guān)鍵在于仔細(xì)檢查拼寫、作用域和賦值等問題,感興趣的可以了解一下2024-06-06詳解字符串在Python內(nèi)部是如何省內(nèi)存的
這篇文章主要介紹了詳解字符串在Python內(nèi)部是如何省內(nèi)存的,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02