pandas中DataFrame檢測(cè)重復(fù)值的實(shí)現(xiàn)
本文詳解如何使用pandas查看dataframe的重復(fù)數(shù)據(jù),判斷是否重復(fù),以及如何去重
DataFrame.duplicated(subset=None, keep='first')
subset:如果你認(rèn)為幾個(gè)字段重復(fù),則數(shù)據(jù)重復(fù),就把那幾個(gè)字段以列表形式放到subset后面。默認(rèn)是所有字段重復(fù)為重復(fù)數(shù)據(jù)。
keep:
- 默認(rèn)為'first' ,也就是如果有重復(fù)數(shù)據(jù),則第一條出現(xiàn)的定義為False,后面的重復(fù)數(shù)據(jù)為True。
- 如果為'last',也就是如果有重復(fù)數(shù)據(jù),則最后一條出現(xiàn)的定義為False,后面的重復(fù)數(shù)據(jù)為True。
- 如果為False,則所有重復(fù)的為True
下面舉例
df = pd.DataFrame({ 'brand': ['Yum Yum', 'Yum Yum', 'Indomie', 'Indomie', 'Indomie'], 'style': ['cup', 'cup', 'cup', 'pack', 'pack'], 'rating': [4, 4, 3.5, 15, 5] }) df
# 默認(rèn)為keep="first",第一條重復(fù)的為False,后面重復(fù)的為True # 一般不會(huì)設(shè)置keep,保持keep為默認(rèn)值。 df.duplicated() 結(jié)果 0 False 1 True 2 False 3 False 4 False dtype: bool # keep="last",,最后一條重復(fù)的為False,后面重復(fù)的為True df.duplicated(keep="last") 結(jié)果 0 True 1 False 2 False 3 False 4 False dtype: bool # keep=False,,所有重復(fù)的為True df.duplicated(keep=False) 結(jié)果 0 True 1 True 2 False 3 False 4 False dtype: bool # sub是子,subset是子集 # 標(biāo)記只要brand重復(fù)為重復(fù)值。 df.duplicated(subset='brand') 結(jié)果 0 False 1 True 2 False 3 True 4 True dtype: bool # 只要brand重復(fù)brand和style重復(fù)的為重復(fù)值。 df.duplicated(subset=['brand','style']) 結(jié)果 0 False 1 True 2 False 3 False 4 True dtype: bool # 顯示重復(fù)記錄,通過(guò)布爾索引 df[df.duplicated()]
# 查詢重復(fù)值的個(gè)數(shù)。 df.duplicated().sum() 結(jié)果 1
到此這篇關(guān)于pandas中DataFrame檢測(cè)重復(fù)值的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)pandas DataFrame檢測(cè)重復(fù)值內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python 實(shí)現(xiàn)Numpy中找出array中最大值所對(duì)應(yīng)的行和列
今天小編就為大家分享一篇Python 實(shí)現(xiàn)Numpy中找出array中最大值所對(duì)應(yīng)的行和列,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-11-11python GUI庫(kù)圖形界面開(kāi)發(fā)之PyQt5不規(guī)則窗口實(shí)現(xiàn)與顯示GIF動(dòng)畫的詳細(xì)方法與實(shí)例
這篇文章主要介紹了python GUI庫(kù)圖形界面開(kāi)發(fā)之PyQt5不規(guī)則窗口與顯示GIF動(dòng)畫的詳細(xì)方法與實(shí)例,需要的朋友可以參考下2020-03-03教你如何用pycharm安裝pyqt5及其相關(guān)配置
這篇文章主要介紹了教你如何用pycharm安裝pyqt5及其相關(guān)配置,首先通過(guò)單獨(dú)創(chuàng)建一個(gè)文件夾來(lái)專門存放pyqt5的代碼并建立虛擬環(huán)境展開(kāi)文章敘述,需要的小伙伴可以參考一下2022-04-04Pycharm如何對(duì)python文件進(jìn)行打包
這篇文章主要介紹了Pycharm如何對(duì)python文件進(jìn)行打包,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-02-02Python機(jī)器學(xué)習(xí)性能度量利用鳶尾花數(shù)據(jù)繪制P-R曲線
這篇文章主要為大家介紹了Python機(jī)器學(xué)習(xí)性能度量利用鳶尾花數(shù)據(jù)繪制P-R曲線示例學(xué)習(xí),有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-02-02python和shell監(jiān)控linux服務(wù)器的詳細(xì)代碼
這篇文章主要為大家介紹了使用python和shell監(jiān)控linux服務(wù)器的詳細(xì)代碼,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2018-06-06Vscode?遠(yuǎn)程切換Python虛擬環(huán)境的詳細(xì)步驟
使用VSCode遠(yuǎn)程切換Python虛擬環(huán)境涉及安裝VSCode和必要擴(kuò)展、連接遠(yuǎn)程服務(wù)器、創(chuàng)建或激活虛擬環(huán)境,并選擇對(duì)應(yīng)Python解釋器,詳細(xì)步驟包括安裝Python和Remote-SSH擴(kuò)展,感興趣的朋友一起看看吧2024-09-09