Python對多屬性的重復數(shù)據(jù)去重實例

更新時間：2018年04月18日 15:26:53 作者：I天輝I

下面小編就為大家分享一篇Python對多屬性的重復數(shù)據(jù)去重實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

python中的pandas模塊中對重復數(shù)據(jù)去重步驟：

1）利用DataFrame中的duplicated方法返回一個布爾型的Series,顯示各行是否有重復行，沒有重復行顯示為FALSE，有重復行顯示為TRUE；

2）再利用DataFrame中的drop_duplicates方法用于返回一個移除了重復行的DataFrame。

注釋：

如果duplicated方法和drop_duplicates方法中沒有設(shè)置參數(shù)，則這兩個方法默認會判斷全部咧，如果在這兩個方法中加入了指定的屬性名（或者稱為列名），例如：frame.drop_duplicates(['state']),則指定部分列（state列）進行重復項的判斷。

具體實例如下：

>>> import pandas as pd 
>>> data={'state':[1,1,2,2],'pop':['a','b','c','d']} 
>>> frame=pd.DataFrame(data) 
>>> frame 
 pop state 
0 a  1 
1 b  1 
2 c  2 
3 d  2 
>>> IsDuplicated=frame.duplicated() 
>>> print IsDuplicated 
0 False 
1 False 
2 False 
3 False 
dtype: bool 
>>> frame=frame.drop_duplicates(['state']) 
>>> frame 
 pop state 
0 a  1 
2 c  2 
>>> IsDuplicated=frame.duplicated(['state']) 
>>> print IsDuplicated 
0 False 
2 False 
dtype: bool 
>>>

以上這篇Python對多屬性的重復數(shù)據(jù)去重實例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

python web框架中實現(xiàn)原生分頁
這篇文章主要為大家詳細介紹了python web框架中使用原生分頁的方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2019-09-09
python益智游戲計算漢諾塔問題示例
漢諾塔（又稱河內(nèi)塔）問題是源于印度一個古老傳說的益智玩具。
2014-03-03
Python3.5實現(xiàn)的三級菜單功能示例
這篇文章主要介紹了Python3.5實現(xiàn)的三級菜單功能,涉及Python針對json格式數(shù)據(jù)的讀取、遍歷、查找、判斷等相關(guān)操作技巧,需要的朋友可以參考下
2019-03-03
Python常見數(shù)據(jù)結(jié)構(gòu)詳解
這篇文章主要介紹了Python常見數(shù)據(jù)結(jié)構(gòu),需要的朋友可以參考下
2014-07-07
教你用Python尋找重復文件并刪除的腳本寫法
這篇文章主要介紹了如何用Python尋找重復文件并刪除,該腳本主要包括diskwalk,chechsum,find_dupes,delete模塊，其中diskwalk模塊是遍歷文件的，給定路徑，遍歷輸出該路徑下的所有文件，需要的朋友可以參考下
2022-01-01
Django模板之基本的 for 循環(huán) 和 List內(nèi)容的顯示方式
這篇文章主要介紹了Django模板之基本的 for 循環(huán) 和 List內(nèi)容的顯示方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-03-03
django中cookiecutter的使用教程
這篇文章主要給大家介紹了關(guān)于django中cookiecutter使用的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2020-12-12
Python如何獲取Win7，Win10系統(tǒng)縮放大小
這篇文章主要介紹了Python如何獲取Win7，Win10系統(tǒng)縮放大小,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2020-01-01
python 算法排序?qū)崿F(xiàn)快速排序
主要分為兩個子算法，PARTITION(A, p, r)以A[r]為基準對數(shù)組進行一個劃分，比A[r]小的放在左邊，比A[r]大的放在右邊
2012-06-06
python實現(xiàn)對excel進行數(shù)據(jù)剔除操作實例
python在數(shù)據(jù)分析這方便的介紹應(yīng)該不用多說了，下面這篇文章主要給大家介紹了關(guān)于利用python實現(xiàn)對excel進行數(shù)據(jù)剔除操作的相關(guān)資料，文中通過示例代碼介紹的非常詳細，需要的朋友可以參考借鑒，下面來一起看看吧。
2017-12-12