快捷導(dǎo)航

python常用數(shù)據(jù)重復(fù)項(xiàng)處理方法

更新時(shí)間：2019年11月22日 14:54:48 作者：另一個(gè)起點(diǎn)

在本篇文章里小編給大家整理的是關(guān)于python常用數(shù)據(jù)重復(fù)項(xiàng)處理方法，需要的朋友們參考下。

在數(shù)據(jù)的處理過(guò)程中,一般都需要進(jìn)行數(shù)據(jù)清洗工作,如數(shù)據(jù)集是否存在重復(fù),是否存在缺失,數(shù)據(jù)是否具有完整性和一致性,數(shù)據(jù)中是否存在異常值等.發(fā)現(xiàn)諸如此類的問(wèn)題都需要針對(duì)性地處理,下面我們一起學(xué)習(xí)常用的數(shù)據(jù)清洗方法.

重復(fù)觀測(cè)處理

重復(fù)觀測(cè):指觀測(cè)行存在重復(fù)的現(xiàn)象,重復(fù)觀測(cè)的存在會(huì)影響數(shù)據(jù)分析和挖掘結(jié)果的準(zhǔn)確性,所以在數(shù)據(jù)分析和建模之前需要進(jìn)行觀測(cè)的重復(fù)性檢驗(yàn),如果存在重復(fù)觀測(cè),

還需要進(jìn)行重復(fù)項(xiàng)的刪除

在數(shù)據(jù)的收集過(guò)程中,可能會(huì)存在重復(fù)觀測(cè)的出現(xiàn),例如通過(guò)網(wǎng)絡(luò)爬蟲(chóng),就比較容易產(chǎn)生重復(fù)數(shù)據(jù).如下表,是通過(guò)爬蟲(chóng)獲得某APP市場(chǎng)中電商類APP的下載量數(shù)據(jù)(部分)

通過(guò)觀測(cè)可以看出唯品會(huì)和當(dāng)當(dāng)出現(xiàn)了三次.如果收集上來(lái)的不是10行,而是10萬(wàn)行,甚至更多是,就無(wú)法通過(guò)肉眼的方式檢測(cè)數(shù)據(jù)是否存在重復(fù)項(xiàng)了.

下面我們看用python怎么來(lái)處理重復(fù)項(xiàng)的檢查,以及如何刪除數(shù)據(jù)項(xiàng)中的重復(fù)項(xiàng)

代碼:

import pandas as pd
df = pd.read_excel(r'D:\data_test04.xlsx')
print('數(shù)據(jù)集是否存在重復(fù)觀測(cè): \n',any(df.duplicated()))

out:

數(shù)據(jù)集是否存在重復(fù)觀測(cè):

True

代碼就是簡(jiǎn)單的兩行就處理好了

可以看出檢測(cè)數(shù)據(jù)集的記錄是否存在重復(fù),使用duplicated (英文單詞的意思就是重復(fù),復(fù)制的意思)方法,但是該方法返回的是數(shù)據(jù)集每一行的檢驗(yàn)結(jié)果,為了能夠得到最直接的結(jié)果,可以使用any函數(shù),該函數(shù)表示的是在多個(gè)條件判斷中,只有一個(gè)條件為T(mén)rue,則any函數(shù)的結(jié)果就為T(mén)rue.正如結(jié)果所示,any函數(shù)的運(yùn)用返回True值,說(shuō)明

該數(shù)據(jù)集是存在重復(fù)觀測(cè)的.

刪除數(shù)據(jù)集中的重復(fù)觀測(cè):