快捷導(dǎo)航

python刪掉重復(fù)行之drop_duplicates()用法示例

更新時(shí)間：2024年08月03日 11:28:43 作者：鋰享生活

Pandas的drop_duplicates()方法用于從DataFrame中刪除重復(fù)的行,這篇文章主要給大家介紹了關(guān)于python刪掉重復(fù)行之drop_duplicates()用法的相關(guān)資料,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下

前言

drop_duplicates()是Pandas中一個(gè)非常實(shí)用的方法，用于從DataFrame或Series中刪除重復(fù)的行或值，只保留第一次出現(xiàn)的記錄。

一、基本用法

它的基本語(yǔ)法如下：

DataFrame.drop_duplicates(subset=None, keep='first', inplace=False)

subset：可選參數(shù)，指定考慮哪些列來(lái)判斷重復(fù)，默認(rèn)為所有列。你可以傳入一列或多列的列名列表（作為字符串列表）來(lái)確定重復(fù)性。
keep：可選參數(shù)，決定如何處理重復(fù)項(xiàng)。
- 'first'（默認(rèn)）：保留每個(gè)重復(fù)組中的第一個(gè)出現(xiàn)的行。
- 'last'：保留每個(gè)重復(fù)組中的最后一個(gè)出現(xiàn)的行。
- False：刪除所有重復(fù)的行。
inplace：可選參數(shù)，如果設(shè)置為True，則直接在原DataFrame上進(jìn)行修改，不返回新的DataFrame。

二、示例

import pandas as pd

data = {'Name': ['Alex', 'Bob', 'Clarke', 'Alex', 'Bob'],
        'Age': [25, 30, 22, 25, 30],
        'City': ['NY', 'LA', 'SF', 'NY', 'LA']}
df = pd.DataFrame(data)

print("Original DataFrame:")
print(df)

如果我們想刪除所有重復(fù)的行（基于所有列），可以這樣做：

df_unique = df.drop_duplicates()
print("\nDataFrame after removing duplicates (all columns):")
print(df_unique)

如果我們只想根據(jù)'Name'和'Age'列來(lái)判斷重復(fù)，并保留每個(gè)重復(fù)組的第一個(gè)出現(xiàn)：

df_unique_subset = df.drop_duplicates(subset=['Name', 'Age'])
print("\nDataFrame after removing duplicates (Name and Age columns):")
print(df_unique_subset)

如果希望刪除所有重復(fù)，不保留任何重復(fù)行：

df_remove_all_duplicates = df.drop_duplicates(keep=False)
print("\nDataFrame after removing all duplicates:")
print(df_remove_all_duplicates)

附：Python Pandas中drop_duplicates方法失效的原因及其解決方案

在Python的Pandas庫(kù)中，drop_duplicates方法被廣泛用于刪除數(shù)據(jù)幀中的重復(fù)行。然而，有時(shí)我們會(huì)遇到一種情況，即drop_duplicates方法似乎沒(méi)有按預(yù)期工作。以下是幾種可能導(dǎo)致這種情況的原因以及相應(yīng)的解決方法。

問(wèn)題1：索引問(wèn)題

有時(shí)，數(shù)據(jù)幀的索引可能干擾drop_duplicates方法。如果索引值相同，Pandas可能不會(huì)將其視為重復(fù)行。要解決這個(gè)問(wèn)題，您可以重置索引，然后嘗試再次應(yīng)用drop_duplicates方法。

解決方法：

重置索引：data = data.reset_index(drop=True)

應(yīng)用drop_duplicates方法：data = data.drop_duplicates()

問(wèn)題2：不完全重復(fù)

如果數(shù)據(jù)幀中的行不完全相同，但您希望將其視為重復(fù)行，您可能需要調(diào)整drop_duplicates方法的參數(shù)。默認(rèn)情況下，該方法僅比較數(shù)據(jù)幀的前兩列。

解決方法：

調(diào)整參數(shù)：data = data.drop_duplicates(subset=[‘column1’, ‘column2’], keep=’first’)

這將比較’column1’和’column2’兩列，并保留第一個(gè)出現(xiàn)的重復(fù)行。

問(wèn)題3：NaN值

如果數(shù)據(jù)幀中存在NaN值，它們可能會(huì)干擾drop_duplicates方法的比較過(guò)程。默認(rèn)情況下，該方法會(huì)忽略NaN值。

解決方法：

刪除NaN值：data = data.dropna()

應(yīng)用drop_duplicates方法：data = data.drop_duplicates()

重新插入NaN值：data = data.fillna(value=np.nan)（如果您需要保留原始數(shù)據(jù)的NaN值）

問(wèn)題4：時(shí)間序列數(shù)據(jù)

如果數(shù)據(jù)幀包含時(shí)間序列數(shù)據(jù)，drop_duplicates方法可能不會(huì)按預(yù)期工作，因?yàn)樗赡軙?huì)根據(jù)時(shí)間戳的微小差異來(lái)判斷是否為重復(fù)行。

解決方法：

轉(zhuǎn)換時(shí)間戳格式：data[‘timestamp’] = pd.to_datetime(data[‘timestamp’])

應(yīng)用drop_duplicates方法：data = data.drop_duplicates()

如果需要，可以重新轉(zhuǎn)換時(shí)間戳格式：data[‘timestamp’] = data[‘timestamp’].astype(str)

通過(guò)了解可能導(dǎo)致drop_duplicates方法失效的原因，并采取適當(dāng)?shù)慕鉀Q方法，您應(yīng)該能夠更有效地處理Pandas數(shù)據(jù)幀中的重復(fù)行。在使用這些解決方案時(shí)，請(qǐng)根據(jù)您的具體情況進(jìn)行調(diào)整，以確保它們適用于您的數(shù)據(jù)和需求。

總結(jié)

到此這篇關(guān)于python刪掉重復(fù)行之drop_duplicates()用法示例的文章就介紹到這了,更多相關(guān)python刪掉重復(fù)行drop_duplicates()內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: