pandas刪除重復(fù)數(shù)據(jù)簡(jiǎn)單方法
更新時(shí)間：2023年07月07日 12:03:04 作者：**星光*
這篇文章主要給大家介紹了關(guān)于pandas刪除重復(fù)數(shù)據(jù)的簡(jiǎn)單方法,在數(shù)據(jù)處理過程中常常會(huì)遇到重復(fù)的問題,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下
1、pandas中重復(fù)索引問題
df = df[~df.index.duplicated()]
2、pandas刪除重復(fù)數(shù)據(jù)行
# 首先導(dǎo)入常用的兩個(gè)包
import pandas as pd
import numpy as np
# 1.刪除完全重復(fù)的行
df.drop_duplicates()
2.按k列進(jìn)行去重，對(duì)于重復(fù)項(xiàng)，保留第一次出現(xiàn)的值
df.drop_duplicates('k',keep='first')
3、k2和k1兩列進(jìn)行去重
df.drop_duplicates(['k2','k1'], keep='first')
"""
keep：{‘first', ‘last', False}, 默認(rèn)值 ‘first'
first：保留第一次出現(xiàn)的重復(fù)行，刪除后面的重復(fù)行。
last：刪除前面的重復(fù)項(xiàng)，保留最后一次出現(xiàn)的重復(fù)行。
False：刪除所有重復(fù)項(xiàng)
"""3、drop_duplicates()函數(shù)的語法
df.drop_duplicates(subset=['A','B','C'],keep='first',inplace=True)
參數(shù)說明如下：
- subset：表示要進(jìn)去重的列名，默認(rèn)為 None。
- keep：有三個(gè)可選參數(shù)，分別是 first、last、False，默認(rèn)為 first，表示只保留第一次出現(xiàn)的重復(fù)項(xiàng)，刪除其余重復(fù)項(xiàng)，last 表示只保留最后一次出現(xiàn)的重復(fù)項(xiàng)，F(xiàn)alse 則表示刪除所有重復(fù)項(xiàng)。
- inplace：布爾值參數(shù)，默認(rèn)為 False 表示刪除重復(fù)項(xiàng)后返回一個(gè)副本，若為 Ture 則表示直接在原數(shù)據(jù)上刪除重復(fù)項(xiàng)。
附：pandas數(shù)據(jù)處理——取出重復(fù)數(shù)據(jù)
平常我們用pandas做重復(fù)數(shù)據(jù)處理時(shí)，常常調(diào)用到drop_duplicates方法來去除重。
現(xiàn)在我不想完全去除重復(fù)，而是把重復(fù)數(shù)據(jù)輸出，現(xiàn)有數(shù)據(jù)如下所示：
方法：
重復(fù)數(shù)據(jù)保留一個(gè)，duplicate_bool輸出的是bool類型值，通過判斷bool==True，取出重復(fù)行。
duplicate_bool = df.duplicated(subset=['id'], keep='first') repeat=df.loc[duplicate_bool == True] repeat復(fù)制
輸出：
總結(jié)
到此這篇關(guān)于pandas刪除重復(fù)數(shù)據(jù)的文章就介紹到這了,更多相關(guān)pandas刪除重復(fù)數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Python多線程應(yīng)用于自動(dòng)化測(cè)試操作示例
這篇文章主要介紹了Python多線程應(yīng)用于自動(dòng)化測(cè)試操作,結(jié)合實(shí)例形式分析了Python多線程基于Selenium進(jìn)行自動(dòng)化操作相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2018-12-12
這篇文章主要介紹了python Tkinter的簡(jiǎn)單入門教程，幫助大家更好的理解和學(xué)習(xí)使用python制作gui程序，感興趣的朋友可以了解下2021-04-04
Python?實(shí)操顯示數(shù)據(jù)圖表并固定時(shí)間長(zhǎng)度
這篇文章主要介紹了Python?實(shí)操顯示數(shù)據(jù)圖表并固定時(shí)間長(zhǎng)度，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2022-08-08
這篇文章主要介紹了keras 指定程序在某塊卡上訓(xùn)練實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-06-06
你以為剪輯音樂要很久嗎？其余3行語句Python就能瞬間搞定。本文就來詳細(xì)為大家講講實(shí)現(xiàn)的步驟，文中的示例代碼講解詳細(xì)，感興趣的可以動(dòng)手嘗試一下2022-06-06
這篇文章主要介紹了python 網(wǎng)絡(luò)編程常用代碼段,需要的朋友可以參考下2016-08-08
Python3 ffmpeg視頻轉(zhuǎn)換工具使用方法解析
這篇文章主要介紹了Python3 ffmpeg視頻轉(zhuǎn)換工具使用方法解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-08-08
python3列表刪除大量重復(fù)元素remove()方法的問題詳解
這篇文章主要給大家介紹了關(guān)于python3列表刪除大量重復(fù)元素remove()方法的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-01-01
Python實(shí)現(xiàn)自定義異常堆棧信息的示例代碼
當(dāng)我們的程序報(bào)錯(cuò)時(shí)，解釋器會(huì)將整個(gè)異常的堆棧信息全部輸出出來。解釋器會(huì)將異常產(chǎn)生的整個(gè)調(diào)用鏈都給打印出來，那么問題來了，我們能不能自定義這些報(bào)錯(cuò)信息呢？本文就來為大家詳細(xì)講講2022-07-07
簡(jiǎn)單有效上手Python3異步asyncio問題
這篇文章主要介紹了簡(jiǎn)單有效上手Python3異步asyncio問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-01-01