快捷導(dǎo)航

python 刪除excel表格重復(fù)行,數(shù)據(jù)預(yù)處理操作

更新時(shí)間：2020年07月06日 17:54:41 作者：HelenLee01

這篇文章主要介紹了python 刪除excel表格重復(fù)行,數(shù)據(jù)預(yù)處理操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧

使用python刪除excel表格重復(fù)行。

# 導(dǎo)入pandas包并重命名為pd
import pandas as pd
 
# 讀取Excel中Sheet1中的數(shù)據(jù)
data = pd.DataFrame(pd.read_excel('test.xls', 'Sheet1'))
 
# 查看讀取數(shù)據(jù)內(nèi)容
print(data)
 
# 查看是否有重復(fù)行
re_row = data.duplicated()
print(re_row)
 
# 查看去除重復(fù)行的數(shù)據(jù)
no_re_row = data.drop_duplicates()
print(no_re_row)
 
# 查看基于[物品]列去除重復(fù)行的數(shù)據(jù)
#wp = data.drop_duplicates(['物品'])
#print(wp)
 
# 將去除重復(fù)行的數(shù)據(jù)輸出到excel表中
no_re_row.to_excel("test2.xls")

補(bǔ)充知識(shí)：Python數(shù)據(jù)預(yù)處理（刪除重復(fù)值和空值）

pandas幾個(gè)函數(shù)的使用，大數(shù)據(jù)的預(yù)處理（刪除重復(fù)值和空值），人工刪除很麻煩

Python恰好能夠解決

注釋很詳細(xì)在這不一一解釋了

######################################
##### 讀寫excel(xls\xlsx)文件
import pandas as pd
import numpy as np
df_excel = pd.read_excel('data3.xlsx')
print('數(shù)據(jù)量行*列',df_excel.shape)
# # df_excel.to_excel('df_excel.xlsx',header=None)#生成文件保存，無表頭
print('數(shù)據(jù)集中存在重復(fù)觀測(cè)的數(shù)量：\n',np.sum(df_excel.duplicated())) #F為不存在，T為存在，用sum顯示重復(fù)的數(shù)量
print('刪除行重復(fù)后的數(shù)據(jù)\n',df_excel.drop_duplicates(subset=None,keep='first',inplace=None))#excel文件中設(shè)定第一和第二行為重復(fù)行，結(jié)果刪除了第二行保留第一行
              ###df_excel.drop_duplicates(subset=['A','B'],keep='first',inplace=True)
              #### 代碼中subset對(duì)應(yīng)的值是列名，表示只考慮這兩列，將這兩列對(duì)應(yīng)值相同的行進(jìn)行去重。默認(rèn)值為subset=None表示考慮所有列。
              #####keep='first'表示保留第一次出現(xiàn)的重復(fù)行，是默認(rèn)值。keep另外兩個(gè)取值為"last"和False，分別表示保留最后一次出現(xiàn)的重復(fù)行和去除所有重復(fù)行。
              #####inplace=True表示直接在原來的DataFrame上刪除重復(fù)項(xiàng)，而默認(rèn)值False表示生成一個(gè)副本

print('數(shù)據(jù)集列中是否存在缺失值：\n',df_excel.isnull().any())       #F為不存在，T為存在
print('每一行的缺失值個(gè)數(shù)：',df_excel.isnull().sum(axis=1))
print('每一列的缺失值個(gè)數(shù)：',df_excel.isnull().sum(axis=0))

          ####### df.isnull().sum(axis=0)每一列的缺失值個(gè)數(shù)
          #####df.isnull().any()則會(huì)判斷哪些”列”存在缺失值
df=df_excel.dropna()
print(df_excel.dropna(thresh=5))
                # #axis=0: 刪除包含缺失值（NaN）的行
                # #axis=1: 刪除包含缺失值（NaN）的列
                # # how=‘a(chǎn)ny' :要有缺失值（NaN）出現(xiàn)刪除
                # # how=‘a(chǎn)ll': 所有的值都缺失（NaN）才刪除
                # 還有一個(gè)thresh參數(shù)
                # thresh=n，保留至少有 n 個(gè)非 NaN 數(shù)的行

######drop用法
print(df_excel.drop(['edu'],axis=1))#按照列刪除edu這一列
print(df_excel.drop([0],axis=0))#按照行刪除0這一行

以上這篇python 刪除excel表格重復(fù)行,數(shù)據(jù)預(yù)處理操作就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: