數(shù)據(jù)清洗是對(duì)一些沒(méi)有用的數(shù)據(jù)進(jìn)行處理的過(guò)程。很多數(shù)據(jù)集存在數(shù)據(jù)缺失、數(shù)據(jù)格式錯(cuò)誤、錯(cuò)誤數(shù)據(jù)或重復(fù)數(shù)據(jù)的情況，如果要使數(shù)據(jù)分析更加準(zhǔn)確，就需要對(duì)這些沒(méi)有用的數(shù)據(jù)進(jìn)行處理。數(shù)據(jù)清洗與預(yù)處理的常見(jiàn)步驟：

• 缺失值處理：識(shí)別并填補(bǔ)缺失值，或刪除含缺失值的行/列。
• 重復(fù)數(shù)據(jù)處理：檢查并刪除重復(fù)數(shù)據(jù)，確保每條數(shù)據(jù)唯一。
• 異常值處理：識(shí)別并處理異常值，如極端值、錯(cuò)誤值。
• 數(shù)據(jù)格式轉(zhuǎn)換：轉(zhuǎn)換數(shù)據(jù)類(lèi)型或進(jìn)行單位轉(zhuǎn)換，如日期格式轉(zhuǎn)換。
• 標(biāo)準(zhǔn)化與歸一化：對(duì)數(shù)值型數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化（如 Z-score）或歸一化（如 Min-Max）。
• 類(lèi)別數(shù)據(jù)編碼：將類(lèi)別變量轉(zhuǎn)換為數(shù)值形式，常見(jiàn)方法包括 One-Hot 編碼和標(biāo)簽編碼。
• 文本處理：對(duì)文本數(shù)據(jù)進(jìn)行清洗，如去除停用詞、詞干化、分詞等。
• 數(shù)據(jù)抽樣：從數(shù)據(jù)集中抽取樣本，或通過(guò)過(guò)采樣/欠采樣處理類(lèi)別不平衡。
• 特征工程：創(chuàng)建新特征、刪除不相關(guān)特征、選擇重要特征等。

本文使用到的測(cè)試數(shù)據(jù) property-data.csv 如下：

上表包含了四種空數(shù)據(jù)：

• n/a
• NA
• —
• na

1 Pandas 清洗空值

如果我們要?jiǎng)h除包含空字段的行，可以使用 dropna() 方法，語(yǔ)法格式如下：

DataFrame.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)

• axis：默認(rèn)為 0，表示逢空值剔除整行，如果設(shè)置參數(shù) axis＝1 表示逢空值去掉整列。
• how：默認(rèn)為 'any' 如果一行（或一列）里任何一個(gè)數(shù)據(jù)有出現(xiàn) NA 就去掉整行，如果設(shè)置 how='all' 一行（或列）都是 NA 才去掉這整行。
• thresh：設(shè)置需要多少非空值的數(shù)據(jù)才可以保留下來(lái)的。
• subset：設(shè)置想要檢查的列。如果是多個(gè)列，可以使用列名的 list 作為參數(shù)。
• inplace：如果設(shè)置 True，將計(jì)算得到的值直接覆蓋之前的值并返回 None，修改的是源數(shù)據(jù)。

1.1  isnull() 判斷各個(gè)單元格是否為空

我們可以通過(guò) isnull() 判斷各個(gè)單元格是否為空。

import pandas as pd

df = pd.read_csv('property-data.csv')

print(df['NUM_BEDROOMS'])
print(df['NUM_BEDROOMS'].isnull())

以上例子中我們看到 Pandas 沒(méi)有把 n/a 和 NA 當(dāng)作空數(shù)據(jù)，不符合我們要求，我們可以指定空數(shù)據(jù)類(lèi)型：

import pandas as pd

missing_values = ["n/a", "na", "--"]
df = pd.read_csv('property-data.csv', na_values=missing_values)

print(df['NUM_BEDROOMS'])
print(df['NUM_BEDROOMS'].isnull())

1.2 dropna() 刪除包含空數(shù)據(jù)的行

接下來(lái)的實(shí)例演示了刪除包含空數(shù)據(jù)的行。

import pandas as pd

df = pd.read_csv('property-data.csv')

new_df = df.dropna()

print(new_df.to_string())

默認(rèn)情況下，dropna() 方法返回一個(gè)新的 DataFrame，不會(huì)修改源數(shù)據(jù)。如果你要修改源數(shù)據(jù) DataFrame, 可以使用 inplace = True 參數(shù):

df.dropna(inplace = True)

我們也可以移除指定列有空值的行：

import pandas as pd

df = pd.read_csv('property-data.csv')

df.dropna(subset=['ST_NUM'], inplace=True)

print(df.to_string())

1.3  fillna() 替換空字段

我們也可以 fillna() 方法來(lái)替換一些空字段：

import pandas as pd

df = pd.read_csv('property-data.csv')

df.fillna(12345, inplace=True)

print(df.to_string())

我們也可以指定某一個(gè)列來(lái)替換數(shù)據(jù)，例如使用 12345 替換 PID 為空數(shù)據(jù)：

df.fillna({ 'PID' : 12345 }, inplace = True)

替換空單元格的常用方法是計(jì)算列的均值、中位數(shù)值或眾數(shù)。Pandas使用 mean()、median() 和 mode() 方法計(jì)算列的均值（所有值加起來(lái)的平均值）、中位數(shù)值（排序后排在中間的數(shù)）和眾數(shù)（出現(xiàn)頻率最高的數(shù)）。

1.3.1 mean() 均值替換

import pandas as pd

df = pd.read_csv('property-data.csv')

x = df["ST_NUM"].mean()
df.fillna({ 'ST_NUM': x }, inplace=True)
print(df.to_string())

以上實(shí)例輸出結(jié)果如下，紅框?yàn)橛?jì)算的中位數(shù)替換來(lái)空單元格： 

1.3.2 median() 中位數(shù)替換

import pandas as pd

df = pd.read_csv('property-data.csv')
x = df["ST_NUM"].median()
df.fillna({'ST_NUM': x}, inplace=True)
print(df.to_string())

1.3.3 mode() 眾數(shù)替換

import pandas as pd

df = pd.read_csv('property-data.csv')

x = df["ST_NUM"].mode()
df.fillna({'ST_NUM': x.values[0]}, inplace=True)
print(df.to_string())

mode()可能會(huì)出現(xiàn)多個(gè)值，所以需要用values[index]指定。

2 Pandas 清洗格式錯(cuò)誤數(shù)據(jù)

數(shù)據(jù)格式錯(cuò)誤的單元格會(huì)使數(shù)據(jù)分析變得困難，甚至不可能。我們可以通過(guò)包含空單元格的行，或者將列中的所有單元格轉(zhuǎn)換為相同格式的數(shù)據(jù)。以下實(shí)例會(huì)格式化日期：

import pandas as pd

# 第三個(gè)日期格式錯(cuò)誤
data = {
    "Date": ['2020/12/01', '2020/12/02', '20201226'],
    "duration": [50, 40, 45]
}

df = pd.DataFrame(data, index=["day1", "day2", "day3"])

df['Date'] = pd.to_datetime(df['Date'], format='mixed')

print(df.to_string())

3 Pandas 清洗錯(cuò)誤數(shù)據(jù)

數(shù)據(jù)錯(cuò)誤也是很常見(jiàn)的情況，我們可以對(duì)錯(cuò)誤的數(shù)據(jù)進(jìn)行替換或移除。以下實(shí)例會(huì)替換錯(cuò)誤年齡的數(shù)據(jù)：

import pandas as pd

person = {
    "name": ['Google', 'Bing', 'Taobao'],
    "age": [50, 40, 12345]  # 12345 年齡數(shù)據(jù)是錯(cuò)誤的
}

df = pd.DataFrame(person)

df.loc[2, 'age'] = 30  # 修改數(shù)據(jù)

print(df.to_string())

也可以設(shè)置條件語(yǔ)句，例如將 age 大于 120 的設(shè)置為 120:

import pandas as pd

person = {
    "name": ['Google', 'Bing', 'Taobao'],
    "age": [50, 200, 12345]
}

df = pd.DataFrame(person)

for x in df.index:
    if df.loc[x, "age"] > 120:
        df.loc[x, "age"] = 120

print(df.to_string())

也可以將錯(cuò)誤數(shù)據(jù)的行刪除，例如將 age 大于 120 的刪除:

import pandas as pd

person = {
    "name": ['Google', 'Runoob', 'Taobao'],
    "age": [50, 40, 12345]  # 12345 年齡數(shù)據(jù)是錯(cuò)誤的
}

df = pd.DataFrame(person)

for x in df.index:
    if df.loc[x, "age"] > 120:
        df.drop(x, inplace=True)

print(df.to_string())

4 Pandas 清洗重復(fù)數(shù)據(jù)

如果我們要清洗重復(fù)數(shù)據(jù)，可以使用 duplicated() 和 drop_duplicates() 方法。如果對(duì)應(yīng)的數(shù)據(jù)是重復(fù)的，duplicated() 會(huì)返回 True，否則返回 False。

import pandas as pd

person = {
    "name": ['Google', 'Bing', 'Bing', 'Taobao'],
    "age": [50, 40, 40, 23]
}
df = pd.DataFrame(person)

print(df.duplicated())

刪除重復(fù)數(shù)據(jù)，可以直接使用drop_duplicates() 方法。

import pandas as pd

person = {
    "name": ['Google', 'Bing', 'Bing', 'Taobao'],
    "age": [50, 40, 40, 23]
}
df = pd.DataFrame(person)

df.drop_duplicates(inplace=True)
print(df)

5 常用方法及說(shuō)明

到此這篇關(guān)于Pandas 數(shù)據(jù)清洗的具體使用的文章就介紹到這了,更多相關(guān)Pandas 數(shù)據(jù)清洗內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！ 

最新評(píng)論