引言

今天為大家分享一個非常好用的 Python 庫 - pandera。

Github地址：

https://github.com/unionai-oss/pandera

在數(shù)據(jù)科學和數(shù)據(jù)分析中，數(shù)據(jù)的質(zhì)量至關(guān)重要。不良的數(shù)據(jù)質(zhì)量可能導致不準確的分析和決策。為了確保數(shù)據(jù)的質(zhì)量，Python Pandera 庫應運而生。

什么是 Python Pandera？

Python Pandera 是一個用于數(shù)據(jù)驗證和清洗的庫，它的目標是幫助數(shù)據(jù)科學家和分析師確保數(shù)據(jù)的質(zhì)量，并使數(shù)據(jù)準備過程更加可維護和可重復。Pandera 提供了一種聲明性的方式來定義數(shù)據(jù)的驗證規(guī)則，可以輕松地將這些規(guī)則應用于數(shù)據(jù)集，以識別和糾正不良數(shù)據(jù)。

Pandera 的設(shè)計理念是將數(shù)據(jù)驗證和清洗與數(shù)據(jù)分析代碼分離，從而降低了錯誤的風險，并提高了代碼的可讀性和可維護性。

安裝 Python Pandera

要開始使用 Python Pandera，需要在 Python 環(huán)境中安裝它?？梢允褂?pip 包管理器來安裝 Pandera。

在終端或命令提示符中運行以下命令：

pip install pandera

安裝完成后，可以在 Python 代碼中導入 Pandera 并開始使用它。

import pandera as pa

基本用法示例

通過一個簡單的示例來了解 Python Pandera 的基本用法。

假設(shè)有一個包含學生信息的數(shù)據(jù)集，希望驗證數(shù)據(jù)是否滿足以下規(guī)則：

• 學生年齡必須介于 18 到 30 歲之間。

• 學生成績必須是 0 到 100 之間的整數(shù)。

定義數(shù)據(jù)驗證規(guī)則

首先，需要定義數(shù)據(jù)驗證規(guī)則。在 Pandera 中，可以使用 Schema 對象來定義規(guī)則。

以下是如何定義上述規(guī)則的代碼：

# 導入 Pandera 庫
import pandera as pa
# 定義數(shù)據(jù)驗證規(guī)則
schema = pa.DataFrameSchema({
    "age": pa.Column(pa.Int, checks=[
        pa.Check(lambda age: 18 <= age <= 30, element_wise=True)
    ]),
    "score": pa.Column(pa.Int, checks=[
        pa.Check(lambda score: 0 <= score <= 100, element_wise=True)
    ])
})

在上述代碼中，使用 pa.Column 來定義每列的數(shù)據(jù)類型，并使用 pa.Check 來定義數(shù)據(jù)驗證規(guī)則。這些規(guī)則是通過 lambda 函數(shù)來定義的，用于檢查每個元素是否符合規(guī)則。

應用數(shù)據(jù)驗證規(guī)則

一旦定義了數(shù)據(jù)驗證規(guī)則，可以將其應用于數(shù)據(jù)集以驗證數(shù)據(jù)的質(zhì)量。

# 創(chuàng)建包含學生信息的數(shù)據(jù)集
data = {
    "age": [25, 19, 32, 28, 22],
    "score": [90, 75, 110, 88, 95]
}
df = pa.DataFrame(data)
# 應用數(shù)據(jù)驗證規(guī)則
schema.validate(df)

在上述代碼中，首先創(chuàng)建了包含學生信息的 DataFrame，然后使用 schema.validate 方法來驗證數(shù)據(jù)是否符合規(guī)則。如果數(shù)據(jù)不符合規(guī)則，Pandera 將引發(fā)異常并指出哪些數(shù)據(jù)不合格。

進階用法示例

除了基本用法外，Python Pandera 還提供了一些進階功能，以滿足更復雜的數(shù)據(jù)驗證和清洗需求。

1. 數(shù)據(jù)類型轉(zhuǎn)換

有時候，可能需要將數(shù)據(jù)從一種類型轉(zhuǎn)換為另一種類型，以滿足驗證規(guī)則。Pandera 可以定義數(shù)據(jù)類型轉(zhuǎn)換函數(shù)并將其應用于數(shù)據(jù)。

# 定義數(shù)據(jù)類型轉(zhuǎn)換函數(shù)
def convert_age_to_float(age):
    return float(age)

# 定義數(shù)據(jù)驗證規(guī)則
schema = pa.DataFrameSchema({
    "age": pa.Column(pa.Float, checks=[
        pa.Check(lambda age: 18.0 <= age <= 30.0, element_wise=True)
    ]),
    "score": pa.Column(pa.Int, checks=[
        pa.Check(lambda score: 0 <= score <= 100, element_wise=True)
    ])
})

# 創(chuàng)建包含學生信息的數(shù)據(jù)集
data = {
    "age": ["25", "19", "32", "28", "22"],
    "score": [90, 75, 110, 88, 95]
}
df = pa.DataFrame(data)

# 應用數(shù)據(jù)驗證規(guī)則
schema.validate(df, convert_dtype=True)

在上述代碼中，首先定義了一個數(shù)據(jù)類型轉(zhuǎn)換函數(shù) convert_age_to_float，然后在驗證規(guī)則中將年齡列的數(shù)據(jù)類型設(shè)置為浮點型。通過設(shè)置 convert_dtype=True，告訴 Pandera 在驗證之前將數(shù)據(jù)類型轉(zhuǎn)換為指定的類型。

2. 自定義錯誤消息

還可以自定義錯誤消息，以便更清晰地指出哪些數(shù)據(jù)不符合規(guī)則。

# 定義自定義錯誤消息函數(shù)
def custom_error_message(check, series):
    return f"Validation failed for column '{series.name}': {check.get_error_description(series)}"
# 定義數(shù)據(jù)驗證規(guī)則
schema = pa.DataFrameSchema({
    "age": pa.Column(pa.Float, checks=[
        pa.Check(lambda age: 18.0 <= age <= 30.0, element_wise=True, error=custom_error_message)
    ]),
    "score": pa.Column(pa.Int, checks=[
        pa.Check(lambda score: 0 <= score <= 100, element_wise=True, error=custom_error_message)
    ])
})
# 創(chuàng)建包含學生信息的數(shù)據(jù)集
data = {
    "age": ["25", "19", "32", "28", "22"],
    "score": [90, 75, 110, 88, 95]
}
df = pa.DataFrame(data)
# 應用數(shù)據(jù)驗證規(guī)則
try:
    schema.validate(df, convert_dtype=True)
except pa.errors.SchemaErrors as e:
    for error in e.schema_errors:
        print(error)

在上述代碼中，定義了一個自定義錯誤消息函數(shù) custom_error_message，然后將其應用于數(shù)據(jù)驗證規(guī)則中的錯誤消息。當數(shù)據(jù)不符合規(guī)則時，Pandera 將顯示自定義錯誤消息。

總結(jié)

Python Pandera 是一個強大的工具，用于數(shù)據(jù)驗證和清洗。它提供了一種聲明性的方式來定義數(shù)據(jù)驗證規(guī)則，使數(shù)據(jù)質(zhì)量的管理變得更加輕松。通過本文提供的示例代碼，可以開始使用 Pandera 來提高數(shù)據(jù)質(zhì)量，確保數(shù)據(jù)分析的準確性。希望本文對大家有所幫助，可以更好地利用 Pandera 進行數(shù)據(jù)驗證和清洗工作。

以上就是Python pandera數(shù)據(jù)質(zhì)量保障的詳細內(nèi)容，更多關(guān)于Python pandera的資料請關(guān)注腳本之家其它相關(guān)文章！

以上就是Python pandera數(shù)據(jù)驗證和清洗的庫的詳細內(nèi)容，更多關(guān)于Python pandera的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論