使用pandas庫讀取和寫入csv文件的實現(xiàn)示例

更新時間：2025年05月13日 10:30:10 作者：加班養(yǎng)豬專業(yè)戶

Python提供了多種方式來讀取和寫入CSV文件,本文主要介紹了使用pandas庫讀取和寫入csv文件的實現(xiàn)示例,具有一定的參考價值,感興趣的可以了解一下

在數(shù)據(jù)分析、數(shù)據(jù)處理以及機器學習領域，CSV（逗號分隔值）文件是一種非常常見的數(shù)據(jù)存儲格式。Python 提供了多種方式來讀取和寫入 CSV 文件，但如何選擇合適的方法以提高效率是一個值得探討的問題。本文將介紹幾種高效的 Python 方法，幫助你更輕松地處理 CSV 文件。

使用標準庫 `csv` 模塊

Python 標準庫中的 `csv` 模塊是處理 CSV 文件最基礎也是最常用的方式之一。它提供了簡單的接口來讀取和寫入 CSV 數(shù)據(jù)。

讀取 CSV 文件

import csv

# 打開 CSV 文件并讀取內(nèi)容
with open('data.csv', mode='r', encoding='utf-8') as file:
    reader = csv.reader(file)
    for row in reader:
        print(row)  # 輸出每一行的數(shù)據(jù)

上述代碼展示了如何使用 `csv.reader` 來逐行讀取 CSV 文件的內(nèi)容。`reader` 對象會自動解析每一行的數(shù)據(jù)，并將其作為列表返回。

寫入 CSV 文件

import csv

# 準備數(shù)據(jù)
data = [['Name', 'Age'], ['Alice', 25], ['Bob', 30]]

# 寫入 CSV 文件
with open('output.csv', mode='w', encoding='utf-8', newline='') as file:
    writer = csv.writer(file)
    writer.writerows(data)

通過 `csv.writer`，我們可以方便地將數(shù)據(jù)寫入 CSV 文件中。`writerows()` 方法接受一個二維列表，逐行寫入文件。

使用 Pandas 庫

對于更復雜的數(shù)據(jù)處理任務，Pandas 是一個強大的工具。它不僅能夠簡化 CSV 文件的操作，還能提供更多的功能，如數(shù)據(jù)過濾、聚合等。

讀取 CSV 文件

import pandas as pd

# 讀取 CSV 文件
df = pd.read_csv('data.csv')
print(df.head())  # 顯示前幾行數(shù)據(jù)

Pandas 的 `read_csv` 函數(shù)可以快速加載 CSV 文件到 DataFrame 中，方便后續(xù)的數(shù)據(jù)操作。

寫入 CSV 文件

# 創(chuàng)建一個新的 DataFrame
new_df = pd.DataFrame({
    'Name': ['Charlie', 'David'],
    'Age': [35, 40]
})

# 將數(shù)據(jù)寫入 CSV 文件
new_df.to_csv('output_pandas.csv', index=False)

`to_csv` 方法允許我們將 DataFrame 寫入 CSV 文件。設置 `index=False` 可以避免將索引列寫入文件。

性能對比

當處理大規(guī)模數(shù)據(jù)時，選擇合適的工具非常重要。一般來說，`csv` 模塊適合小型數(shù)據(jù)集，而 Pandas 在處理大型數(shù)據(jù)集時表現(xiàn)更好。下面是一個簡單的性能對比示例：

import timeit

# 測試 csv 模塊的讀取速度
csv_time = timeit.timeit(
    "list(csv.reader(open('large_data.csv', 'r')))[:1000]",
    setup="import csv",
    number=1
)

# 測試 Pandas 的讀取速度
pandas_time = timeit.timeit(
    "pd.read_csv('large_data.csv').head(1000)",
    setup="import pandas as pd",
    number=1
)

print(f"CSV 模塊耗時: {csv_time}")
print(f"Pandas 耗時: {pandas_time}")

運行結果通常會顯示 Pandas 在處理大文件時更快。