Pandas是一個功能強大的數(shù)據(jù)分析庫，它提供了許多靈活且高效的方法來處理和分析數(shù)據(jù)。本文將介紹如何使用Pandas讀取HTML數(shù)據(jù)和JSON數(shù)據(jù)，并展示一些常見的應用場景。

一、讀取HTML網(wǎng)頁

HTML（超文本標記語言）是一種用于創(chuàng)建網(wǎng)頁的標準標記語言。網(wǎng)頁通常由HTML標簽和內(nèi)容組成，這些標簽描述了網(wǎng)頁的結(jié)構(gòu)和樣式。在網(wǎng)頁上，數(shù)據(jù)可以以表格、列表或其他形式展示。Pandas可以讀取這些HTML數(shù)據(jù)，并將其轉(zhuǎn)換為數(shù)據(jù)框，方便我們進行進一步的分析和處理。 

1.讀取HTML數(shù)據(jù)

Pandas提供了一個函數(shù)read_html()，可以直接從HTML文件或URL中讀取數(shù)據(jù)。下面是讀取HTML數(shù)據(jù)的基本語法：

import pandas as pd

data = pd.read_html('file.html')  # 從HTML文件讀取數(shù)據(jù)
data = pd.read_html('http://example.com/table.html')  # 從URL讀取數(shù)據(jù)

 這個函數(shù)會返回一個包含所有HTML表格的列表。每個表格都被轉(zhuǎn)換為一個數(shù)據(jù)框，可以像處理其他數(shù)據(jù)框一樣進行操作。

2.處理HTML數(shù)據(jù)

一旦我們將HTML數(shù)據(jù)讀取到Pandas中，我們就可以使用各種方法處理和分析數(shù)據(jù)，下面是一些常見的操作。

• 查看數(shù)據(jù)

使用head()方法可以查看數(shù)據(jù)的前幾行，默認顯示前5行。

print(data[0].head())  # 查看第一個表格的前5行

•  數(shù)據(jù)清洗

HTML數(shù)據(jù)通常包含一些不需要的行或列，可以使用Pandas的數(shù)據(jù)清洗方法來刪除這些數(shù)據(jù)。

clean_data = data[0].dropna()  # 刪除含有NaN值的行
clean_data = clean_data.drop(columns=['Unnamed: 0'])  # 刪除指定列

• 數(shù)據(jù)轉(zhuǎn)換

有時，HTML數(shù)據(jù)中的某些列可能被錯誤地識別為字符串，可以使用Pandas的數(shù)據(jù)轉(zhuǎn)換方法將其轉(zhuǎn)換為正確的數(shù)據(jù)類型。

clean_data['Price'] = clean_data['Price'].str.replace('$', '').astype(float)  # 將價格列轉(zhuǎn)換為浮點數(shù)

• 數(shù)據(jù)分析

一旦數(shù)據(jù)清洗和轉(zhuǎn)換完成，就可以使用Pandas提供的各種方法進行數(shù)據(jù)分析，比如計算平均值、中位數(shù)、標準差等統(tǒng)計指標。

mean_price = clean_data['Price'].mean()  # 計算價格的平均值
median_price = clean_data['Price'].median()  # 計算價格的中位數(shù)
std_price = clean_data['Price'].std()  # 計算價格的標準差

 3.實際應用

下面將通過一個實際的例子來演示如何使用Pandas讀取和處理HTML數(shù)據(jù)。假設要分析一個網(wǎng)站上的證券數(shù)據(jù)，網(wǎng)站上的數(shù)據(jù)以HTML表格的形式展示，可以使用Pandas讀取這些數(shù)據(jù)，并進行進一步的分析。

首先，需要安裝Pandas庫。可以使用以下命令來安裝：

pip install pandas

然后，可以使用以下代碼來讀取HTML數(shù)據(jù)：

import pandas as pd

data = pd.read_html('http://example.com/stock.html')

接下來可以查看數(shù)據(jù)的前幾行，并進行數(shù)據(jù)清洗和轉(zhuǎn)換：

clean_data = data[0].dropna()
clean_data['Price'] = clean_data['Price'].str.replace('$', '').astype(float)

最后進行數(shù)據(jù)分析，并輸出結(jié)果：

mean_price = clean_data['Price'].mean()
median_price = clean_data['Price'].median()
std_price = clean_data['Price'].std()

print('平均價格：', mean_price)
print('中位數(shù)價格：', median_price)
print('價格標準差：', std_price)

通過這些步驟，可以輕松地讀取和分析HTML數(shù)據(jù)，從而得到有關證券價格的統(tǒng)計指標。

二、讀取JSON文件

JSON是一種常用的數(shù)據(jù)交換格式，Pandas提供了一個函數(shù)read_json()，可以直接從JSON文件或URL中讀取數(shù)據(jù)。下面是讀取JSON數(shù)據(jù)的基本語法：

import pandas as pd

data = pd.read_json('file.json')  # 從JSON文件讀取數(shù)據(jù)
data = pd.read_json('http://example.com/data.json')  # 從URL讀取數(shù)據(jù)

1.處理JSON數(shù)據(jù)

一旦將JSON數(shù)據(jù)讀取到Pandas中，就可以使用各種方法處理和分析數(shù)據(jù)，下面是一些常見的操作。

• 查看數(shù)據(jù)

使用head()方法可以查看數(shù)據(jù)的前幾行，默認顯示前5行。

print(data.head())  # 查看數(shù)據(jù)的前5行

• 數(shù)據(jù)清洗

在處理JSON數(shù)據(jù)時，可能會遇到一些缺失值或異常值。Pandas提供了一些方法來處理這些情況。

清除缺失值：使用dropna()方法可以刪除包含缺失值的行或列。

data.dropna()  # 刪除包含缺失值的行
data.dropna(axis=1)  # 刪除包含缺失值的列

填充缺失值：使用fillna()方法可以將缺失值替換為指定的值。

data.fillna(0)  # 將缺失值替換為0

• 數(shù)據(jù)轉(zhuǎn)換

Pandas提供了一些方法來轉(zhuǎn)換數(shù)據(jù)類型，以及對數(shù)據(jù)進行重塑和透視。

轉(zhuǎn)換數(shù)據(jù)類型：使用astype()方法可以將一列數(shù)據(jù)轉(zhuǎn)換為指定的數(shù)據(jù)類型。

data['column_name'].astype(int)  # 將一列數(shù)據(jù)轉(zhuǎn)換為整數(shù)類型

重塑數(shù)據(jù)：使用pivot()方法可以將數(shù)據(jù)從長格式轉(zhuǎn)換為寬格式。

data.pivot(index='column1', columns='column2', values='value')  # 將數(shù)據(jù)從長格式轉(zhuǎn)換為寬格式

• 數(shù)據(jù)分析

Pandas提供了豐富的方法來進行數(shù)據(jù)分析，包括數(shù)據(jù)聚合、數(shù)據(jù)排序、數(shù)據(jù)統(tǒng)計等。

數(shù)據(jù)聚合：使用groupby()方法可以對數(shù)據(jù)進行分組，并進行聚合操作。

data.groupby('column').sum()  # 按列進行分組，并計算每組的總和

數(shù)據(jù)排序：使用sort_values()方法可以按指定的列對數(shù)據(jù)進行排序。

data.sort_values('column')  # 按列對數(shù)據(jù)進行排序

數(shù)據(jù)統(tǒng)計：使用describe()方法可以計算數(shù)據(jù)的統(tǒng)計指標，如平均值、中位數(shù)、標準差等。

data.describe()  # 計算數(shù)據(jù)的統(tǒng)計指標

2.輸出數(shù)據(jù)

在處理和分析數(shù)據(jù)之后，可以將結(jié)果保存為其他格式的文件，如CSV、Excel等。

• 保存為CSV文件：使用to_csv()方法可以將數(shù)據(jù)保存為CSV文件。

data.to_csv('output.csv')  # 將數(shù)據(jù)保存為CSV文件

• 保存為Excel文件：使用to_excel()方法可以將數(shù)據(jù)保存為Excel文件。

data.to_excel('output.xlsx')  # 將數(shù)據(jù)保存為Excel文件

補：Pandas中讀取JSON文件時出現(xiàn)ValueError的解決方法

問題描述

當我們使用Pandas的read_json函數(shù)讀取JSON文件時，有時會遇到如下的ValueError錯誤：

ValueError: Trailing data

這個錯誤的原因是讀取的JSON文件在最后面有一些額外的括號或分隔符等數(shù)據(jù)。

例如，在下面的JSON文件中，我們會發(fā)現(xiàn)最后多了一個逗號：

{
    "name": "John",
    "age": 30,
    "city": "New York",
}

如果我們將該文件使用Pandas的read_json函數(shù)讀取，就會產(chǎn)生上述的ValueError錯誤。

解決方法

1. 修改JSON文件

最簡單的方法是修改JSON文件，將多余的逗號或括號刪除。對于大的JSON文件，可以使用專業(yè)的JSON編輯器進行編輯。對于小的JSON文件，我們可以手動將多余的逗號或括號刪除，并保存修改后的文件。

2. 設置read_json函數(shù)的參數(shù)

除了修改JSON文件，我們也可以通過設置read_json函數(shù)的參數(shù)來解決這個問題。具體來說，我們需要使用以下兩個參數(shù)：

• lines=True：將文件解析成多行模式，每行都是一個單獨的JSON對象。
• orient='records'：將JSON對象轉(zhuǎn)換為記錄的列表形式。

例如，下面是一個使用這兩個參數(shù)解決問題的示例：

import pandas as pd

df = pd.read_json('file.json', lines=True, orient='records')

這里，我們將一個包含多個JSON對象的JSON文件讀取為一個DataFrame對象。如果想要將每個JSON對象都讀取為一個單獨的DataFrame對象，可以使用下面的方法：

import pandas as pd

with open('file.json') as f:
    for line in f:
        df = pd.read_json(line, orient='records')

這個方法是逐行讀取JSON文件，并將每行解析為單獨的DataFrame對象。這樣可以避免多余的逗號或括號造成的ValueError錯誤。

綜上所述，本文介紹了如何使用Pandas讀取和處理HTML、JSON數(shù)據(jù)。通過Pandas的函數(shù)，可以輕松地從JSON文件或HTML中讀取數(shù)據(jù)，并將其轉(zhuǎn)換為DataFrame，進而使用Pandas提供的各種方法進行數(shù)據(jù)清洗、轉(zhuǎn)換和分析。 

到此這篇關于pandas讀取HTML和JSON數(shù)據(jù)的實現(xiàn)示例的文章就介紹到這了,更多相關pandas讀取HTML和JSON內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

最新評論