使用PyTorch處理多維特征輸入數(shù)據(jù)的完美實現(xiàn)
引言
在機器學習和深度學習領(lǐng)域,我們經(jīng)常會面對具有多維特征輸入的問題。這種情況出現(xiàn)在各種應(yīng)用中,包括圖像識別、自然語言處理、時間序列分析等。PyTorch是一個強大的深度學習框架,它提供了豐富的工具和庫,可以幫助我們有效地處理這些多維特征輸入數(shù)據(jù)。在本篇博客中,我們將探討如何使用PyTorch來處理多維特征輸入數(shù)據(jù)。
前期的回顧與準備
這里我們采用一組預測糖尿病的數(shù)據(jù)集,如下圖

這里的每一行代表一個樣本,同樣的,每一列代表什么呢,代表一個特征,如下圖。所以糖尿病的預測由下面這八個特征共同進行決定

按照過去的邏輯回歸,應(yīng)該是下圖所示的,因為這是單特征值

但是現(xiàn)在由單特征值已經(jīng)轉(zhuǎn)變?yōu)槎嗵卣髦盗?,所以我們需要對每個特征值進行處理,如下圖

中間的特征值與權(quán)重的點乘可以從矩陣的形式進行表現(xiàn)

因為邏輯回歸所以還有套一個Sigmoid函數(shù),通常情況下我們將函數(shù)內(nèi)的整體成為z(i)

注意: Sigmoid函數(shù)是一個按向量方式實現(xiàn)的
下面我們從矩陣相乘的形式進行展示,說明可以將一組方程合并為矩陣運算,可以想象為拼接哈。這樣的目的是轉(zhuǎn)化為并行運算,從而實現(xiàn)更快的運行速度。

所以從代碼的角度去修改,我們只需要改變一下維度就行了
class Model(torch.nn.Module): def __init__(self): super(Model, self).__init__() self.linear = torch.nn.Linear(8, 1) self.sigmoid = torch.nn.Sigmoid() def forward(self, x): x = self.sigmoid(self.linear(x)) return x model = Model()
這里的輸入維度設(shè)置為8,就像上圖中展示的x一樣是N×8形式的矩陣,而 y ^ \hat{y} y^?是一個N×1的矩陣。
這里我們將矩陣看做是一個空間變換的函數(shù)
我們可以從下圖很好的展示多層神經(jīng)網(wǎng)絡(luò)的變換

從一開始的屬于8維變?yōu)檩敵?維,再從輸入的6維變?yōu)檩敵龅?維,最后從輸入的4維變?yōu)檩敵龅?維。
如果從代碼的角度去寫,可以從下面的代碼進行實現(xiàn)
class Model(torch.nn.Module): def __init__(self): super(Model, self).__init__() self.linear1 = torch.nn.Linear(8, 6) self.linear2 = torch.nn.Linear(6, 4) self.linear3 = torch.nn.Linear(4, 1) self.sigmoid = torch.nn.Sigmoid() def forward(self, x): x = self.sigmoid(self.linear1(x)) x = self.sigmoid(self.linear2(x)) x = self.sigmoid(self.linear3(x)) return x model = Model()
這里我說明一下下面這條語句
- self.sigmoid = torch.nn.Sigmoid():這一行創(chuàng)建了一個 Sigmoid 激活函數(shù)的實例,用于在神經(jīng)網(wǎng)絡(luò)的正向傳播中引入非線性。
后面的前向計算就是一層的輸出是另一層輸入進行傳,最后將 y ^ \hat{y} y^?返回
同時我們的損失函數(shù)也沒有變化,更新函數(shù)也沒有變化,采用交叉熵和梯度下降

這里沒有使用Mini-Batch進行批量,后續(xù)的學習應(yīng)該會更新

代碼實現(xiàn)
import torch
import torch.nn as nn
import torch.optim as optim
from sklearn import datasets
from sklearn.model_selection import train_test_split
import numpy as np
# 載入Diabetes數(shù)據(jù)集
diabetes = datasets.load_diabetes()
# 將數(shù)據(jù)集拆分為特征和目標
X = diabetes.data # 特征
y = diabetes.target # 目標
# 數(shù)據(jù)預處理
X = (X - np.mean(X, axis=0)) / np.std(X, axis=0) # 特征標準化
# 拆分數(shù)據(jù)集為訓練集和測試集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 轉(zhuǎn)換為PyTorch張量
X_train = torch.FloatTensor(X_train)
y_train = torch.FloatTensor(y_train).view(-1, 1) # 將目標變量轉(zhuǎn)換為列向量
X_test = torch.FloatTensor(X_test)
y_test = torch.FloatTensor(y_test).view(-1, 1)
# 構(gòu)建包含多個線性層的神經(jīng)網(wǎng)絡(luò)模型
class DiabetesModel(nn.Module):
def __init__(self, input_size):
super(DiabetesModel, self).__init__()
self.fc1 = nn.Linear(input_size, 64) # 第一個線性層
self.fc2 = nn.Linear(64, 32) # 第二個線性層
self.fc3 = nn.Linear(32, 1) # 最終輸出線性層
def forward(self, x):
x = torch.relu(self.fc1(x)) # ReLU激活函數(shù)
x = torch.relu(self.fc2(x))
x = self.fc3(x)
return x
# 初始化模型
input_size = X_train.shape[1]
model = DiabetesModel(input_size)
# 定義損失函數(shù)和優(yōu)化器
criterion = nn.MSELoss() # 均方誤差損失
optimizer = optim.SGD(model.parameters(), lr=0.01)
# 訓練模型
num_epochs = 1000
for epoch in range(num_epochs):
# 前向傳播
outputs = model(X_train)
loss = criterion(outputs, y_train)
# 反向傳播和優(yōu)化
optimizer.zero_grad()
loss.backward()
optimizer.step()
if (epoch + 1) % 100 == 0:
print(f'Epoch [{epoch + 1}/{num_epochs}], Loss: {loss.item():.4f}')
# 在測試集上進行預測
model.eval()
with torch.no_grad():
y_pred = model(X_test)
# 計算性能指標
mse = nn.MSELoss()(y_pred, y_test)
print(f"均方誤差 (MSE): {mse.item():.4f}")運行結(jié)果如下

感興趣的同學可以使用不同的激活函數(shù)一一測試一下
比如我使用tanh函數(shù)測試后得到的均方誤差就小了許多

此鏈接是GitHub上的大佬做的可視化函數(shù):
https://dashee87.github.io/deep%20learning/visualising-activation-functions-in-neural-networks/
總結(jié)
這就是使用PyTorch處理多維特征輸入的基本流程。當然,實際應(yīng)用中,你可能需要更復雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),更大的數(shù)據(jù)集,以及更多的調(diào)優(yōu)和正則化技巧。但這個指南可以幫助你入門如何處理多維特征輸入的問題,并利用PyTorch構(gòu)建強大的深度學習模型。希望這篇博客對你有所幫助!
以上就是使用PyTorch處理多維特征輸入數(shù)據(jù)的完美實現(xiàn)的詳細內(nèi)容,更多關(guān)于PyTorch處理多維特征輸入的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
tensorflow實現(xiàn)softma識別MNIST
這篇文章主要為大家詳細介紹了tensorflow實現(xiàn)softma識別MNIST,具有一定的參考價值,感興趣的小伙伴們可以參考一下2018-03-03
學生如何注冊Pycharm專業(yè)版以及pycharm的安裝
這篇文章主要介紹了學生如何注冊Pycharm專業(yè)版以及pycharm的安裝,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2020-09-09
有關(guān)wxpython pyqt內(nèi)存占用問題分析
一直覺得wxpython占用內(nèi)存比較多,在工作中寫的一些小程序應(yīng)用,一對比其它的小程序,發(fā)現(xiàn)內(nèi)存相差確實有點大2014-06-06
python入門學習關(guān)于for else的特殊特性講解
本文將介紹 Python 中的" for-else"特性,并通過簡單的示例說明如何正確使用它,有需要的朋友可以借鑒參考下,希望能夠有所幫助2021-11-11
pytorch+sklearn實現(xiàn)數(shù)據(jù)加載的流程
這篇文章主要介紹了pytorch+sklearn實現(xiàn)數(shù)據(jù)加載,之前在訓練網(wǎng)絡(luò)的時候加載數(shù)據(jù)都是稀里糊涂的放進去的,也沒有理清楚里面的流程,今天整理一下,加深理解,也方便以后查閱,需要的朋友可以參考下2022-11-11

