使用PyTorch處理多維特征輸入數(shù)據(jù)的完美實現(xiàn)
引言
在機器學習和深度學習領域,我們經(jīng)常會面對具有多維特征輸入的問題。這種情況出現(xiàn)在各種應用中,包括圖像識別、自然語言處理、時間序列分析等。PyTorch是一個強大的深度學習框架,它提供了豐富的工具和庫,可以幫助我們有效地處理這些多維特征輸入數(shù)據(jù)。在本篇博客中,我們將探討如何使用PyTorch來處理多維特征輸入數(shù)據(jù)。
前期的回顧與準備
這里我們采用一組預測糖尿病的數(shù)據(jù)集,如下圖
這里的每一行代表一個樣本,同樣的,每一列代表什么呢,代表一個特征,如下圖。所以糖尿病的預測由下面這八個特征共同進行決定
按照過去的邏輯回歸,應該是下圖所示的,因為這是單特征值
但是現(xiàn)在由單特征值已經(jīng)轉(zhuǎn)變?yōu)槎嗵卣髦盗?,所以我們需要對每個特征值進行處理,如下圖
中間的特征值與權(quán)重的點乘可以從矩陣的形式進行表現(xiàn)
因為邏輯回歸所以還有套一個Sigmoid函數(shù),通常情況下我們將函數(shù)內(nèi)的整體成為z(i)
注意: Sigmoid函數(shù)是一個按向量方式實現(xiàn)的
下面我們從矩陣相乘的形式進行展示,說明可以將一組方程合并為矩陣運算,可以想象為拼接哈。這樣的目的是轉(zhuǎn)化為并行運算,從而實現(xiàn)更快的運行速度。
所以從代碼的角度去修改,我們只需要改變一下維度就行了
class Model(torch.nn.Module): def __init__(self): super(Model, self).__init__() self.linear = torch.nn.Linear(8, 1) self.sigmoid = torch.nn.Sigmoid() def forward(self, x): x = self.sigmoid(self.linear(x)) return x model = Model()
這里的輸入維度設置為8,就像上圖中展示的x一樣是N×8形式的矩陣,而 y ^ \hat{y} y^?是一個N×1的矩陣。
這里我們將矩陣看做是一個空間變換的函數(shù)
我們可以從下圖很好的展示多層神經(jīng)網(wǎng)絡的變換
從一開始的屬于8維變?yōu)檩敵?維,再從輸入的6維變?yōu)檩敵龅?維,最后從輸入的4維變?yōu)檩敵龅?維。
如果從代碼的角度去寫,可以從下面的代碼進行實現(xiàn)
class Model(torch.nn.Module): def __init__(self): super(Model, self).__init__() self.linear1 = torch.nn.Linear(8, 6) self.linear2 = torch.nn.Linear(6, 4) self.linear3 = torch.nn.Linear(4, 1) self.sigmoid = torch.nn.Sigmoid() def forward(self, x): x = self.sigmoid(self.linear1(x)) x = self.sigmoid(self.linear2(x)) x = self.sigmoid(self.linear3(x)) return x model = Model()
這里我說明一下下面這條語句
- self.sigmoid = torch.nn.Sigmoid():這一行創(chuàng)建了一個 Sigmoid 激活函數(shù)的實例,用于在神經(jīng)網(wǎng)絡的正向傳播中引入非線性。
后面的前向計算就是一層的輸出是另一層輸入進行傳,最后將 y ^ \hat{y} y^?返回
同時我們的損失函數(shù)也沒有變化,更新函數(shù)也沒有變化,采用交叉熵和梯度下降
這里沒有使用Mini-Batch進行批量,后續(xù)的學習應該會更新
代碼實現(xiàn)
import torch import torch.nn as nn import torch.optim as optim from sklearn import datasets from sklearn.model_selection import train_test_split import numpy as np # 載入Diabetes數(shù)據(jù)集 diabetes = datasets.load_diabetes() # 將數(shù)據(jù)集拆分為特征和目標 X = diabetes.data # 特征 y = diabetes.target # 目標 # 數(shù)據(jù)預處理 X = (X - np.mean(X, axis=0)) / np.std(X, axis=0) # 特征標準化 # 拆分數(shù)據(jù)集為訓練集和測試集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 轉(zhuǎn)換為PyTorch張量 X_train = torch.FloatTensor(X_train) y_train = torch.FloatTensor(y_train).view(-1, 1) # 將目標變量轉(zhuǎn)換為列向量 X_test = torch.FloatTensor(X_test) y_test = torch.FloatTensor(y_test).view(-1, 1) # 構(gòu)建包含多個線性層的神經(jīng)網(wǎng)絡模型 class DiabetesModel(nn.Module): def __init__(self, input_size): super(DiabetesModel, self).__init__() self.fc1 = nn.Linear(input_size, 64) # 第一個線性層 self.fc2 = nn.Linear(64, 32) # 第二個線性層 self.fc3 = nn.Linear(32, 1) # 最終輸出線性層 def forward(self, x): x = torch.relu(self.fc1(x)) # ReLU激活函數(shù) x = torch.relu(self.fc2(x)) x = self.fc3(x) return x # 初始化模型 input_size = X_train.shape[1] model = DiabetesModel(input_size) # 定義損失函數(shù)和優(yōu)化器 criterion = nn.MSELoss() # 均方誤差損失 optimizer = optim.SGD(model.parameters(), lr=0.01) # 訓練模型 num_epochs = 1000 for epoch in range(num_epochs): # 前向傳播 outputs = model(X_train) loss = criterion(outputs, y_train) # 反向傳播和優(yōu)化 optimizer.zero_grad() loss.backward() optimizer.step() if (epoch + 1) % 100 == 0: print(f'Epoch [{epoch + 1}/{num_epochs}], Loss: {loss.item():.4f}') # 在測試集上進行預測 model.eval() with torch.no_grad(): y_pred = model(X_test) # 計算性能指標 mse = nn.MSELoss()(y_pred, y_test) print(f"均方誤差 (MSE): {mse.item():.4f}")
運行結(jié)果如下
感興趣的同學可以使用不同的激活函數(shù)一一測試一下
比如我使用tanh函數(shù)測試后得到的均方誤差就小了許多
此鏈接是GitHub上的大佬做的可視化函數(shù):
https://dashee87.github.io/deep%20learning/visualising-activation-functions-in-neural-networks/
總結(jié)
這就是使用PyTorch處理多維特征輸入的基本流程。當然,實際應用中,你可能需要更復雜的神經(jīng)網(wǎng)絡結(jié)構(gòu),更大的數(shù)據(jù)集,以及更多的調(diào)優(yōu)和正則化技巧。但這個指南可以幫助你入門如何處理多維特征輸入的問題,并利用PyTorch構(gòu)建強大的深度學習模型。希望這篇博客對你有所幫助!
以上就是使用PyTorch處理多維特征輸入數(shù)據(jù)的完美實現(xiàn)的詳細內(nèi)容,更多關(guān)于PyTorch處理多維特征輸入的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
tensorflow實現(xiàn)softma識別MNIST
這篇文章主要為大家詳細介紹了tensorflow實現(xiàn)softma識別MNIST,具有一定的參考價值,感興趣的小伙伴們可以參考一下2018-03-03學生如何注冊Pycharm專業(yè)版以及pycharm的安裝
這篇文章主要介紹了學生如何注冊Pycharm專業(yè)版以及pycharm的安裝,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2020-09-09有關(guān)wxpython pyqt內(nèi)存占用問題分析
一直覺得wxpython占用內(nèi)存比較多,在工作中寫的一些小程序應用,一對比其它的小程序,發(fā)現(xiàn)內(nèi)存相差確實有點大2014-06-06python入門學習關(guān)于for else的特殊特性講解
本文將介紹 Python 中的" for-else"特性,并通過簡單的示例說明如何正確使用它,有需要的朋友可以借鑒參考下,希望能夠有所幫助2021-11-11pytorch+sklearn實現(xiàn)數(shù)據(jù)加載的流程
這篇文章主要介紹了pytorch+sklearn實現(xiàn)數(shù)據(jù)加載,之前在訓練網(wǎng)絡的時候加載數(shù)據(jù)都是稀里糊涂的放進去的,也沒有理清楚里面的流程,今天整理一下,加深理解,也方便以后查閱,需要的朋友可以參考下2022-11-11