快捷導(dǎo)航

基于Pytorch的神經(jīng)網(wǎng)絡(luò)之Regression的實(shí)現(xiàn)

更新時(shí)間：2022年03月15日 10:15:49 作者：ZDDWLIG

本文主要介紹了基于Pytorch的神經(jīng)網(wǎng)絡(luò)之Regression的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下

1.引言

我們之前已經(jīng)介紹了神經(jīng)網(wǎng)絡(luò)的基本知識(shí)，神經(jīng)網(wǎng)絡(luò)的主要作用就是預(yù)測(cè)與分類，現(xiàn)在讓我們來(lái)搭建第一個(gè)用于擬合回歸的神經(jīng)網(wǎng)絡(luò)吧。

2.神經(jīng)網(wǎng)絡(luò)搭建

2.1 準(zhǔn)備工作

要搭建擬合神經(jīng)網(wǎng)絡(luò)并繪圖我們需要使用python的幾個(gè)庫(kù)。

import torch
import torch.nn.functional as F
import matplotlib.pyplot as plt
 
x = torch.unsqueeze(torch.linspace(-5, 5, 100), dim=1)
y = x.pow(3) + 0.2 * torch.rand(x.size())

既然是擬合，我們當(dāng)然需要一些數(shù)據(jù)啦，我選取了在區(qū)間 $[-5,5]$ 內(nèi)的100個(gè)等間距點(diǎn)，并將它們排列成三次函數(shù)的圖像。

2.2 搭建網(wǎng)絡(luò)

我們定義一個(gè)類，繼承了封裝在torch中的一個(gè)模塊，我們先分別確定輸入層、隱藏層、輸出層的神經(jīng)元數(shù)目，繼承父類后再使用torch中的.nn.Linear()函數(shù)進(jìn)行輸入層到隱藏層的線性變換，隱藏層也進(jìn)行線性變換后傳入輸出層predict，接下來(lái)定義前向傳播的函數(shù)forward()，使用relu()作為激活函數(shù)，最后輸出predict()結(jié)果即可。

class Net(torch.nn.Module):
    def __init__(self, n_feature, n_hidden, n_output):
        super(Net, self).__init__()
        self.hidden = torch.nn.Linear(n_feature, n_hidden)
        self.predict = torch.nn.Linear(n_hidden, n_output)
    def forward(self, x):
        x = F.relu(self.hidden(x))
        return self.predict(x)
net = Net(1, 20, 1)
print(net)
optimizer = torch.optim.Adam(net.parameters(), lr=0.2)
loss_func = torch.nn.MSELoss()

網(wǎng)絡(luò)的框架搭建完了，然后我們傳入三層對(duì)應(yīng)的神經(jīng)元數(shù)目再定義優(yōu)化器，這里我選取了Adam而隨機(jī)梯度下降(SGD)，因?yàn)樗荢GD的優(yōu)化版本，效果在大部分情況下比SGD好，我們要傳入這個(gè)神經(jīng)網(wǎng)絡(luò)的參數(shù)(parameters)，并定義學(xué)習(xí)率(learning rate)，學(xué)習(xí)率通常選取小于1的數(shù)，需要憑借經(jīng)驗(yàn)并不斷調(diào)試。最后我們選取均方差法(MSE)來(lái)計(jì)算損失(loss)。

2.3 訓(xùn)練網(wǎng)絡(luò)

接下來(lái)我們要對(duì)我們搭建好的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，我訓(xùn)練了2000輪(epoch)，先更新結(jié)果prediction再計(jì)算損失，接著清零梯度，然后根據(jù)loss反向傳播(backward)，最后進(jìn)行優(yōu)化，找出最優(yōu)的擬合曲線。

for t in range(2000):
    prediction = net(x)
    loss = loss_func(prediction, y)
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

3.效果

使用如下繪圖的代碼展示效果。

for t in range(2000):
    prediction = net(x)
    loss = loss_func(prediction, y)
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    if t % 5 == 0:
        plt.cla()
        plt.scatter(x.data.numpy(), y.data.numpy(), s=10)
        plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=2)
        plt.text(2, -100, 'Loss=%.4f' % loss.data.numpy(), fontdict={'size': 10, 'color': 'red'})
        plt.pause(0.1)
plt.ioff()
plt.show()

最后的結(jié)果：

4. 完整代碼

import torch
import torch.nn.functional as F
import matplotlib.pyplot as plt
 
x = torch.unsqueeze(torch.linspace(-5, 5, 100), dim=1)
y = x.pow(3) + 0.2 * torch.rand(x.size())
class Net(torch.nn.Module):
    def __init__(self, n_feature, n_hidden, n_output):
        super(Net, self).__init__()
        self.hidden = torch.nn.Linear(n_feature, n_hidden)
        self.predict = torch.nn.Linear(n_hidden, n_output)
    def forward(self, x):
        x = F.relu(self.hidden(x))
        return self.predict(x)
net = Net(1, 20, 1)
print(net)
optimizer = torch.optim.Adam(net.parameters(), lr=0.2)
loss_func = torch.nn.MSELoss()
plt.ion()
for t in range(2000):
    prediction = net(x)
    loss = loss_func(prediction, y)
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    if t % 5 == 0:
        plt.cla()
        plt.scatter(x.data.numpy(), y.data.numpy(), s=10)
        plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=2)
        plt.text(2, -100, 'Loss=%.4f' % loss.data.numpy(), fontdict={'size': 10, 'color': 'red'})
        plt.pause(0.1)
plt.ioff()
plt.show()

到此這篇關(guān)于基于Pytorch的神經(jīng)網(wǎng)絡(luò)之Regression的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān) Pytorch Regression內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: