Python反向傳播實現(xiàn)線性回歸步驟詳細講解

更新時間：2022年10月18日 09:40:49 作者：Henry_zs

回歸是監(jiān)督學習的一個重要問題，回歸用于預測輸入變量和輸出變量之間的關(guān)系，特別是當輸入變量的值發(fā)生變化時，輸出變量的值也隨之發(fā)生變化。回歸模型正是表示從輸入變量到輸出變量之間映射的函數(shù)

1. 導入包

我們這次的任務(wù)是隨機生成一些離散的點，然后用直線（y = w *x + b ）去擬合

首先看一下我們需要導入的包有

torch 包為我們生成張量，可以使用反向傳播

matplotlib.pyplot 包幫助我們繪制曲線，實現(xiàn)可視化

2. 生成數(shù)據(jù)

這里我們通過rand隨機生成數(shù)據(jù)，因為生成的數(shù)據(jù)在0~1之間，這里我們擴大10倍。

我們設(shè)置的batch_size，也就是數(shù)據(jù)的個數(shù)為20個，所以這里會產(chǎn)生維度是(20,1)個訓練樣本

我們假設(shè)大概的回歸是 y = 2 * x + 3 的，為了保證損失不一直為0 ，這里我們添加一點噪音

最后返回x作為輸入，y作為真實值label

rand [0，1]均勻分布

如果想要每次產(chǎn)生的隨機數(shù)是一樣的，可以在代碼的前面設(shè)置一下隨機數(shù)種子

3. 訓練數(shù)據(jù)

首先，我們要建立的模型是線性的y = w * x + b ，所以我們需要先初始化w ，b

使用randn 標準正態(tài)分布隨機初始化權(quán)重w，將偏置b初始化為0

為什么將權(quán)重w隨機初始化？

首先，為了抑制過擬合，提高模型的泛化能力，我們可以采用權(quán)重衰減來抑制權(quán)重w的大小。因為權(quán)重過大，對應(yīng)的輸入x的特征就越重要，但是如果對應(yīng)x是噪音的話，那么系統(tǒng)就會陷入過擬合中。所以我們希望得到的模型曲線是一條光滑的，對輸入不敏感的曲線，所以w越小越好
那這樣為什么不直接把權(quán)重初始化為0，或者說很小很小的數(shù)字呢。因為，w太小的話，那么在反向傳播的時候，由于我們習慣學習率lr 設(shè)置很小，那在更新w的時候基本就不更新了。而不把權(quán)重設(shè)置為0，是因為無論訓練多久，在更新權(quán)重的時候，所有權(quán)重都會被更新成相同的值，這樣多層隱藏層就沒有意義了。嚴格來說，是為了瓦解權(quán)重的對稱結(jié)構(gòu)

接下來可以訓練我們的模型了

1. 將輸入的特征x和對應(yīng)真實值label y通過zip函數(shù)打包。將輸入x經(jīng)過模型 w *x + b 的預測輸出預測值y

2. 計算損失函數(shù)loss，因為之前將w、b都是設(shè)置成會計算梯度的，那么loss.backward() 會自動計算w和b的梯度。用w的值data，減去梯度的值grad.data 乘上學習率lr完成一次更新

3. 當w、b梯度不為零的話，要清零。這里有兩種解釋，第一種是每次計算完梯度后，值會和之前計算的梯度值進行累加，而我們只是需要當前這步的梯度值，所有我們需要將之前的值清零。第二種是，因為梯度的累加，那么相當于實現(xiàn)一個很大的batch訓練。假如一個epoch里面，梯度不進行清零的話，相當于把所有的樣本求和后在進行梯度下降，而不是我們原先使用的針對單個樣本進行下降的SGD算法

4. 每100次迭代后，我們打印一下?lián)p失

4. 繪制圖像

scatter 相當于離散點的繪圖

要繪制連續(xù)的圖像，只需要給個定義域然后通過表達式 w * x +b 計算y就可以了，最后輸出一下w和b，看看是不是和我們設(shè)置的w = 2，b =3 接近

5. 代碼

import torch
import matplotlib.pyplot as plt
def trainSet(batch_size = 20):   # 定義訓練集
    x = torch.rand(batch_size,1) * 10
    y = x * 2 + 3 + torch.randn(batch_size,1)   # y = x * 2  + 3（近似）
    return x,y
train_x, train_y = trainSet()   # 訓練集
w =torch.randn(1,requires_grad= True)
b = torch.zeros(1,requires_grad= True)
lr = 0.001
for epoch in range(1000):
    for x,y in zip(train_x,train_y):  # SGD算法，如果是BSGD的話，不需要這個for
        y_pred = w*x  + b
        loss = (y - y_pred).pow(2) / 2
        loss.backward()
        w.data -= w.grad.data * lr
        b.data -= b.grad.data * lr
        if w.data is not True:   # 梯度值不為零的話，要清零
            w.grad.data.zero_()   #  否則相當于一個大的batch訓練
        if b.data is not True:
            b.grad.data.zero_()
    if epoch % 100 ==0:
        print('loss:',loss.data)
plt.scatter(train_x,train_y)
x = torch.arange(0,11).view(-1,1)
y = x * w.data + b.data
plt.plot(x,y)
plt.show()
print(w.data,b.data)

輸出的圖像