快捷導(dǎo)航

pytorch的backward()的底層實(shí)現(xiàn)邏輯詳解

更新時(shí)間：2023年11月20日 11:34:16 作者：子燕若水

自動(dòng)微分是一種計(jì)算張量（tensors）的梯度（gradients）的技術(shù),它在深度學(xué)習(xí)中非常有用,這篇文章主要介紹了pytorch的backward()的底層實(shí)現(xiàn)邏輯,需要的朋友可以參考下

自動(dòng)微分是一種計(jì)算張量（tensors）的梯度（gradients）的技術(shù)，它在深度學(xué)習(xí)中非常有用。自動(dòng)微分的基本思想是：

自動(dòng)微分會(huì)記錄數(shù)據(jù)（張量）和所有執(zhí)行的操作（以及產(chǎn)生的新張量）在一個(gè)由函數(shù)（Function）對(duì)象組成的有向無環(huán)圖（DAG）中。在這個(gè)圖中，葉子節(jié)點(diǎn)是輸入張量，根節(jié)點(diǎn)是輸出張量。通過從根節(jié)點(diǎn)到葉子節(jié)點(diǎn)追蹤這個(gè)圖，可以使用鏈?zhǔn)椒▌t（chain rule）自動(dòng)地計(jì)算梯度。

在前向傳播（forward pass）中，自動(dòng)微分同時(shí)做兩件事：
- 運(yùn)行請(qǐng)求的操作來計(jì)算一個(gè)結(jié)果張量，以及
- 在 DAG 中保留操作的梯度函數(shù)。
- 在 DAG 中保留操作的梯度函數(shù)，這就是說，當(dāng)你給自動(dòng)微分一個(gè)張量和一個(gè)操作，它不僅會(huì)計(jì)算出結(jié)果張量，還會(huì)記住這個(gè)操作的梯度函數(shù)，也就是這個(gè)操作對(duì)輸入張量的導(dǎo)數(shù)。例如，如果你給自動(dòng)微分一個(gè)張量 x = [1, 2, 3] 和一個(gè)操作 y = x + 1，它不僅會(huì)計(jì)算出 y = [2, 3, 4]，還會(huì)記住這個(gè)操作的梯度函數(shù)是 dy/dx = 1，也就是說，y 對(duì) x 的導(dǎo)數(shù)是 1。這樣，當(dāng)你需要計(jì)算梯度時(shí)，自動(dòng)微分就可以根據(jù)這個(gè)梯度函數(shù)來計(jì)算出結(jié)果張量對(duì)輸入張量的梯度。
在PyTorch中，DAG是動(dòng)態(tài)的。需要注意的一點(diǎn)是，圖是從頭開始重新創(chuàng)建的;在每個(gè) .backward() 調(diào)用之后，autograd開始填充一個(gè)新的圖。
后向傳播開始于當(dāng)在 DAG 的根節(jié)點(diǎn)上調(diào)用 .backward() 方法。這個(gè)方法會(huì)觸發(fā)自動(dòng)微分開始計(jì)算梯度。
自動(dòng)微分會(huì)從每個(gè) .grad_fn 中計(jì)算梯度，這個(gè) .grad_fn 是一個(gè)函數(shù)對(duì)象，它保存了操作的梯度函數(shù)。例如，如果一個(gè)操作是 y = x + 1，那么它的 .grad_fn 就是 dy/dx = 1。
自動(dòng)微分會(huì)將計(jì)算出的梯度累加到相應(yīng)張量的 .grad 屬性中，這個(gè) .grad 屬性是一個(gè)張量，它保存了結(jié)果張量對(duì)輸入張量的梯度。例如，如果一個(gè)結(jié)果張量是 y = [2, 3, 4]，那么它的 .grad 屬性就是 [1, 1, 1]，表示 y 對(duì) x 的梯度是 1。
使用鏈?zhǔn)椒▌t（chain rule），自動(dòng)微分會(huì)一直向后傳播，直到到達(dá)葉子張量。鏈?zhǔn)椒▌t是一種數(shù)學(xué)公式，它可以將復(fù)合函數(shù)的梯度分解為簡(jiǎn)單函數(shù)的梯度的乘積。例如，如果一個(gè)復(fù)合函數(shù)是 z = f(g(x))，那么它的梯度是 dz/dx = dz/dg * dg/dx。

 
import torch
import torch.nn as nn
M = nn.Linear(2, 2) # neural network module
M.eval() # set M to evaluation mode
with torch.no_grad(): # disable gradient computation
    for param in M.parameters(): # loop over all parameters
        param.fill_(1) # fill the parameter with 1
M.requires_grad_(False)
a = torch.tensor([1., 2.], requires_grad=True) # leaf node
b = torch.tensor([13., 32.], requires_grad=True) # leaf node
c = M(a) # non-leaf node
c2 = M(b) # non-leaf node
d = c * 2  # non-leaf node
d.sum().backward() # compute gradients
print(a.grad)
print(b.grad)
print(c.grad)
print(d.grad)
print(M.weight.grad) # None

構(gòu)建計(jì)算圖:當(dāng)我們調(diào)用backward()方法時(shí)，PyTorch會(huì)自動(dòng)構(gòu)建從葉子節(jié)點(diǎn)a到損失值d.sum()的計(jì)算圖，這是一個(gè)有向無環(huán)圖，表示了各個(gè)張量之間的運(yùn)算關(guān)系。計(jì)算圖中還包含了兩個(gè)中間變量c和d，它們是由a經(jīng)過M模型的前向傳播得到的。計(jì)算圖的作用是記錄反向傳播的路徑，以便于計(jì)算梯度。計(jì)算梯度:在計(jì)算圖中，每個(gè)張量都有一個(gè)屬性grad，用于存儲(chǔ)它的梯度值。當(dāng)我們調(diào)用backward()方法時(shí)，PyTorch會(huì)沿著計(jì)算圖按照鏈?zhǔn)椒▌t計(jì)算并填充每個(gè)張量的grad屬性。由于我們只對(duì)葉子節(jié)點(diǎn)a的梯度感興趣，所以只有a的grad屬性會(huì)被計(jì)算出來，而中間變量c和d的grad屬性會(huì)被忽略。a的grad屬性的值是損失值d.sum()對(duì)a的偏導(dǎo)數(shù)，表示了a的變化對(duì)損失值的影響。

到此這篇關(guān)于pytorch的backward()的底層實(shí)現(xiàn)邏輯的文章就介紹到這了,更多相關(guān)pytorch backward()內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: