快捷導(dǎo)航

在?pytorch?中實(shí)現(xiàn)計(jì)算圖和自動(dòng)求導(dǎo)

更新時(shí)間：2022年06月28日 10:47:00 作者：??zidea????

這篇文章主要介紹了在?pytorch?中實(shí)現(xiàn)計(jì)算圖和自動(dòng)求導(dǎo)，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的小伙伴可以參考一下

前言：

今天聊一聊 pytorch 的計(jì)算圖和自動(dòng)求導(dǎo)，我們先從一個(gè)簡(jiǎn)單例子來(lái)看，下面是一個(gè)簡(jiǎn)單函數(shù)建立了 yy 和 xx 之間的關(guān)系

然后我們結(jié)點(diǎn)和邊形式表示上面公式：

上面的式子可以用圖的形式表達(dá)，接下來(lái)我們用 torch 來(lái)計(jì)算 x 導(dǎo)數(shù)，首先我們創(chuàng)建一個(gè) tensor 并且將其requires_grad設(shè)置為True表示隨后反向傳播會(huì)對(duì)其進(jìn)行求導(dǎo)。

x = torch.tensor(3.,requires_grad=True)

然后寫出

y = 3*x**2 + 4*x + 2

y.backward()
x.grad

通過(guò)調(diào)用y.backward()來(lái)進(jìn)行求導(dǎo)，這時(shí)就可以通過(guò)x.grad來(lái)獲得x的導(dǎo)數(shù)

x.requires_grad_(False)

可以通過(guò)requires_grad_讓x不參與到自動(dòng)求導(dǎo)

for epoch in range(3):
  y = 3*x**2 + 4*x + 2
  y.backward()
  print(x.grad)
  x.grad.zero_()

如果這里沒有調(diào)用x.grad_zero_()就是把每次求導(dǎo)數(shù)和上一次求導(dǎo)結(jié)果進(jìn)行累加。

鏈?zhǔn)椒▌t

相對(duì)于 z 對(duì) x 求偏導(dǎo)時(shí)，我們可以將 y 看成常數(shù)，這樣 x 導(dǎo)數(shù)是 1 那么

x = torch.tensor([1.,2.,3.],requires_grad=True)

y = x * 2 + 3
z = y **2

out = z.mean()
out.backward()

print(out) #tensor(51.6667, grad_fn=<MeanBackward0>)

print(x.grad) #tensor([ 6.6667, 9.3333, 12.0000])

對(duì)于一個(gè)簡(jiǎn)單的網(wǎng)絡(luò)，我們可以手動(dòng)計(jì)算梯度，但是如果擺在你面前的是一個(gè)有152 層的網(wǎng)絡(luò)怎么辦？或者該網(wǎng)絡(luò)有多個(gè)分支。這時(shí)你的計(jì)算復(fù)雜程度可想而知。接下來(lái)會(huì)帶來(lái)更深入自動(dòng)求導(dǎo)內(nèi)部機(jī)制

到此這篇關(guān)于在 pytorch 中實(shí)現(xiàn)計(jì)算圖和自動(dòng)求導(dǎo)的文章就介紹到這了,更多相關(guān) pytorch 計(jì)算圖內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

相關(guān)文章

python回調(diào)函數(shù)中使用多線程的方法
這篇文章主要介紹了python回調(diào)函數(shù)中使用多線程的方法,需要的朋友可以參考下
2017-12-12
python如何處理matlab的mat數(shù)據(jù)
這篇文章主要介紹了python如何處理matlab的mat數(shù)據(jù)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
2022-05-05
python字符串string的內(nèi)置方法實(shí)例詳解
這篇文章主要介紹了python字符串string的內(nèi)置方法，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友參考下吧
2018-05-05
Python中g(shù)lob庫(kù)實(shí)現(xiàn)文件名的匹配
本文主要主要介紹了Python中g(shù)lob庫(kù)實(shí)現(xiàn)文件名的匹配，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2021-06-06
Python實(shí)現(xiàn)解析參數(shù)的三種方法詳解
這篇文章主要介紹了python解析參數(shù)的三種方法,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2022-07-07
python如何利用paramiko執(zhí)行服務(wù)器命令
這篇文章主要介紹了python如何利用paramiko執(zhí)行服務(wù)器命令，幫助大家更好的理解和使用python，感興趣的朋友可以了解下
2020-11-11
Python flask框架實(shí)現(xiàn)瀏覽器點(diǎn)擊自定義跳轉(zhuǎn)頁(yè)面
這篇文章主要介紹了Python flask框架實(shí)現(xiàn)瀏覽器點(diǎn)擊自定義跳轉(zhuǎn)頁(yè)面,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-06-06
Python requests timeout的設(shè)置
這篇文章主要介紹了Python requests timeout的設(shè)置，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2021-04-04
python編程培訓(xùn) python培訓(xùn)靠譜嗎
現(xiàn)在大家都知道，比較火的編程語(yǔ)言就是python了，很多朋友都想學(xué)習(xí)python編程，想上一個(gè)好的python培訓(xùn)班，小編今天給大家全面分析一下關(guān)于python編程培訓(xùn)方面的問題，希望能給你答疑解惑。
2018-01-01
Python實(shí)例方法、類方法、靜態(tài)方法區(qū)別詳解
這篇文章主要介紹了Python實(shí)例方法、類方法、靜態(tài)方法區(qū)別詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-09-09