欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

pytorch 如何打印網(wǎng)絡回傳梯度

 更新時間:2021年05月13日 11:52:22   作者:Jee_King  
這篇文章主要介紹了pytorch 實現(xiàn)打印網(wǎng)絡回傳梯度的操作,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教

需求:

打印梯度,檢查網(wǎng)絡學習情況

net = your_network().cuda()
def train():
 ...
 outputs = net(inputs)
    loss = criterion(outputs, targets)
    loss.backward()
 for name, parms in net.named_parameters(): 
  print('-->name:', name, '-->grad_requirs:',parms.requires_grad, \
   ' -->grad_value:',parms.grad)
 ...

打印結(jié)果如下:

name表示網(wǎng)絡參數(shù)的名字; parms.requires_grad 表示該參數(shù)是否可學習,是不是frozen的; parm.grad 打印該參數(shù)的梯度值。

補充:pytorch的梯度計算

看代碼吧~

import torch
from torch.autograd import Variable
x = torch.Tensor([[1.,2.,3.],[4.,5.,6.]])  #grad_fn是None
x = Variable(x, requires_grad=True)
y = x + 2
z = y*y*3
out = z.mean()
#x->y->z->out
print(x)
print(y)
print(z)
print(out)
#結(jié)果:
tensor([[1., 2., 3.],
        [4., 5., 6.]], requires_grad=True)
tensor([[3., 4., 5.],
        [6., 7., 8.]], grad_fn=<AddBackward>)
tensor([[ 27.,  48.,  75.],
        [108., 147., 192.]], grad_fn=<MulBackward>)
tensor(99.5000, grad_fn=<MeanBackward1>)

若是關于graph leaves求導的結(jié)果變量是一個標量,那么gradient默認為None,或者指定為“torch.Tensor([1.0])”

若是關于graph leaves求導的結(jié)果變量是一個向量,那么gradient是不能缺省的,要是和該向量同緯度的tensor

out.backward()
print(x.grad)
#結(jié)果:
tensor([[3., 4., 5.],
        [6., 7., 8.]])
#如果是z關于x求導就必須指定gradient參數(shù):
gradients = torch.Tensor([[2.,1.,1.],[1.,1.,1.]])
z.backward(gradient=gradients)
#若z不是一個標量,那么就先構造一個標量的值:L = torch.sum(z*gradient),再關于L對各個leaf Variable計算梯度
#對x關于L求梯度
x.grad
#結(jié)果:
tensor([[36., 24., 30.],
        [36., 42., 48.]])

錯誤情況

z.backward()
print(x.grad) 
#報錯:RuntimeError: grad can be implicitly created only for scalar outputs只能為標量創(chuàng)建隱式變量
    
x1 = Variable(torch.Tensor([[1.,2.,3.],[4.,5.,6.]])) 
x2 = Variable(torch.arange(4).view(2,2).type(torch.float), requires_grad=True)
c = x2.mm(x1)
c.backward(torch.ones_like(c))
# c.backward()
#RuntimeError: grad can be implicitly created only for scalar outputs
print(x2.grad)

從上面的例子中,out是常量,可以默認創(chuàng)建隱變量,如果反向傳播的不是常量,要知道該矩陣的具體值,在網(wǎng)絡中就是loss矩陣,方向傳播的過程中就是拿該歸一化的損失乘梯度來更新各神經(jīng)元的參數(shù)。

看到一個博客這樣說:loss = criterion(outputs, labels)對應loss += (label[k] - h) * (label[k] - h) / 2

就是求loss(其實我覺得這一步不用也可以,反向傳播時用不到loss值,只是為了讓我們知道當前的loss是多少)

我認為一定是要求loss的具體值,才能對比閾值進行分類,通過非線性激活函數(shù),判斷是否激活。

以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關文章

  • 利用Python刪除電腦中重復文件的方法

    利用Python刪除電腦中重復文件的方法

    這篇文章主要介紹了利用Python刪除電腦中的重復文件,下文我們來分享解決電腦中文件重復的情況的一個方法,需要的朋友可以參考一下,希望對大家日常問題解決有所幫助
    2022-05-05
  • python中的eval函數(shù)使用實例

    python中的eval函數(shù)使用實例

    eval() 函數(shù)用來執(zhí)行一個字符串表達式,并返回表達式的值,這篇文章主要介紹了python中的eval函數(shù),需要的朋友可以參考下
    2022-11-11
  • mysql 之通過配置文件鏈接數(shù)據(jù)庫

    mysql 之通過配置文件鏈接數(shù)據(jù)庫

    這篇文章主要介紹了mysql 之通過配置文件鏈接數(shù)據(jù)庫的相關資料,主要是一個單例餓漢式的獲得數(shù)據(jù)庫連接方法工具類的實現(xiàn),需要的朋友可以參考下
    2017-08-08
  • Python二維數(shù)組不同初始化方式的差異說明

    Python二維數(shù)組不同初始化方式的差異說明

    這篇文章主要介紹了Python二維數(shù)組不同初始化方式的差異說明,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2023-08-08
  • python生成密碼字典詳解

    python生成密碼字典詳解

    大家好,本篇文章主要講的是python生成密碼字典詳解,感興趣的同學趕快來看一看吧,對你有幫助的話記得收藏一下,方便下次瀏覽
    2022-01-01
  • 帶你徹底搞懂python操作mysql數(shù)據(jù)庫(cursor游標講解)

    帶你徹底搞懂python操作mysql數(shù)據(jù)庫(cursor游標講解)

    這篇文章主要介紹了帶你徹底搞懂python操作mysql數(shù)據(jù)庫(cursor游標講解),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2020-01-01
  • Python統(tǒng)計列表元素出現(xiàn)次數(shù)的方法示例

    Python統(tǒng)計列表元素出現(xiàn)次數(shù)的方法示例

    這篇文章主要介紹了Python統(tǒng)計列表元素出現(xiàn)次數(shù)的方法示例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2021-04-04
  • Python 通過分隔符分割文件后按特定次序重新組合的操作

    Python 通過分隔符分割文件后按特定次序重新組合的操作

    這篇文章主要介紹了Python 通過分隔符分割文件后按特定次序重新組合的操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2021-04-04
  • python 用下標截取字符串的實例

    python 用下標截取字符串的實例

    今天小編就為大家分享一篇python 用下標截取字符串的實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-12-12
  • 提高Python生產(chǎn)力的五個Jupyter notebook插件

    提高Python生產(chǎn)力的五個Jupyter notebook插件

    Jupyter Notebook 因其可用性和實用性而成為數(shù)據(jù)分析和機器學習模型領域最流行的 IDE,它也是很多數(shù)據(jù)初學者的首選 IDE。它最具特色的是,擁有豐富的插件、擴展數(shù)據(jù)處理能力和提升工作效率
    2021-11-11

最新評論