pytorch 如何打印網(wǎng)絡回傳梯度
需求:
打印梯度,檢查網(wǎng)絡學習情況
net = your_network().cuda() def train(): ... outputs = net(inputs) loss = criterion(outputs, targets) loss.backward() for name, parms in net.named_parameters(): print('-->name:', name, '-->grad_requirs:',parms.requires_grad, \ ' -->grad_value:',parms.grad) ...
打印結(jié)果如下:
name表示網(wǎng)絡參數(shù)的名字; parms.requires_grad 表示該參數(shù)是否可學習,是不是frozen的; parm.grad 打印該參數(shù)的梯度值。
補充:pytorch的梯度計算
看代碼吧~
import torch from torch.autograd import Variable x = torch.Tensor([[1.,2.,3.],[4.,5.,6.]]) #grad_fn是None x = Variable(x, requires_grad=True) y = x + 2 z = y*y*3 out = z.mean() #x->y->z->out print(x) print(y) print(z) print(out) #結(jié)果: tensor([[1., 2., 3.], [4., 5., 6.]], requires_grad=True) tensor([[3., 4., 5.], [6., 7., 8.]], grad_fn=<AddBackward>) tensor([[ 27., 48., 75.], [108., 147., 192.]], grad_fn=<MulBackward>) tensor(99.5000, grad_fn=<MeanBackward1>)
若是關于graph leaves求導的結(jié)果變量是一個標量,那么gradient默認為None,或者指定為“torch.Tensor([1.0])”
若是關于graph leaves求導的結(jié)果變量是一個向量,那么gradient是不能缺省的,要是和該向量同緯度的tensor
out.backward() print(x.grad) #結(jié)果: tensor([[3., 4., 5.], [6., 7., 8.]]) #如果是z關于x求導就必須指定gradient參數(shù): gradients = torch.Tensor([[2.,1.,1.],[1.,1.,1.]]) z.backward(gradient=gradients) #若z不是一個標量,那么就先構造一個標量的值:L = torch.sum(z*gradient),再關于L對各個leaf Variable計算梯度 #對x關于L求梯度 x.grad #結(jié)果: tensor([[36., 24., 30.], [36., 42., 48.]])
錯誤情況
z.backward() print(x.grad) #報錯:RuntimeError: grad can be implicitly created only for scalar outputs只能為標量創(chuàng)建隱式變量 x1 = Variable(torch.Tensor([[1.,2.,3.],[4.,5.,6.]])) x2 = Variable(torch.arange(4).view(2,2).type(torch.float), requires_grad=True) c = x2.mm(x1) c.backward(torch.ones_like(c)) # c.backward() #RuntimeError: grad can be implicitly created only for scalar outputs print(x2.grad)
從上面的例子中,out是常量,可以默認創(chuàng)建隱變量,如果反向傳播的不是常量,要知道該矩陣的具體值,在網(wǎng)絡中就是loss矩陣,方向傳播的過程中就是拿該歸一化的損失乘梯度來更新各神經(jīng)元的參數(shù)。
看到一個博客這樣說:loss = criterion(outputs, labels)對應loss += (label[k] - h) * (label[k] - h) / 2
就是求loss(其實我覺得這一步不用也可以,反向傳播時用不到loss值,只是為了讓我們知道當前的loss是多少)
我認為一定是要求loss的具體值,才能對比閾值進行分類,通過非線性激活函數(shù),判斷是否激活。
以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關文章
帶你徹底搞懂python操作mysql數(shù)據(jù)庫(cursor游標講解)
這篇文章主要介紹了帶你徹底搞懂python操作mysql數(shù)據(jù)庫(cursor游標講解),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2020-01-01Python統(tǒng)計列表元素出現(xiàn)次數(shù)的方法示例
這篇文章主要介紹了Python統(tǒng)計列表元素出現(xiàn)次數(shù)的方法示例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2021-04-04提高Python生產(chǎn)力的五個Jupyter notebook插件
Jupyter Notebook 因其可用性和實用性而成為數(shù)據(jù)分析和機器學習模型領域最流行的 IDE,它也是很多數(shù)據(jù)初學者的首選 IDE。它最具特色的是,擁有豐富的插件、擴展數(shù)據(jù)處理能力和提升工作效率2021-11-11