淺談pytorch grad_fn以及權(quán)重梯度不更新的問題

更新時(shí)間：2019年08月20日 14:10:06 作者：端木亽

今天小編就為大家分享一篇淺談pytorch grad_fn以及權(quán)重梯度不更新的問題，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧

前提：我訓(xùn)練的是二分類網(wǎng)絡(luò)，使用語言為pytorch

Varibale包含三個(gè)屬性：

data：存儲(chǔ)了Tensor，是本體的數(shù)據(jù)

grad：保存了data的梯度，本事是個(gè)Variable而非Tensor，與data形狀一致

grad_fn：指向Function對象，用于反向傳播的梯度計(jì)算之用

在構(gòu)建網(wǎng)絡(luò)時(shí)，剛開始的錯(cuò)誤為：沒有可以grad_fn屬性的變量。

百度后得知要對需要進(jìn)行迭代更新的變量設(shè)置requires_grad=True ，操作如下：

train_pred = Variable(train_pred.float(), requires_grad=True)`

這樣設(shè)置之后網(wǎng)絡(luò)是跑起來了，但是準(zhǔn)確率一直沒有提升，很明顯可以看出網(wǎng)絡(luò)什么都沒學(xué)到。

我輸出 model.parameters() (網(wǎng)絡(luò)內(nèi)部的權(quán)重和偏置)查看，發(fā)現(xiàn)它的權(quán)重并沒有更新，一直是同一個(gè)值，至此可以肯定網(wǎng)絡(luò)什么都沒學(xué)到，還是迭代那里出了問題。

詢問同門后發(fā)現(xiàn)問題不在這里。

計(jì)算loss時(shí)，target與train_pred的size不匹配，我以以下操作修改了train_pred，使兩者尺寸一致，才導(dǎo)致了上述問題。

  train_pred = model(data)
  train_pred = torch.max(train_pred, 1)[1].data.squeeze()
  train_pred = Variable(train_pred.float(), requires_grad=False)
  train_loss = F.binary_cross_entropy(validation_pred.float(), target)
  train_loss.backward()

對train_pred多次處理后，它已無法正確地反向傳播，實(shí)際上應(yīng)該更改target，使其與train_pred size一致。

重點(diǎn)！??！要想loss正確反向傳播，應(yīng)直接將model(data)傳入loss函數(shù)。

最終修改代碼如下：

 for batch_idx, (data, target) in enumerate(train_loader):
  # Get Samples
  label = target.view(target.size(0), 1).long()
  target_onehot = torch.zeros(data.shape[0], args.num_classes).scatter_(1, label, 1)
  data, target_onehot = Variable(data.cuda()), Variable(target_onehot.cuda().float())
  
  model.zero_grad()

  # Predict
  train_pred = model(data)
  train_loss = F.binary_cross_entropy(train_pred, target_onehot)
  train_loss.backward()
  optimizer.step()

以上這篇淺談pytorch grad_fn以及權(quán)重梯度不更新的問題就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Python檢測一個(gè)對象是否為字符串類的方法
這篇文章主要介紹了Python檢測一個(gè)對象是否為字符串類的方法,即檢測是一個(gè)對象是否是字符串對象,本文還講解了一個(gè)有趣的判斷方法,需要的朋友可以參考下
2015-05-05
在pytorch中計(jì)算準(zhǔn)確率,召回率和F1值的操作
這篇文章主要介紹了在pytorch中計(jì)算準(zhǔn)確率,召回率和F1值的操作，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
2021-05-05
python遠(yuǎn)程調(diào)用rpc模塊xmlrpclib的方法
今天小編就為大家分享一篇python遠(yuǎn)程調(diào)用rpc模塊xmlrpclib的方法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-01-01
beam search及pytorch的實(shí)現(xiàn)方式
這篇文章主要介紹了beam search及pytorch的實(shí)現(xiàn)方式，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
2021-05-05
Python常用數(shù)據(jù)類型之間的轉(zhuǎn)換總結(jié)
在本篇文章里小編給大家整理的是關(guān)于Python中常用數(shù)據(jù)類型之間的轉(zhuǎn)換相關(guān)知識(shí)點(diǎn)，有需要的朋友們可以學(xué)習(xí)下
2019-09-09
Django 緩存配置Redis使用詳解
這篇文章主要介紹了Django 緩存配置Redis使用詳解，緩存是將一些常用的數(shù)據(jù)保存內(nèi)存或者memcache中，在一定的時(shí)間內(nèi)有用戶來訪問這些數(shù)據(jù)時(shí)，則不再去執(zhí)行數(shù)據(jù)庫及渲染等操作，而是直接從內(nèi)存或memcache的緩存中去取得數(shù)據(jù)，然后返回給用戶
2019-07-07
python常用知識(shí)梳理(必看篇)
下面小編就為大家?guī)硪黄猵ython常用知識(shí)梳理(必看篇)。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧
2017-03-03
python數(shù)據(jù)分析之將爬取的數(shù)據(jù)保存為csv格式
Python內(nèi)置了CSV模塊,可直接通過該模塊實(shí)現(xiàn)csv文件的讀寫操作,在web應(yīng)用中導(dǎo)出數(shù)據(jù)是比較常見操作,下面這篇文章主要給大家介紹了關(guān)于python數(shù)據(jù)分析之將爬取的數(shù)據(jù)保存為csv格式的相關(guān)資料,需要的朋友可以參考下
2022-06-06
pandas如何篩選某個(gè)列值是否位于某個(gè)列表內(nèi)
這篇文章主要介紹了pandas如何篩選某個(gè)列值是否位于某個(gè)列表內(nèi)問題,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2024-02-02
python sys.argv[]用法實(shí)例詳解
sys.argv[]是用來獲取命令行參數(shù)的，sys.argv[0]表示代碼本身文件路徑，所以參數(shù)從1開始,下面通過實(shí)例給大家介紹python sys.argv[]用法，感興趣的朋友一起看看吧
2018-05-05