淺談pytorch grad_fn以及權重梯度不更新的問題
前提：我訓練的是二分類網(wǎng)絡，使用語言為pytorch
Varibale包含三個屬性：
data：存儲了Tensor，是本體的數(shù)據(jù)
grad：保存了data的梯度，本事是個Variable而非Tensor，與data形狀一致
grad_fn：指向Function對象，用于反向傳播的梯度計算之用
在構建網(wǎng)絡時，剛開始的錯誤為：沒有可以grad_fn屬性的變量。
百度后得知要對需要進行迭代更新的變量設置requires_grad=True ，操作如下：
train_pred = Variable(train_pred.float(), requires_grad=True)`
這樣設置之后網(wǎng)絡是跑起來了，但是準確率一直沒有提升，很明顯可以看出網(wǎng)絡什么都沒學到。
我輸出 model.parameters() (網(wǎng)絡內部的權重和偏置)查看，發(fā)現(xiàn)它的權重并沒有更新，一直是同一個值，至此可以肯定網(wǎng)絡什么都沒學到，還是迭代那里出了問題。
詢問同門后發(fā)現(xiàn)問題不在這里。
計算loss時，target與train_pred的size不匹配，我以以下操作修改了train_pred，使兩者尺寸一致，才導致了上述問題。
train_pred = model(data) train_pred = torch.max(train_pred, 1)[1].data.squeeze() train_pred = Variable(train_pred.float(), requires_grad=False) train_loss = F.binary_cross_entropy(validation_pred.float(), target) train_loss.backward()
對train_pred多次處理后，它已無法正確地反向傳播，實際上應該更改target，使其與train_pred size一致。
重點?。?！要想loss正確反向傳播，應直接將model(data)傳入loss函數(shù)。
最終修改代碼如下：
for batch_idx, (data, target) in enumerate(train_loader): # Get Samples label = target.view(target.size(0), 1).long() target_onehot = torch.zeros(data.shape[0], args.num_classes).scatter_(1, label, 1) data, target_onehot = Variable(data.cuda()), Variable(target_onehot.cuda().float()) model.zero_grad() # Predict train_pred = model(data) train_loss = F.binary_cross_entropy(train_pred, target_onehot) train_loss.backward() optimizer.step()
以上這篇淺談pytorch grad_fn以及權重梯度不更新的問題就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了Python檢測一個對象是否為字符串類的方法,即檢測是一個對象是否是字符串對象,本文還講解了一個有趣的判斷方法,需要的朋友可以參考下2015-05-05
這篇文章主要介紹了在pytorch中計算準確率,召回率和F1值的操作，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-05-05
今天小編就為大家分享一篇python遠程調用rpc模塊xmlrpclib的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
beam search及pytorch的實現(xiàn)方式
這篇文章主要介紹了beam search及pytorch的實現(xiàn)方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-05-05
在本篇文章里小編給大家整理的是關于Python中常用數(shù)據(jù)類型之間的轉換相關知識點，有需要的朋友們可以學習下2019-09-09
這篇文章主要介紹了Django 緩存配置Redis使用詳解，緩存是將一些常用的數(shù)據(jù)保存內存或者memcache中，在一定的時間內有用戶來訪問這些數(shù)據(jù)時，則不再去執(zhí)行數(shù)據(jù)庫及渲染等操作，而是直接從內存或memcache的緩存中去取得數(shù)據(jù)，然后返回給用戶2019-07-07
下面小編就為大家?guī)硪黄猵ython常用知識梳理(必看篇)。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-03-03
python數(shù)據(jù)分析之將爬取的數(shù)據(jù)保存為csv格式
Python內置了CSV模塊,可直接通過該模塊實現(xiàn)csv文件的讀寫操作,在web應用中導出數(shù)據(jù)是比較常見操作,下面這篇文章主要給大家介紹了關于python數(shù)據(jù)分析之將爬取的數(shù)據(jù)保存為csv格式的相關資料,需要的朋友可以參考下2022-06-06
這篇文章主要介紹了pandas如何篩選某個列值是否位于某個列表內問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-02-02![python sys.argv[]用法實例詳解](http://img.jbzj.com/images/xgimg/bcimg9.png)
sys.argv[]是用來獲取命令行參數(shù)的，sys.argv[0]表示代碼本身文件路徑，所以參數(shù)從1開始,下面通過實例給大家介紹python sys.argv[]用法，感興趣的朋友一起看看吧2018-05-05