解決pytorch 交叉熵損失輸出為負數(shù)的問題
網絡訓練中，loss曲線非常奇怪
交叉熵怎么會有負數(shù)。
經過排查，交叉熵不是有個負對數(shù)嗎，當網絡輸出的概率是0-1時，正數(shù)?？僧斁W絡輸出大于1的數(shù)，就有可能變成負數(shù)。
所以加上一行就行了
out1 = F.softmax(out1, dim=1)
補充知識：在pytorch框架下，訓練model過程中，loss=nan問題時該怎么解決？
當我在UCF-101數(shù)據集訓練alexnet時，epoch設為100，跑到三十多個epoch時，出現(xiàn)了loss=nan問題，當時是一臉懵逼，在查閱資料后，我通過減小學習率解決了問題，現(xiàn)總結一下出現(xiàn)這個問題的可能原因及解決方法：
1. 減小整體學習率。學習率比較大的時候，參數(shù)可能over shoot了，結果就是找不到極小值點；減小學習率可以讓參數(shù)朝著極值點前進；
2. 改變網絡寬度。有可能是網絡后面的層參數(shù)更新異常，增加后面層的寬度試試；
3. 改變層的學習率。每個層都可以設置學習率，可以嘗試減小后面層的學習率試試；
4. 數(shù)據歸一化（減均值，除方差，或者加入normalization，例如BN、L2 norm等）；
5. 加入gradient clipping；
6 輸入數(shù)據含有臟數(shù)據，即NaN,一般當使用實際業(yè)務的真實數(shù)據時，容易出現(xiàn)臟數(shù)據。
以上這篇解決pytorch 交叉熵損失輸出為負數(shù)的問題就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
Python實現(xiàn)短網址ShortUrl的Hash運算實例講解
這篇文章主要介紹了Python實現(xiàn)短網址ShortUrl的Hash運算,較為詳細的分析了Python短網址運算的算法原理與相關實現(xiàn)技巧,需要的朋友可以參考下2015-08-08
Python圖像處理之直線和曲線的擬合與繪制【curve_fit()應用】
這篇文章主要介紹了Python圖像處理之直線和曲線的擬合與繪制,結合實例形式分析了Python曲線擬合相關函數(shù)curve_fit()的使用技巧,需要的朋友可以參考下2018-12-12
這篇文章主要介紹了django修改models重建數(shù)據庫的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
梯度下降法的機器學習的重要思想之一，梯度下降法的目標，是使得代價函數(shù)最小。本文主要和大家分享的是python實現(xiàn)多元線性回歸的梯度下降法，感興趣的可以了解一下2022-08-08
Python跳出循環(huán)語句continue與break的區(qū)別
這篇文章主要介紹了Python跳出循環(huán)語句continue與break的區(qū)別,本文用實例來說明它們之間的區(qū)別,簡單易記易懂,需要的朋友可以參考下2014-08-08
這篇文章主要介紹了python plt可視化——打印特殊符號和制作圖例代碼，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04
這篇文章主要介紹了python 一篇文章搞懂裝飾器所有用法（建議收藏），文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-08-08
這篇文章主要介紹了Python根據已知鄰接矩陣繪制無向圖操作,涉及Python使用networkx、matplotlib進行數(shù)值運算與圖形繪制相關操作技巧,需要的朋友可以參考下2018-06-06
python requests 庫請求帶有文件參數(shù)的接口實例
今天小編就為大家分享一篇python requests 庫請求帶有文件參數(shù)的接口實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
這篇文章主要介紹了在keras中實現(xiàn)查看其訓練loss值，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06