Pytorch訓(xùn)練過程出現(xiàn)nan的解決方式
更新時(shí)間：2020年01月02日 16:14:48 作者：咆哮的阿杰
今天小編就為大家分享一篇Pytorch訓(xùn)練過程出現(xiàn)nan的解決方式，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
今天使用shuffleNetV2+，使用自己的數(shù)據(jù)集，遇到了loss是nan的情況，而且top1精確率出現(xiàn)斷崖式上升，這顯示是不正常的。
在網(wǎng)上查了下解決方案。我的問題是出在學(xué)習(xí)率上了。
我自己做的樣本數(shù)據(jù)集比較小，就三類，每類大概三百多張，初始學(xué)習(xí)率是0.5。后來設(shè)置為0.1就解決了。
按照解決方案上寫的。出現(xiàn)nan的情況還有以下幾種：
學(xué)習(xí)率太大，但是樣本數(shù)據(jù)集又很小。（我的情況）
自定義的loss除以了一個(gè)很小的數(shù)字，小到接近0。
數(shù)據(jù)不干凈，數(shù)據(jù)本身就有nan，可以用numpy.isnan檢查。
target，即label是大于等于0的。從1到類別數(shù)目-1變化。
以上這篇Pytorch訓(xùn)練過程出現(xiàn)nan的解決方式就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
一文弄懂Pytorch的DataLoader, DataSet, Sampler之間的關(guān)系
這篇文章主要介紹了一文弄懂Pytorch的DataLoader, DataSet, Sampler之間的關(guān)系，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-07-07
Python中時(shí)間類型的JSON數(shù)據(jù)轉(zhuǎn)換
在Python中,處理時(shí)間和日期數(shù)據(jù)以及與JSON數(shù)據(jù)的相互轉(zhuǎn)換是常見的任務(wù),本文主要為大家詳細(xì)如何在Python中處理時(shí)間類型的JSON數(shù)據(jù)轉(zhuǎn)換,需要的小伙伴可以參考下2024-02-02
探索Python內(nèi)置數(shù)據(jù)類型的精髓與應(yīng)用
本文探索Python內(nèi)置數(shù)據(jù)類型的精髓與應(yīng)用，包括字符串、列表、元組、字典和集合。通過深入了解它們的特性、操作和常見用法，讀者將能夠更好地利用這些數(shù)據(jù)類型解決實(shí)際問題。2023-09-09
Python 海象運(yùn)算符是在 PEP 572 中提出，并在 Python3.8 版本并入和發(fā)布。本文就來為大家詳細(xì)講講Python海象運(yùn)算符的用法，感興趣的可以了解一下2022-07-07
Python 中字典和集合也是非常相近的概念，而且從外觀看上去，也有那么一絲絲的相似。本文將從字典基本知識入手，為你展開字典類型數(shù)據(jù)的各個(gè)知識點(diǎn)，需要的可以參考一下2022-11-11
Pycharm中運(yùn)行程序在Python?console中執(zhí)行,不是直接Run問題
這篇文章主要介紹了Pycharm中運(yùn)行程序在Python?console中執(zhí)行,不是直接Run問題，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-07-07
這篇文章主要介紹了Python如何讀寫CSV文件，幫助大家更好的理解和學(xué)習(xí)python，感興趣的朋友可以了解下2020-08-08
這篇文章主要介紹了如何mac下配置python虛擬環(huán)境,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-07-07
基于使用paramiko執(zhí)行遠(yuǎn)程linux主機(jī)命令(詳解)
下面小編就為大家?guī)硪黄谑褂胮aramiko執(zhí)行遠(yuǎn)程linux主機(jī)命令(詳解)。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-10-10
用python爬蟲批量下載pdf的實(shí)現(xiàn)
這篇文章主要介紹了用python爬蟲批量下載pdf的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12