解決Pytorch訓(xùn)練過程中l(wèi)oss不下降的問題
更新時(shí)間：2020年01月02日 08:48:40 作者：貓猬獸
今天小編就為大家分享一篇解決Pytorch訓(xùn)練過程中l(wèi)oss不下降的問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
在使用Pytorch進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)，有時(shí)會(huì)遇到訓(xùn)練學(xué)習(xí)率不下降的問題。出現(xiàn)這種問題的可能原因有很多，包括學(xué)習(xí)率過小，數(shù)據(jù)沒有進(jìn)行Normalization等。不過除了這些常規(guī)的原因，還有一種難以發(fā)現(xiàn)的原因：在計(jì)算loss時(shí)數(shù)據(jù)維數(shù)不匹配。
下面是我的代碼：
loss_function = torch.nn.MSE_loss() optimizer.zero_grad() output = model(x_train) loss = loss_function(output, y_train) loss.backward() optimizer.step()
要特別注意計(jì)算loss時(shí)網(wǎng)絡(luò)輸出值output和真實(shí)值y_train的維數(shù)必須完全匹配，否則訓(xùn)練誤差不下降，無(wú)法訓(xùn)練。這種錯(cuò)誤在訓(xùn)練一維數(shù)據(jù)時(shí)很容易忽略，要十分注意。
以上這篇解決Pytorch訓(xùn)練過程中l(wèi)oss不下降的問題就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
python的paramiko模塊實(shí)現(xiàn)遠(yuǎn)程控制和傳輸示例
本篇文章主要介紹了python的paramiko模塊實(shí)現(xiàn)遠(yuǎn)程控制和傳輸示例，非常具有實(shí)用價(jià)值，需要的朋友可以參考下2017-10-10
在本篇文章里小編給大家分享了關(guān)于Python中添加自定義模塊的實(shí)例方法，需要的朋友們可以學(xué)習(xí)下。2020-06-06
這篇文章主要介紹了django表單的Widgets,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07
pygame播放視頻并實(shí)現(xiàn)音視頻同步的解決方案
本篇提供了pygame播放視頻的兩個(gè)方案，第一個(gè)方案是網(wǎng)上找的現(xiàn)成的，第二個(gè)方案則是參考了opencv（主流方案）自己逆向思維做的，還未經(jīng)過實(shí)際驗(yàn)證，感興趣的朋友跟隨小編一起看看吧2023-11-11
這篇文章主要介紹了Python循環(huán)作用域與閉包，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-03-03
今天帶大家了解python異常捕獲及標(biāo)簽過濾,文中有非常詳細(xì)的代碼示例,對(duì)正在學(xué)習(xí)python爬蟲的小伙伴們很有幫助,需要的朋友可以參考下2021-05-05
python基于pygame實(shí)現(xiàn)飛機(jī)大作戰(zhàn)小游戲
這篇文章主要為大家詳細(xì)介紹了python基于pygame實(shí)現(xiàn)飛機(jī)大作戰(zhàn)小游戲，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2020-11-11
python實(shí)現(xiàn)簡(jiǎn)易內(nèi)存監(jiān)控
這篇文章主要介紹了python實(shí)現(xiàn)簡(jiǎn)易內(nèi)存監(jiān)控，每隔3秒獲取系統(tǒng)內(nèi)存，當(dāng)內(nèi)存超過設(shè)定的警報(bào)值時(shí)，獲取所有進(jìn)程占用內(nèi)存并發(fā)出警報(bào)聲，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-06-06
python已協(xié)程方式處理任務(wù)實(shí)現(xiàn)過程
這篇文章主要介紹了python已協(xié)程方式處理任務(wù)實(shí)現(xiàn)過程,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-12-12
基于python實(shí)現(xiàn)生成指定大小txt文檔
這篇文章主要介紹了基于python實(shí)現(xiàn)生成指定大小txt文檔,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-07-07