PyTorch dropout設置訓練和測試模式的實現(xiàn)
更新時間：2021年05月27日 11:31:24 作者：運動碼農(nóng)
這篇文章主要介紹了PyTorch dropout設置訓練和測試模式的實現(xiàn)方式，具有很好的參考價值，希望對大家有所幫助。
看代碼吧~
class Net(nn.Module): … model = Net() … model.train() # 把module設成訓練模式，對Dropout和BatchNorm有影響 model.eval() # 把module設置為預測模式，對Dropout和BatchNorm模塊有影響
補充：Pytorch遇到的坑——訓練模式和測試模式切換
由于訓練的時候Dropout和BN層起作用，每個batch BN層的參數(shù)不一樣，dropout在訓練時隨機失效點具有隨機性，所以訓練和測試要區(qū)分開來。
使用時切記要根據(jù)實際情況切換：
model.train() model.eval()
補充：Pytorch在測試與訓練過程中的驗證結(jié)果不一致問題
引言
今天在使用Pytorch導入此前保存的模型進行測試，在過程中發(fā)現(xiàn)輸出的結(jié)果與驗證結(jié)果差距甚大，經(jīng)過排查后發(fā)現(xiàn)是forward與eval()順序問題。
現(xiàn)象
此前的錯誤代碼是
input_cpu = torch.ones((1, 2, 160, 160))
target_cpu =torch.ones((1, 2, 160, 160))
target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
model.set_input_2(input_gpu, target_gpu)
model.eval()
model.forward()
應該改為
input_cpu = torch.ones((1, 2, 160, 160))
target_cpu =torch.ones((1, 2, 160, 160))
target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
model.set_input_2(input_gpu, target_gpu)
# 先forward再eval
model.forward()
model.eval()
當時有個疑慮，為什么要在forward后面再加eval()，查了下相關(guān)資料，主要是在BN層以及Dropout的問題。當使用eval()時，模型會自動固定BN層以及Dropout，選取訓練好的值，否則則會取平均，可能導致生成的圖片顏色失真。
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了解決PyTorch與CUDA版本不匹配的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03
一篇文章入門Python生態(tài)系統(tǒng)(Python新手入門指導)
原文寫于2011年末，雖然文中關(guān)于Python 3的一些說法可以說已經(jīng)不成立了，但是作為一篇面向從其他語言轉(zhuǎn)型到Python的程序員來說，本文對Python的生態(tài)系統(tǒng)還是做了較為全面的介紹2015-12-12
Python中函數(shù)調(diào)用9大方法小結(jié)
在Python中,函數(shù)是一種非常重要的編程概念,它們使得代碼模塊化、可重用,并且能夠提高代碼的可讀性,本文將深入探討Python函數(shù)調(diào)用的9種方法,需要的可以參考下2024-01-01
現(xiàn)代Python編程的四個關(guān)鍵點你知道幾個
這篇文章主要為大家詳細介紹了Python編程的四個關(guān)鍵點，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-02-02
這篇文章主要為大家介紹了python中精確的浮點數(shù)運算示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-07-07
StrEnum是Python枚舉家族的一個強大補充,特別適合處理字符串常量,它結(jié)合了枚舉的類型安全性和字符串的靈活性,使得在許多場景下的編程變得更加簡潔和安全,本文將介紹StrEnum的基本概念和使用場景,并通過示例代碼來展示它的實際應用,感興趣的朋友跟隨小編一起看看吧2024-07-07
ruff check文件目錄檢測--exclude參數(shù)設置路徑詳解
這篇文章主要為大家介紹了ruff check文件目錄檢測exclude參數(shù)如何設置多少路徑詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-10-10
Python創(chuàng)建7種不同的文件格式的方法總結(jié)
今天的這篇文章呢，小編來介紹一下如何通過Python來創(chuàng)建各種形式的文件，這里包括了：文本文件、CSV文件、Excel文件、壓縮文件、XML文件、JSON文件和PDF文件，需要的可以參考一下2023-01-01
為了達到類似C++類的封裝性能,可以使用property來設置Python類屬性的訪問權(quán)限,本文就介紹一下Python中通過property設置類屬性的訪問,感興趣的可以了解一下,感興趣的可以了解一下2023-09-09
卷積神經(jīng)網(wǎng)絡的發(fā)展及各模型的優(yōu)缺點及說明
這篇文章主要介紹了卷積神經(jīng)網(wǎng)絡的發(fā)展及各模型的優(yōu)缺點及說明，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-02-02