解決Pytorch中的神坑:關(guān)于model.eval的問(wèn)題
有時(shí)候使用Pytorch訓(xùn)練完模型，在測(cè)試數(shù)據(jù)上面得到的結(jié)果令人大跌眼鏡。
這個(gè)時(shí)候需要檢查一下定義的Model類(lèi)中有沒(méi)有 BN 或 Dropout 層，如果有任何一個(gè)存在
那么在測(cè)試之前需要加入一行代碼：
#model是實(shí)例化的模型對(duì)象 model = model.eval()
表示將模型轉(zhuǎn)變?yōu)閑valuation（測(cè)試）模式，這樣就可以排除BN和Dropout對(duì)測(cè)試的干擾。
因?yàn)锽N和Dropout在訓(xùn)練和測(cè)試時(shí)是不同的：
對(duì)于BN，訓(xùn)練時(shí)通常采用mini-batch，所以每一批中的mean和std大致是相同的；而測(cè)試階段往往是單個(gè)圖像的輸入，不存在mini-batch的概念。所以將model改為eval模式后，BN的參數(shù)固定，并采用之前訓(xùn)練好的全局的mean和std；
對(duì)于Dropout，訓(xùn)練階段，隱含層神經(jīng)元先乘概率P，再進(jìn)行激活；而測(cè)試階段，神經(jīng)元先激活，每個(gè)隱含層神經(jīng)元的輸出再乘概率P。
如下圖所示：
補(bǔ)充：pytorch中model.eval之后是否還需要model.train的問(wèn)題
答案是：需要的
正確的寫(xiě)法是
for循環(huán)之后再開(kāi)啟train，
循環(huán)之后的評(píng)估m(xù)odel.eval之后就會(huì)再次回到model.train
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Pytorch實(shí)現(xiàn)Fashion-mnist分類(lèi)任務(wù)全過(guò)程
這篇文章主要介紹了Pytorch實(shí)現(xiàn)Fashion-mnist分類(lèi)任務(wù)全過(guò)程，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-12-12
這篇文章主要給大家介紹了關(guān)于pandas如何刪除沒(méi)有列名的列的相關(guān)資料,需要的朋友可以參考下2021-11-11
python機(jī)器學(xué)習(xí)庫(kù)scikit-learn：SVR的基本應(yīng)用
這篇文章主要介紹了python機(jī)器學(xué)習(xí)庫(kù)scikit-learn：SVR的基本應(yīng)用，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06
Python庫(kù)Gym開(kāi)發(fā)和比較強(qiáng)化學(xué)習(xí)算法使用探究
這篇文章主要介紹了Python庫(kù)Gym開(kāi)發(fā)和比較強(qiáng)化學(xué)習(xí)算法使用探究,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2024-01-01
這篇文章主要為大家詳細(xì)介紹了Mac版的Python、PyCharm安裝及使用方法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-04-04
配置python連接oracle讀取excel數(shù)據(jù)寫(xiě)入數(shù)據(jù)庫(kù)的操作流程
這篇文章主要介紹了配置python連接oracle，讀取excel數(shù)據(jù)寫(xiě)入數(shù)據(jù)庫(kù),本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-03-03
Django跨域請(qǐng)求問(wèn)題的解決方法示例
這篇文章主要給大家介紹了關(guān)于Django跨域請(qǐng)求問(wèn)題解決的相關(guān)資料，文中介紹的實(shí)現(xiàn)方法包括：使用django-cors-headers全局控制、使用JsonP，只能用于Get方法以及在views.py里設(shè)置響應(yīng)頭，只能控制單個(gè)接口，需要的朋友可以參考下2018-06-06
這篇文章主要介紹了Python一行命令部署http?ftp服務(wù)實(shí)現(xiàn)過(guò)程詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2024-01-01
這篇文章主要介紹了PyCharm設(shè)置注釋字體顏色以及是否傾斜的操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-09-09
Django框架視圖層URL映射與反向解析實(shí)例分析
這篇文章主要介紹了Django框架視圖層URL映射與反向解析,結(jié)合實(shí)例形式分析了Django框架普通url映射、命名URL參數(shù)映射、分布式URL映射、反向解析等相關(guān)操作技巧,需要的朋友可以參考下2019-07-07