model.eval()的作用及分析

• model.eval() 作用等同于 self.train(False)

簡而言之，就是評估模式。而非訓(xùn)練模式。

在評估模式下，batchNorm層，dropout層等用于優(yōu)化訓(xùn)練而添加的網(wǎng)絡(luò)層會被關(guān)閉，從而使得評估時不會發(fā)生偏移。

結(jié)論

在對模型進行評估時，應(yīng)該配合使用with torch.no_grad() 與 model.eval()：

? ? loop:
? ? ? ? model.train() ? ?# 切換至訓(xùn)練模式
? ? ? ? train……
? ? ? ? model.eval()
? ? ? ? with torch.no_grad():
? ? ? ? ? ? Evaluation
? ? end loop

Pytorch踩坑之model.eval()問題

最近在寫代碼時遇到一個問題，原本訓(xùn)練好的模型，加載進來進行inference準(zhǔn)確率直接掉了5個點，這簡直不能忍啊～下意識地感知到我肯定又在哪里寫了bug了～～～于是開始到處排查，從model load到data load，最終在一個被我封裝好的module的犄角旮旯里找到了問題，于是順便就在這里總結(jié)一下，避免以后再犯。 

對于訓(xùn)練好的模型加載進來準(zhǔn)確率和原先的不符，

比較常見的有兩方面的原因

• data
• model.state_dict() 

1） data

數(shù)據(jù)方面，檢查前后兩次加載的data有沒有發(fā)生變化。首先檢查 transforms.Normalize 使用的均值和方差是否和訓(xùn)練時相同；另外檢查在這個過程中數(shù)據(jù)是否經(jīng)過了存儲形式的改變，這有可能會帶來數(shù)據(jù)精度的變化導(dǎo)致一定的信息丟失。比如我過用的其中一個數(shù)據(jù)集，原先將圖片存儲成向量形式，但其對應(yīng)的是“png”格式的數(shù)據(jù)（后來在原始文件中發(fā)現(xiàn)了相應(yīng)的描述。），而我進行了一次data-to-img操作，將向量轉(zhuǎn)換成了“jpg”形式，這時加載進來便造成了掉點。

2）model.state_dict()

第一方面造成的掉點一般不會太嚴(yán)重，第二方面造成的掉點就比較嚴(yán)重了，一旦模型的參數(shù)加載錯了，那就誤差大了。

如果是參數(shù)沒有正確加載進來則比較容易發(fā)現(xiàn)，這時準(zhǔn)確率非常低，幾乎等于瞎猜。

而我這次遇到的情況是，準(zhǔn)確率并不是特別低，只掉了幾個點，檢查了多次，均顯示模型參數(shù)已經(jīng)成功加載了。后來仔細(xì)查看后發(fā)現(xiàn)在其中一次調(diào)用模型進行inference時，忘了寫 ‘model.eval()’，造成了模型的參數(shù)發(fā)生變化，再次調(diào)用則出現(xiàn)了掉點。于是又回顧了一下model.eval()和model.train()的具體作用。如下：

model.train() 和 model.eval() 一般在模型訓(xùn)練和評價的時候會加上這兩句，主要是針對由于model 在訓(xùn)練時和評價時 Batch Normalization 和 Dropout 方法模式不同：

• a) model.eval()，不啟用 BatchNormalization 和 Dropout。此時pytorch會自動把BN和DropOut固定住，不會取平均，而是用訓(xùn)練好的值。不然的話，一旦test的batch_size過小，很容易就會因BN層導(dǎo)致模型performance損失較大；
• b) model.train() ：啟用 BatchNormalization 和 Dropout。 在模型測試階段使用model.train() 讓model變成訓(xùn)練模式，此時 dropout和batch normalization的操作在訓(xùn)練q起到防止網(wǎng)絡(luò)過擬合的問題。

因此，在使用PyTorch進行訓(xùn)練和測試時一定要記得把實例化的model指定train/eval。

model.eval()   vs   torch.no_grad()

雖然二者都是eval的時候使用，但其作用并不相同：

model.eval() 負(fù)責(zé)改變batchnorm、dropout的工作方式，如在eval()模式下，dropout是不工作的。

見下方代碼：

? import torch
? import torch.nn as nn
?
? drop = nn.Dropout()
? x = torch.ones(10)
??
? # Train mode ??
? drop.train()
? print(drop(x)) # tensor([2., 2., 0., 2., 2., 2., 2., 0., 0., 2.]) ??
??
? # Eval mode ??
? drop.eval()
? print(drop(x)) # tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1.])

torch.no_grad() 負(fù)責(zé)關(guān)掉梯度計算，節(jié)省eval的時間。

只進行inference時，model.eval()是必須使用的，否則會影響結(jié)果準(zhǔn)確性。 而torch.no_grad()并不是強制的，只影響運行效率。

總結(jié)

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

最新評論