pytorch中的model.eval()和BN層的使用
看代碼吧~
class ConvNet(nn.module): def __init__(self, num_class=10): super(ConvNet, self).__init__() self.layer1 = nn.Sequential(nn.Conv2d(1, 16, kernel_size=5, stride=1, padding=2), nn.BatchNorm2d(16), nn.ReLU(), nn.MaxPool2d(kernel_size=2, stride=2)) self.layer2 = nn.Sequential(nn.Conv2d(16, 32, kernel_size=5, stride=1, padding=2), nn.BatchNorm2d(32), nn.ReLU(), nn.MaxPool2d(kernel_size=2, stride=2)) self.fc = nn.Linear(7*7*32, num_classes) def forward(self, x): out = self.layer1(x) out = self.layer2(out) print(out.size()) out = out.reshape(out.size(0), -1) out = self.fc(out) return out
# Test the model model.eval() # eval mode (batchnorm uses moving mean/variance instead of mini-batch mean/variance) with torch.no_grad(): correct = 0 total = 0 for images, labels in test_loader: images = images.to(device) labels = labels.to(device) outputs = model(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item()
如果網(wǎng)絡(luò)模型model中含有BN層,則在預(yù)測時應(yīng)當將模式切換為評估模式,即model.eval()。
評估模擬下BN層的均值和方差應(yīng)該是整個訓(xùn)練集的均值和方差,即 moving mean/variance。
訓(xùn)練模式下BN層的均值和方差為mini-batch的均值和方差,因此應(yīng)當特別注意。
補充:Pytorch 模型訓(xùn)練模式和eval模型下差別巨大(Pytorch train and eval)附解決方案
當pytorch模型寫明是eval()時有時表現(xiàn)的結(jié)果相對于train(True)差別非常巨大,這種差別經(jīng)過逐層查看,主要來源于使用了BN,在eval下,使用的BN是一個固定的running rate,而在train下這個running rate會根據(jù)輸入發(fā)生改變。
解決方案是凍住bn
def freeze_bn(m): if isinstance(m, nn.BatchNorm2d): m.eval() model.apply(freeze_bn)
這樣可以獲得穩(wěn)定輸出的結(jié)果。
以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
python中實現(xiàn)json數(shù)據(jù)和類對象相互轉(zhuǎn)化的四種方式
在日常的軟件測試過程中,測試數(shù)據(jù)的構(gòu)造是一個占比非常大的活動,對于測試數(shù)據(jù)的構(gòu)造,分為結(jié)構(gòu)化的數(shù)據(jù)構(gòu)造方式和非結(jié)構(gòu)化的數(shù)據(jù)構(gòu)造方式,此篇文章,會通過4種方式來展示json數(shù)據(jù)與python的類對象相互轉(zhuǎn)化,需要的朋友可以參考下2024-07-07Python 使用SMTP發(fā)送郵件的代碼小結(jié)
python的smtplib提供了一種很方便的途徑發(fā)送電子郵件。它對smtp協(xié)議進行了簡單的封裝,需要的朋友可以參考下2016-09-09Python關(guān)鍵字及可變參數(shù)*args,**kw原理解析
這篇文章主要介紹了Python關(guān)鍵字及可變參數(shù)*args,**kw原理解析,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-04-04在CentOS 7中使用Python 3執(zhí)行系統(tǒng)命令的詳細教程
使用os.system()這個方法簡單直接,但它不返回命令的輸出,只返回命令的退出狀態(tài),如果你只需要知道命令是否成功執(zhí)行,這個方法就足夠了,這篇文章主要介紹了在CentOS 7中使用Python 3執(zhí)行系統(tǒng)命令的詳細教程,需要的朋友可以參考下2024-02-02使用Python如何測試InnoDB與MyISAM的讀寫性能
網(wǎng)上有很多評論myisam和innodb讀寫性能對比,所以下面這篇文章主要給大家介紹了關(guān)于使用Python如何測試InnoDB與MyISAM讀寫性能的相關(guān)資料,文中通過圖文介紹的非常詳細,需要的朋友可以參考下2018-09-09