欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

pytorch中的model.eval()和BN層的使用

 更新時(shí)間:2021年05月22日 10:27:00   作者:那抹陽(yáng)光1994  
這篇文章主要介紹了pytorch中的model.eval()和BN層的使用,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教

看代碼吧~

class ConvNet(nn.module):
    def __init__(self, num_class=10):
        super(ConvNet, self).__init__()
        self.layer1 = nn.Sequential(nn.Conv2d(1, 16, kernel_size=5, stride=1, padding=2),
                                    nn.BatchNorm2d(16),
                                    nn.ReLU(),
                                    nn.MaxPool2d(kernel_size=2, stride=2))
        self.layer2 = nn.Sequential(nn.Conv2d(16, 32, kernel_size=5, stride=1, padding=2),
                                    nn.BatchNorm2d(32),
                                    nn.ReLU(),
                                    nn.MaxPool2d(kernel_size=2, stride=2))
        self.fc = nn.Linear(7*7*32, num_classes)
         
    def forward(self, x):
        out = self.layer1(x)
        out = self.layer2(out)
        print(out.size())
        out = out.reshape(out.size(0), -1)
        out = self.fc(out)
        return out
# Test the model
model.eval()  # eval mode (batchnorm uses moving mean/variance instead of mini-batch mean/variance)
with torch.no_grad():
    correct = 0
    total = 0
    for images, labels in test_loader:
        images = images.to(device)
        labels = labels.to(device)
        outputs = model(images)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

如果網(wǎng)絡(luò)模型model中含有BN層,則在預(yù)測(cè)時(shí)應(yīng)當(dāng)將模式切換為評(píng)估模式,即model.eval()。

評(píng)估模擬下BN層的均值和方差應(yīng)該是整個(gè)訓(xùn)練集的均值和方差,即 moving mean/variance。

訓(xùn)練模式下BN層的均值和方差為mini-batch的均值和方差,因此應(yīng)當(dāng)特別注意。

補(bǔ)充:Pytorch 模型訓(xùn)練模式和eval模型下差別巨大(Pytorch train and eval)附解決方案

當(dāng)pytorch模型寫明是eval()時(shí)有時(shí)表現(xiàn)的結(jié)果相對(duì)于train(True)差別非常巨大,這種差別經(jīng)過(guò)逐層查看,主要來(lái)源于使用了BN,在eval下,使用的BN是一個(gè)固定的running rate,而在train下這個(gè)running rate會(huì)根據(jù)輸入發(fā)生改變。

解決方案是凍住bn

def freeze_bn(m):
    if isinstance(m, nn.BatchNorm2d):
        m.eval()
model.apply(freeze_bn)

這樣可以獲得穩(wěn)定輸出的結(jié)果。

以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • python中實(shí)現(xiàn)json數(shù)據(jù)和類對(duì)象相互轉(zhuǎn)化的四種方式

    python中實(shí)現(xiàn)json數(shù)據(jù)和類對(duì)象相互轉(zhuǎn)化的四種方式

    在日常的軟件測(cè)試過(guò)程中,測(cè)試數(shù)據(jù)的構(gòu)造是一個(gè)占比非常大的活動(dòng),對(duì)于測(cè)試數(shù)據(jù)的構(gòu)造,分為結(jié)構(gòu)化的數(shù)據(jù)構(gòu)造方式和非結(jié)構(gòu)化的數(shù)據(jù)構(gòu)造方式,此篇文章,會(huì)通過(guò)4種方式來(lái)展示json數(shù)據(jù)與python的類對(duì)象相互轉(zhuǎn)化,需要的朋友可以參考下
    2024-07-07
  • Python模擬登錄和登錄跳轉(zhuǎn)的參考示例

    Python模擬登錄和登錄跳轉(zhuǎn)的參考示例

    這篇文章主要介紹了Python模擬登錄和登錄跳轉(zhuǎn)的參考示例,幫助大家更好的理解和使用python,感興趣的朋友可以了解下
    2020-10-10
  • Windows下為Python安裝Matplotlib模塊

    Windows下為Python安裝Matplotlib模塊

    這篇文章主要介紹了如何在Windows下為Python安裝Matplotlib模塊的方法,非常的詳細(xì),而且附上了官方的下載地址,小伙伴們操作起來(lái)應(yīng)該毫無(wú)壓力了。
    2015-11-11
  • Python 使用SMTP發(fā)送郵件的代碼小結(jié)

    Python 使用SMTP發(fā)送郵件的代碼小結(jié)

    python的smtplib提供了一種很方便的途徑發(fā)送電子郵件。它對(duì)smtp協(xié)議進(jìn)行了簡(jiǎn)單的封裝,需要的朋友可以參考下
    2016-09-09
  • Python關(guān)鍵字及可變參數(shù)*args,**kw原理解析

    Python關(guān)鍵字及可變參數(shù)*args,**kw原理解析

    這篇文章主要介紹了Python關(guān)鍵字及可變參數(shù)*args,**kw原理解析,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2020-04-04
  • python 實(shí)現(xiàn)一個(gè)反向單位矩陣示例

    python 實(shí)現(xiàn)一個(gè)反向單位矩陣示例

    今天小編就為大家分享一篇python 實(shí)現(xiàn)一個(gè)反向單位矩陣示例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2019-11-11
  • 在CentOS 7中使用Python 3執(zhí)行系統(tǒng)命令的詳細(xì)教程

    在CentOS 7中使用Python 3執(zhí)行系統(tǒng)命令的詳細(xì)教程

    使用os.system()這個(gè)方法簡(jiǎn)單直接,但它不返回命令的輸出,只返回命令的退出狀態(tài),如果你只需要知道命令是否成功執(zhí)行,這個(gè)方法就足夠了,這篇文章主要介紹了在CentOS 7中使用Python 3執(zhí)行系統(tǒng)命令的詳細(xì)教程,需要的朋友可以參考下
    2024-02-02
  • Python實(shí)現(xiàn)問(wèn)題回答小游戲

    Python實(shí)現(xiàn)問(wèn)題回答小游戲

    這篇文章主要介紹了利用Python制作一個(gè)簡(jiǎn)單的知識(shí)競(jìng)賽小游戲,可以實(shí)現(xiàn)回答問(wèn)題功能,文中的示例代碼介紹詳細(xì),感興趣的同學(xué)快跟隨小編一起學(xué)習(xí)吧
    2021-12-12
  • python psutil庫(kù)的使用示例

    python psutil庫(kù)的使用示例

    這篇文章主要介紹了python psutil庫(kù)的使用示例,幫助大家更好的理解和學(xué)習(xí)使用python,感興趣的朋友可以了解下
    2021-03-03
  • 使用Python如何測(cè)試InnoDB與MyISAM的讀寫性能

    使用Python如何測(cè)試InnoDB與MyISAM的讀寫性能

    網(wǎng)上有很多評(píng)論myisam和innodb讀寫性能對(duì)比,所以下面這篇文章主要給大家介紹了關(guān)于使用Python如何測(cè)試InnoDB與MyISAM讀寫性能的相關(guān)資料,文中通過(guò)圖文介紹的非常詳細(xì),需要的朋友可以參考下
    2018-09-09

最新評(píng)論