pytorch 輸出中間層特征的實例

更新時間：2019年08月17日 17:33:39 作者：LEILEI18A

今天小編就為大家分享一篇pytorch 輸出中間層特征的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

pytorch 輸出中間層特征：

tensorflow輸出中間特征，2種方式：

1. 保存全部模型(包括結(jié)構(gòu))時，需要之前先add_to_collection 或者用slim模塊下的end_points

2. 只保存模型參數(shù)時，可以讀取網(wǎng)絡(luò)結(jié)構(gòu)，然后按照對應(yīng)的中間層輸出即可。

but：Pytorch 論壇給出的答案并不好用，無論是hooks，還是重建網(wǎng)絡(luò)并去掉某些層，這些方法都不好用（在我看來）。

我們可以在創(chuàng)建網(wǎng)絡(luò)class時，在forward時加入一個dict 或者 list，dict是將中間層名字與中間層輸出分別作為key:value,然后作為第二個值返回。前提是：運行創(chuàng)建自己的網(wǎng)絡(luò)（無論fine-tune），只保存網(wǎng)絡(luò)參數(shù)。

個人理解：雖然每次運行都返回2個值，但是運行效率基本沒有變化。

附上代碼例子：

import torch
import torchvision
import numpy as np
from torch import nn
from torch.nn import init
from torch.autograd import Variable
from torch.utils import data

EPOCH=20
BATCH_SIZE=64
LR=1e-2

train_data=torchvision.datasets.MNIST(root='./mnist',train=True,
                   transform=torchvision.transforms.ToTensor(),download=False)
train_loader=data.DataLoader(train_data,batch_size=BATCH_SIZE,shuffle=True)

test_data=torchvision.datasets.MNIST(root='./mnist',train=False)

test_x=Variable(torch.unsqueeze(test_data.test_data,dim=1).type(torch.FloatTensor)).cuda()/255
test_y=test_data.test_labels.cuda()

class CNN(nn.Module):
  def __init__(self):
    super().__init__()
    self.conv1=nn.Sequential(
        nn.Conv2d(in_channels=1,out_channels=16,kernel_size=4,stride=1,padding=2),
        nn.ReLU(),
        nn.MaxPool2d(kernel_size=2,stride=2))
    self.conv2=nn.Sequential(nn.Conv2d(16,32,4,1,2),nn.ReLU(),nn.MaxPool2d(2,2))
    self.out=nn.Linear(32*7*7,10)
    
  def forward(self,x):
    per_out=[] ############修改處##############
    x=self.conv1(x)
    per_out.append(x) # conv1
    x=self.conv2(x)
    per_out.append(x) # conv2
    x=x.view(x.size(0),-1)
    output=self.out(x)
    return output,per_out
  
cnn=CNN().cuda() # or cnn.cuda()

optimizer=torch.optim.Adam(cnn.parameters(),lr=LR)
loss_func=nn.CrossEntropyLoss().cuda()############################

for epoch in range(EPOCH):
  for step,(x,y) in enumerate(train_loader):
    b_x=Variable(x).cuda()# if channel==1 auto add c=1
    b_y=Variable(y).cuda()
#    print(b_x.data.shape)
    optimizer.zero_grad()
    output=cnn(b_x)[0] ##原先只需要cnn(b_x) 但是現(xiàn)在需要用到第一個返回值##
    loss=loss_func(output,b_y)# Variable need to get .data
    loss.backward()
    optimizer.step()
    
    if step%50==0:
      test_output=cnn(test_x)[0]
      pred_y=torch.max(test_output,1)[1].cuda().data.squeeze()
      '''
      why data ,because Variable .data to Tensor;and cuda() not to numpy() ,must to cpu and to numpy 
      and .float compute decimal
      '''
      accuracy=torch.sum(pred_y==test_y).data.float()/test_y.size(0)
      print('EPOCH: ',epoch,'| train_loss:%.4f'%loss.data[0],'| test accuracy:%.2f'%accuracy)
    #                       loss.data.cpu().numpy().item() get one value

  torch.save(cnn.state_dict(),'./model/model.pth')

##輸出中間層特征，根據(jù)索引調(diào)用##

conv1: conv1=cnn(b_x)[1][0]

conv2: conv2=cnn(b_x)[1][1]

##########################

hook使用：

res=torchvision.models.resnet18()

def get_features_hook(self, input, output):# self 代表類模塊本身
  print(output.data.cpu().numpy().shape)

handle=res.layer2.register_forward_hook(get_features_hook)

a=torch.ones([1,3,224,224])

b=res(a) 直接打印出 layer2的輸出形狀，但是不好用。因為，實際中，我們需要return，而hook明確指出不可以return 只能print。

所以，不建議使用hook。

以上這篇pytorch 輸出中間層特征的實例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: