pytorch 輸出中間層特征的實(shí)例
pytorch 輸出中間層特征:
tensorflow輸出中間特征,2種方式:
1. 保存全部模型(包括結(jié)構(gòu))時(shí),需要之前先add_to_collection 或者 用slim模塊下的end_points
2. 只保存模型參數(shù)時(shí),可以讀取網(wǎng)絡(luò)結(jié)構(gòu),然后按照對應(yīng)的中間層輸出即可。
but:Pytorch 論壇給出的答案并不好用,無論是hooks,還是重建網(wǎng)絡(luò)并去掉某些層,這些方法都不好用(在我看來)。
我們可以在創(chuàng)建網(wǎng)絡(luò)class時(shí),在forward時(shí)加入一個(gè)dict 或者 list,dict是將中間層名字與中間層輸出分別作為key:value,然后作為第二個(gè)值返回。前提是:運(yùn)行創(chuàng)建自己的網(wǎng)絡(luò)(無論fine-tune),只保存網(wǎng)絡(luò)參數(shù)。
個(gè)人理解:雖然每次運(yùn)行都返回2個(gè)值,但是運(yùn)行效率基本沒有變化。
附上代碼例子:
import torch import torchvision import numpy as np from torch import nn from torch.nn import init from torch.autograd import Variable from torch.utils import data EPOCH=20 BATCH_SIZE=64 LR=1e-2 train_data=torchvision.datasets.MNIST(root='./mnist',train=True, transform=torchvision.transforms.ToTensor(),download=False) train_loader=data.DataLoader(train_data,batch_size=BATCH_SIZE,shuffle=True) test_data=torchvision.datasets.MNIST(root='./mnist',train=False) test_x=Variable(torch.unsqueeze(test_data.test_data,dim=1).type(torch.FloatTensor)).cuda()/255 test_y=test_data.test_labels.cuda() class CNN(nn.Module): def __init__(self): super().__init__() self.conv1=nn.Sequential( nn.Conv2d(in_channels=1,out_channels=16,kernel_size=4,stride=1,padding=2), nn.ReLU(), nn.MaxPool2d(kernel_size=2,stride=2)) self.conv2=nn.Sequential(nn.Conv2d(16,32,4,1,2),nn.ReLU(),nn.MaxPool2d(2,2)) self.out=nn.Linear(32*7*7,10) def forward(self,x): per_out=[] ############修改處############## x=self.conv1(x) per_out.append(x) # conv1 x=self.conv2(x) per_out.append(x) # conv2 x=x.view(x.size(0),-1) output=self.out(x) return output,per_out cnn=CNN().cuda() # or cnn.cuda() optimizer=torch.optim.Adam(cnn.parameters(),lr=LR) loss_func=nn.CrossEntropyLoss().cuda()############################ for epoch in range(EPOCH): for step,(x,y) in enumerate(train_loader): b_x=Variable(x).cuda()# if channel==1 auto add c=1 b_y=Variable(y).cuda() # print(b_x.data.shape) optimizer.zero_grad() output=cnn(b_x)[0] ##原先只需要cnn(b_x) 但是現(xiàn)在需要用到第一個(gè)返回值## loss=loss_func(output,b_y)# Variable need to get .data loss.backward() optimizer.step() if step%50==0: test_output=cnn(test_x)[0] pred_y=torch.max(test_output,1)[1].cuda().data.squeeze() ''' why data ,because Variable .data to Tensor;and cuda() not to numpy() ,must to cpu and to numpy and .float compute decimal ''' accuracy=torch.sum(pred_y==test_y).data.float()/test_y.size(0) print('EPOCH: ',epoch,'| train_loss:%.4f'%loss.data[0],'| test accuracy:%.2f'%accuracy) # loss.data.cpu().numpy().item() get one value torch.save(cnn.state_dict(),'./model/model.pth') ##輸出中間層特征,根據(jù)索引調(diào)用## conv1: conv1=cnn(b_x)[1][0] conv2: conv2=cnn(b_x)[1][1]
##########################
hook使用:
res=torchvision.models.resnet18() def get_features_hook(self, input, output):# self 代表類模塊本身 print(output.data.cpu().numpy().shape) handle=res.layer2.register_forward_hook(get_features_hook) a=torch.ones([1,3,224,224])
b=res(a) 直接打印出 layer2的輸出形狀,但是不好用。因?yàn)?,?shí)際中,我們需要return,而hook明確指出 不可以return 只能print。
所以,不建議使用hook。
以上這篇pytorch 輸出中間層特征的實(shí)例就是小編分享給大家的全部內(nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
一個(gè)可以套路別人的python小程序?qū)嵗a
本文通過一段實(shí)例代碼給大家分享一個(gè)可以套路別人的python小程序,非常不錯(cuò),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-04-04Python趣味挑戰(zhàn)之實(shí)現(xiàn)簡易版音樂播放器
小伙伴們天天學(xué)編程應(yīng)該都學(xué)累了,今天特地給大家整理了這篇文章,讓大家在學(xué)習(xí)的時(shí)候也收貨快樂,文中有非常詳細(xì)的代碼示例,需要的朋友可以參考下2021-05-05用python實(shí)現(xiàn)一個(gè)簡單的驗(yàn)證碼
這篇文章主要介紹了用python實(shí)現(xiàn)一個(gè)簡單的驗(yàn)證碼的方法,幫助大家更好的理解和使用python,感興趣的朋友可以了解下2020-12-12python ImageDraw類實(shí)現(xiàn)幾何圖形的繪制與文字的繪制
這篇文章主要介紹了python ImageDraw類實(shí)現(xiàn)幾何圖形的繪制與文字的繪制,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02Django框架會話技術(shù)實(shí)例分析【Cookie與Session】
這篇文章主要介紹了Django框架會話技術(shù),結(jié)合實(shí)例形式分析了Django框架Cookie與Session相關(guān)使用技巧與注意事項(xiàng),需要的朋友可以參考下2019-05-05Python圖像處理之圖像的縮放、旋轉(zhuǎn)與翻轉(zhuǎn)實(shí)現(xiàn)方法示例
這篇文章主要介紹了Python圖像處理之圖像的縮放、旋轉(zhuǎn)與翻轉(zhuǎn)實(shí)現(xiàn)方法,結(jié)合實(shí)例形式分析了Python使用resize()、rotate()及transpose()等函數(shù)進(jìn)行圖像的縮放、旋轉(zhuǎn)及翻轉(zhuǎn)相關(guān)操作技巧,需要的朋友可以參考下2019-01-01