pytorch中可視化之hook鉤子
一、hook
在PyTorch中，提供了一個專用的接口使得網絡在前向傳播過程中能夠獲取到特征圖，這個接口的名稱非常形象，叫做hook。
可以想象這樣的場景，數(shù)據通過網絡向前傳播，網絡某一層我們預先設置了一個鉤子，數(shù)據傳播過后鉤子上會留下數(shù)據在這一層的樣子，讀取鉤子的信息就是這一層的特征圖。
具體實現(xiàn)如下：
1.1 什么是hook，什么情況下使用？
首先，明確一下，為什么需要用hook，假設有這么一個函數(shù)
需要通過梯度下降法求最小值，其實現(xiàn)方法如下：
import torch
x = torch.tensor(3.0, requires_grad=True)
y = (x-2)
z = ((y-x) ** 2)
z.backward()
print("x.grad:",x.requires_grad,x.grad)
print("y.grad:",y.requires_grad,y.grad)
print("z.grad:",z.requires_grad,z.grad)
結果如下：
x.grad: True tensor(0.)
y.grad: True None
z.grad: True None
注意：在使用訓練PyTorch訓練模型時，只有葉節(jié)點（即直接指定數(shù)值的變量，而不是由其他變量計算得到的，比如網絡輸入）的梯度會保留，其余中間節(jié)點梯度在反向傳播完成后就會自動釋放以節(jié)省顯存。 因此y.requires_grad的返回值為True，y.grad卻為None。
可以看到上面的requires_grad方法都顯示True，但是grad沒有返回值。當然pytorch也提供某種方法保留非葉子節(jié)點的梯度信息。
使用 retain_grad() 方法可以保留非葉子節(jié)點的梯度，使用 retain_grad 保留的grad會占用顯存，具體操作如下：
x = torch.tensor(3.0, requires_grad=True)
y = (x-2)
z = ((y-x) ** 2)
y.retain_grad()
z.retain_grad()
z.backward()
print("x.grad:",x.requires_grad,x.grad)
print("y.grad:",y.requires_grad,y.grad)
print("z.grad:",z.requires_grad,z.grad)out:
x.grad: True tensor(0.) y.grad: True tensor(-4.) z.grad: True tensor(1.)
** 重申一次** 使用retain_grad方法會占用顯存，如果不想要占用顯存，就使用到了hook方法。
對于中間節(jié)點的變量a，可以使用a.register_hook(hook_fn)對其grad進行操作。 而hook_fn是一個自定義的函數(shù)，其聲明為hook_fn(grad) -> Tensor or None
1.2 hook在變量中的使用
1.2.1 hook的打印功能
# 自定義hook方法，其傳入參數(shù)為grad，打印出使用鉤子的節(jié)點梯度
def hook_fn(grad):
print(grad)
x = torch.tensor(3.0, requires_grad=True)
y = (x-2)
z = ((y-x) ** 2)
y.register_hook(hook_fn)
z.register_hook(hook_fn)
print("backward前")
z.backward()
print("backward后\n")
print("x.grad:",x.requires_grad,x.grad)
print("y.grad:",y.requires_grad,y.grad)
print("z.grad:",z.requires_grad,z.grad)out：
backward前 tensor(1.) tensor(-4.) backward后 x.grad: True tensor(0.) y.grad: True None z.grad: True None
可以看到綁定hook后，backward打印的時候打印了y和z的梯度，調用grad的時候沒有保留grad值，已經釋放掉內存。注意，打印出來的結果是反向傳播，所以先打印z的梯度，再打印y的梯度。
1.2.2 使用hook改變grad的功能
對標記的節(jié)點，梯度加2
def hook_fn(grad):
grad += 2
print(grad)
return grad
x = torch.tensor(3.0, requires_grad=True)
y = (x-2)
z = ((y-x) ** 2)
y.register_hook(hook_fn)
z.register_hook(hook_fn)
print("backward前")
z.backward()
print("backward后\n")
print("x.grad:",x.requires_grad,x.grad)
print("y.grad:",x.requires_grad,y.grad)
print("z.grad:",x.requires_grad,z.grad)
out：
backward前 tensor(3.) tensor(-10.) backward后 x.grad: True tensor(2.) y.grad: True None z.grad: True None
可以看到梯度教上面的已經發(fā)生的改變。
1.3 hook在模型中的使用：
PyTorch中使用register_forward_hook和register_backward_hook獲取Module輸入和輸出的feature_map和grad。使用結構如下： hook_fn(module, input, output) -> Tensor or None
模型中使用hook一點要帶有這三個參數(shù)module, grad_input, grad_output
1.3.1 register_forward_hook的使用
import torch.nn as nn
def hook_forward_fn(model,put,out):
print("model:",model)
print("input:",put)
print("output:",out)
# 定義一個model
class Net(nn.Module):
def __init__(self):
super(Net,self).__init__()
self.conv = nn.Conv2d(3, 1, 1)
self.bn = nn.BatchNorm2d(1)
#self.conv.register_forward_hook(hook_forward_fn)
#self.bn.register_forward_hook(hook_forward_fn)
def forward(self, x):
x = self.conv(x)
x = self.bn(x)
return torch.relu(x)
net = Net()
# 對模型中的具體某一層使用hook
net.conv.register_forward_hook(hook_forward_fn)
net.bn.register_forward_hook(hook_forward_fn)
x = torch.rand(1, 3, 2, 2, requires_grad=True)
y = net(x).mean()注意：該方法不需要使用。backword就能輸出結果，是記錄前向傳播的鉤子。
結果如下：
model: Conv2d(3, 1, kernel_size=(1, 1), stride=(1, 1))
input: (tensor([[[[0.4570, 0.6791],
[0.0197, 0.5040]],
[[0.8883, 0.1808],
[0.6289, 0.9386]],
[[0.8772, 0.5290],
[0.0014, 0.3728]]]], requires_grad=True),)
output: tensor([[[[-0.4909, -0.1122],
[-0.6301, -0.5649]]]], grad_fn=<ConvolutionBackward0>)
model: BatchNorm2d(1, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
input: (tensor([[[[-0.4909, -0.1122],
[-0.6301, -0.5649]]]], grad_fn=<ConvolutionBackward0>),)
output: tensor([[[[-0.2060, 1.6790],
[-0.8987, -0.5743]]]], grad_fn=<NativeBatchNormBackward0>)
1.3.2 register_backward_hook的使用
使用上面相同的Net模型
def hook_backward_fn(module, grad_input, grad_output):
print(f"module: {module}")
print(f"grad_output: {grad_output}")
print(f"grad_input: {grad_input}")
print("*"*20)
net = Net()
net.conv.register_backward_hook(hook_backward_fn)
net.bn.register_backward_hook(hook_backward_fn)
x = x = torch.rand(1, 3, 2, 2, requires_grad=True)
y = net(x).mean()
y.backward()
out：
module: BatchNorm2d(1, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
grad_output: (tensor([[[[0.2500, 0.2500],
[0.0000, 0.0000]]]]),)
grad_input: (tensor([[[[ 0.6586, -0.3360],
[-0.3009, -0.0218]]]]), tensor([0.4575]), tensor([0.5000]))
********************
module: Conv2d(3, 1, kernel_size=(1, 1), stride=(1, 1))
grad_output: (tensor([[[[ 0.6586, -0.3360],
[-0.3009, -0.0218]]]]),)
grad_input: (tensor([[[[-0.2974, 0.1517],
[ 0.1359, 0.0098]],
[[ 0.0270, -0.0138],
[-0.0123, -0.0009]],
[[ 0.2918, -0.1489],
[-0.1333, -0.0096]]]]), tensor([[[[0.4331]],
[[0.1386]],
[[0.4292]]]]), tensor([-1.4156e-07]))
********************
其結果是逆向輸出各節(jié)點層的梯度信息。
1.3.3 hook中使用展示卷積層
隨便畫一張圖，圖片張這個樣子：
使用讀取圖片發(fā)現(xiàn)是個4通道的圖像，我們轉成單通道并可視化：
import matplotlib.pyplot as plt
import matplotlib.image as mping
img=mping.imread("./test1.png")
print(img.shape)
img = torch.tensor(img[:,:,0]).view(1,1,228,226)
plt.imshow(img[0][0])
接下來創(chuàng)建一個只有卷積層的模型
class Net(nn.Module):
def __init__(self):
super(Net,self).__init__()
self.conv = nn.Sequential(nn.Conv2d(1,1,7),
nn.ReLU()
)
def forward(self, x):
x=self.conv(x)
return x
使用我們的鉤子hook對卷積層的輸出進行可視化
def hook_forward_fn(model,put,out):
print("inputshape:",put[0].shape) # 打印出輸入圖片的維度
print("outputshape:",out[0][0].shape) # 經過卷積之后的維度
# 可視化，因為卷積之后帶有grad梯度信息，所以需要使用detach().numpy()方法，否則會報錯
plt.imshow(out[0][0].detach().numpy())
具體完整實現(xiàn)以及可視化代碼如下：
import matplotlib.pyplot as plt
import matplotlib.image as mping
import numpy as np
img=mping.imread("./test1.png")
img = torch.tensor(img[:,:,0]).view(1,1,228,226)
def hook_forward_fn(model,put,out):
print("inputshape:",put[0].shape)
print("outputshape:",out[0][0].shape)
plt.imshow(out[0][0].detach().numpy())
class Net(nn.Module):
def __init__(self):
super(Net,self).__init__()
self.conv = nn.Sequential(nn.Conv2d(1,1,7),
nn.ReLU()
)
def forward(self, x):
x=self.conv(x)
return x
model = Net()
model.conv.register_forward_hook(hook_forward_fn)
y=model(img)
到此這篇關于pytorch中可視化之hook鉤子的文章就介紹到這了,更多相關pytorch hook鉤子內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要為大家介紹了Python中的字典的創(chuàng)建與使用，包括使用字典（添加、刪除、修改等操作），感興趣的小伙伴可以跟隨小編一起學習一下2022-06-06
今天小編就為大家分享一篇django將圖片上傳數(shù)據庫后在前端顯式的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05
這篇文章主要為大家詳細介紹了Python簡易注冊登錄系統(tǒng)的制作方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下2016-12-12
這篇文章主要介紹了Python 實現(xiàn)兩個矩形重合面積代碼實例,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-09-09
這篇文章主要介紹了通過實例淺析Python對比C語言的編程思想差異,作為面向對象和面向過程的編程語言代表,二者的對比可謂經典,需要的朋友可以參考下2015-08-08
今天小編就為大家分享一篇利用Python正則表達式過濾敏感詞的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
這篇文章主要介紹了Python selenium的基本使用方法,結合實例形式分析了Python使用selenium模塊進行web自動化測試的基本模塊導入、操作技巧與相關注意事項,需要的朋友可以參考下2019-12-12
這篇文章主要介紹了python抓取百度首頁的方法,涉及Python使用urllib模塊實現(xiàn)頁面抓取的相關技巧,需要的朋友可以參考下2015-05-05
python datatable庫大型數(shù)據集和多核數(shù)據處理使用探索
這篇文章主要介紹了python datatable庫大型數(shù)據集和多核數(shù)據處理使用探索,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2024-01-01
Python語法糖for?else循環(huán)語句里的break使用詳解
這篇文章主要介紹了Python語法糖之for?else循環(huán)語句里的break使用詳解,有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-05-05