pytorch forwod函數(shù)在父類中的調(diào)用

問題背景

最近在研究Detetron2的代碼結構時，發(fā)現(xiàn)有些網(wǎng)絡代碼里面沒有forward函數(shù)，卻照樣可以推理，深入挖掘之后，發(fā)現(xiàn)其將forword函數(shù)都寫在了同一個父類里面。

這就牽涉到了下面這個問題，子類中沒有forward函數(shù)，只有父類中有forward函數(shù)，這樣能不能正常調(diào)用網(wǎng)絡。

import torch.nn as nn

class Network1(nn.Module):
? ? def __init__(self):
? ? ? ? super().__init__()

? ? def forward(self,x):
? ? ? ? return x

class Network2(Network1):
? ? def __init__(self):
? ? ? ? super().__init__()


data = [1,2,3]
model = Network2().eval()
output = model(data)
print(output)

輸出結果如下：

[1,2,3]

pytorch forward方法調(diào)用原理

在使用Pytorch自定義網(wǎng)絡模型的時候，我們需要繼承nn.Module這個類，然后定義forward方法來實現(xiàn)前向轉(zhuǎn)播。

如下圖的一個自定義的網(wǎng)絡模型

首先該網(wǎng)絡模型的初始化方法__init__需要繼承父類nn.Module的初始化方法，用語句super().init()實現(xiàn)。

并在初始化方法里面，定義了卷積、BN、激活函數(shù)等。接下來定義forward方法，將整個網(wǎng)絡連接起來。

有了上面的定義，我們可以實例化一個對象，例如：

fire2 = Fire(96, 128,16,64,64)

實現(xiàn)前向傳播，使用 y= fire2(x) 其中x是該網(wǎng)絡的輸入，y是輸出，實現(xiàn)了forward方法的額功能。

這里就會有人感到奇怪，forward作為Fire這個類的方法，使用的時候不應該是 y= fire2.forward(x)嗎。

這里為什么一個類的實例可以當做方法直接使用？這是因為這個Fire類繼承的父類nn.Module里面定義了__call__方法。

一個類如果定義了__call__方法，則該類的實例就可以作為一個方法那樣直接使用。

例如下列代碼[1]

class A():
    def __call__(self):
        print('i can be called like a function')
 
a = A()
a()

就會執(zhí)行print函數(shù)，打印其中搞的文字。這里需要區(qū)別的是，實例化的時候，類的名稱后面括號可以傳遞參數(shù)，例如前面實例化Fire的時候，傳遞in_channel，out_channel等參數(shù)。

但是要利用__call__的特性，是在實例名后面的括號中傳遞參數(shù)，例如上面的例子a()，這里雖然沒有參數(shù)，但是也可以改變__call__的定義使之可以傳遞參數(shù)。

回到網(wǎng)絡模型的內(nèi)容上來。翻看nn.Module的部分源碼[2]，可以發(fā)現(xiàn)，nn.Module里面果然定義了__call__，并且傳遞了參數(shù)*input。在__call__的定義中國，調(diào)用了self.forward。

這里其實還有一個點值得注意。其實nn.Module里面并沒有定義forward，但他卻調(diào)用self.forward，嚴格來說，他是“想要”調(diào)用self.forward。

如果我們沒有定義一個類，例如Fire，來繼承nn.Module，并且在這個類里面定義forward，那么nn.Module中__call__下面的self.forward就是無效的。

這意味著，父類中__call__下面調(diào)用的函數(shù)，可以在繼承他的子類中定義。

下面給出一個簡單的例子。

class father():
    def __call__(self):
        self.forward()
        print('I''m the father!')

class child(father):
    def forward(self):
        print('Forward!')
F=father()
C=child()

這里定義了父類father，并定義了繼承他的一個子類child。此外還進行了他們的實例化。

顯然，在father的__call__方法下面，調(diào)用了self.forward，但是沒有定義。child在繼承了father之后，定義了forward。

首先，這段代碼不會報錯，即使father的__call__下面的self.forward并沒有定義，這也是前面我說的，雖然沒有定義forward，但是可以理解為他“想要”調(diào)用self.forward。

那么在child記成了father之后，進行了forward的定義，這使得child本身可以調(diào)用forward。

在上面這段代碼的基礎上，如果我們執(zhí)行F()，匯報下面這一段錯誤，這解釋了forward沒有定義，只是“想要”調(diào)用self.forward。

如果我們執(zhí)行C()，則如下圖輸出。

顯然，在child中補充了forward的定義，就可以成功調(diào)用。

總結

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

最新評論