欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

pytorch如何凍結(jié)某層參數(shù)的實(shí)現(xiàn)

 更新時間：2020年01月10日 11:15:01   作者：Pr4da  
這篇文章主要介紹了pytorch如何凍結(jié)某層參數(shù)的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

在遷移學(xué)習(xí)finetune時我們通常需要凍結(jié)前幾層的參數(shù)不參與訓(xùn)練，在Pytorch中的實(shí)現(xiàn)如下：

class Model(nn.Module):
 def __init__(self):
  super(Transfer_model, self).__init__()
  self.linear1 = nn.Linear(20, 50)
  self.linear2 = nn.Linear(50, 20)
  self.linear3 = nn.Linear(20, 2)

 def forward(self, x):
 pass

假如我們想要凍結(jié)linear1層，需要做如下操作：

model = Model()
# 這里是一般情況，共享層往往不止一層，所以做一個for循環(huán)
for para in model.linear1.parameters():
 para.requires_grad = False
# 假如真的只有一層也可以這樣操作：
# model.linear1.weight.requires_grad = False

 最后我們需要將需要優(yōu)化的參數(shù)傳入優(yōu)化器，不需要傳入的參數(shù)過濾掉，所以要用到filter()函數(shù)。

optimizer = optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr=0.1)

其它的博客中都沒有講解filter()函數(shù)的作用，在這里我簡單講一下有助于更好的理解。

filter(function, iterable)

  • function: 判斷函數(shù)
  • iterable: 可迭代對象

filter() 函數(shù)用于過濾序列，過濾掉不符合條件的元素，返回一個迭代器對象，如果要轉(zhuǎn)換為列表，可以使用 list() 來轉(zhuǎn)換。

該接收兩個參數(shù)，第一個為函數(shù)，第二個為序列，序列的每個元素作為參數(shù)傳遞給函數(shù)進(jìn)行判，然后返回 True 或 False，最后將返回 True 的元素放到新列表中。

filter()函數(shù)將requires_grad = True的參數(shù)傳入優(yōu)化器進(jìn)行反向傳播，requires_grad = False的則被過濾掉。

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

相關(guān)文章

最新評論