欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

pytorch 共享參數(shù)的示例

 更新時(shí)間：2019年08月17日 13:37:45   作者：馬管子  
今天小編就為大家分享一篇pytorch 共享參數(shù)的示例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

在很多神經(jīng)網(wǎng)絡(luò)中，往往會(huì)出現(xiàn)多個(gè)層共享一個(gè)權(quán)重的情況，pytorch可以快速地處理權(quán)重共享問(wèn)題。

例子1：

class ConvNet(nn.Module):
  def __init__(self):
    super(ConvNet, self).__init__()
    self.conv_weight = nn.Parameter(torch.randn(3, 3, 5, 5))
 
  def forward(self, x):
    x = nn.functional.conv2d(x, self.conv_weight, bias=None, stride=1, padding=2, dilation=1, groups=1)
    x = nn.functional.conv2d(x, self.conv_weight.transpose(2, 3).contiguous(), bias=None, stride=1, padding=0, dilation=1,
                 groups=1)
    return x

上邊這段程序定義了兩個(gè)卷積層，這兩個(gè)卷積層共享一個(gè)權(quán)重conv_weight，第一個(gè)卷積層的權(quán)重是conv_weight本身，第二個(gè)卷積層是conv_weight的轉(zhuǎn)置。注意在gpu上運(yùn)行時(shí)，transpose()后邊必須加上.contiguous()使轉(zhuǎn)置操作連續(xù)化，否則會(huì)報(bào)錯(cuò)。

例子2：

class LinearNet(nn.Module):
  def __init__(self):
    super(LinearNet, self).__init__()
    self.linear_weight = nn.Parameter(torch.randn(3, 3))
 
  def forward(self, x):
    x = nn.functional.linear(x, self.linear_weight)
    x = nn.functional.linear(x, self.linear_weight.t())
 
    return x

這個(gè)網(wǎng)絡(luò)實(shí)現(xiàn)了一個(gè)雙層感知器，權(quán)重同樣是一個(gè)parameter的本身及其轉(zhuǎn)置。

例子3：

class LinearNet2(nn.Module):
  def __init__(self):
    super(LinearNet2, self).__init__()
    self.w = nn.Parameter(torch.FloatTensor([[1.1,0,0], [0,1,0], [0,0,1]]))
 
  def forward(self, x):
    x = x.mm(self.w)
    x = x.mm(self.w.t())
    return x

這個(gè)方法直接用mm函數(shù)將x與w相乘，與上邊的網(wǎng)絡(luò)效果相同。

以上這篇pytorch 共享參數(shù)的示例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

相關(guān)文章

最新評(píng)論