快捷導(dǎo)航

簡(jiǎn)單聊聊PyTorch里面的torch.nn.Parameter()

更新時(shí)間：2022年02月24日 09:34:26 作者：VanJordan

torch.nn.parameter是一個(gè)被用作神經(jīng)網(wǎng)絡(luò)模塊參數(shù)的tensor,這是一種tensor的子類,下面這篇文章主要給大家介紹了關(guān)于PyTorch里面的torch.nn.Parameter()的相關(guān)資料,需要的朋友可以參考下

在刷官方Tutorial的時(shí)候發(fā)現(xiàn)了一個(gè)用法self.v = torch.nn.Parameter(torch.FloatTensor(hidden_size)),看了官方教程里面的解釋也是云里霧里，于是在棧溢網(wǎng)看到了一篇解釋，并做了幾個(gè)實(shí)驗(yàn)才算完全理解了這個(gè)函數(shù)。首先可以把這個(gè)函數(shù)理解為類型轉(zhuǎn)換函數(shù)，將一個(gè)不可訓(xùn)練的類型Tensor轉(zhuǎn)換成可以訓(xùn)練的類型parameter并將這個(gè)parameter綁定到這個(gè)module里面(net.parameter()中就有這個(gè)綁定的parameter，所以在參數(shù)優(yōu)化的時(shí)候可以進(jìn)行優(yōu)化的)，所以經(jīng)過類型轉(zhuǎn)換這個(gè)self.v變成了模型的一部分，成為了模型中根據(jù)訓(xùn)練可以改動(dòng)的參數(shù)了。使用這個(gè)函數(shù)的目的也是想讓某些變量在學(xué)習(xí)的過程中不斷的修改其值以達(dá)到最優(yōu)化。

出現(xiàn)這個(gè)函數(shù)的地方

在concat注意力機(jī)制中，權(quán)值V是不斷學(xué)習(xí)的所以要是parameter類型。

通過做下面的實(shí)驗(yàn)發(fā)現(xiàn)，linear里面的weight和bias就是parameter類型，且不能夠使用tensor類型替換，還有l(wèi)inear里面的weight甚至可能通過指定一個(gè)不同于初始化時(shí)候的形狀進(jìn)行模型的更改。

做的實(shí)驗(yàn)

self.v被綁定到模型中了，所以可以在訓(xùn)練的時(shí)候優(yōu)化

與torch.tensor([1,2,3],requires_grad=True)的區(qū)別，這個(gè)只是將參數(shù)變成可訓(xùn)練的，并沒有綁定在module的parameter列表中。

總結(jié)

到此這篇關(guān)于PyTorch里面的torch.nn.Parameter()的文章就介紹到這了,更多相關(guān)PyTorch的torch.nn.Parameter()內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: