pyTorch深度學(xué)習(xí)多層感知機(jī)的實(shí)現(xiàn)
激活函數(shù)
前兩節(jié)實(shí)現(xiàn)的傳送門
pyTorch深度學(xué)習(xí)softmax實(shí)現(xiàn)解析
pyTorch深入學(xué)習(xí)梯度和Linear Regression實(shí)現(xiàn)析
前兩節(jié)實(shí)現(xiàn)的linear model 和 softmax model 是單層神經(jīng)網(wǎng)絡(luò),只包含一個(gè)輸入層和一個(gè)輸出層,因?yàn)檩斎雽硬粚?shù)據(jù)進(jìn)行transformation,所以只算一層輸出層。
多層感知機(jī)(mutilayer preceptron)加入了隱藏層,將神經(jīng)網(wǎng)絡(luò)的層級加深,因?yàn)榫€性層的串聯(lián)結(jié)果還是線性層,所以必須在每個(gè)隱藏層之后添加激活函數(shù),即增加model的非線性能力,使得model的function set變大。
ReLU,Sigmoid, tanh是三個(gè)常見的激活函數(shù),分別做出它們的函數(shù)圖像以及導(dǎo)數(shù)圖像。
#畫圖使用 def xyplot(x,y,name,size): plt.figure(figsize=size) plt.plot(x.detach().numpy(),y.detach().numpy()) plt.xlabel('x') plt.ylabel(name+'(x)') plt.show()
#relu x = torch.arange(-8,8,0.01,requires_grad=True) y = x.relu() xyplot(x,y,'relu')
y.sum().backward() xyplot(x,x.grad,'grad of relu')
其它兩個(gè)激活函數(shù)的圖像畫法類似,分別為x.sigmoid(),x.tanh()
多層感知機(jī)的PyTorch實(shí)現(xiàn)
實(shí)際上多層感知機(jī)不過是在linear變換之后添加relu操作,在output layer進(jìn)行softmax操作
def relu(x): return torch.max(input=x,others,other=torch.tensor(0.0))
max這個(gè)方法除了返回tensor中的最大值,還有和maximum函數(shù)一樣的作用,將input和other進(jìn)行element-wise的比較,返回二者中的最大值,shape不變。
class MulPeceptron(nn.Module): def __init__(self,in_features,out_features): super().__init__() self.fc = nn.Linear(in_features=in_features,out_features=256) self.out = nn.Linear(in_features=256,out_features=out_features) def forward(self,t): t = t.flatten(start_dim=1) t = self.fc(t) t = F.relu(t) t = self.out(t) return t
這里就不從零開始實(shí)現(xiàn)了,因?yàn)閟oftmax和linear model手寫過以后,這個(gè)只是增加了一個(gè)矩陣乘法和一個(gè)ReLU操作
以上就是pytorch深度學(xué)習(xí)多層感知機(jī)的實(shí)現(xiàn)的詳細(xì)內(nèi)容,更多關(guān)于pytorch實(shí)現(xiàn)多層感知機(jī)的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
Python安裝Numpy出現(xiàn)異常信息簡單解決辦法
在安裝Python的Numpy包時(shí),可能會遇到路徑警告或包源超時(shí)的問題,首先,如果出現(xiàn)包源超時(shí),可以嘗試更換為國內(nèi)的鏡像源,如清華大學(xué)鏡像源,其次,如果在安裝完成后提示將某個(gè)路徑添加到PATH環(huán)境變量,按照提示操作即可消除異常,需要的朋友可以參考下2024-09-09python groupby函數(shù)實(shí)現(xiàn)分組后選取最值
這篇文章主要介紹了python groupby函數(shù)實(shí)現(xiàn)分組后選取最值,文章圍繞主題相關(guān)資料展開詳細(xì)的內(nèi)容介紹,具有一定的參考價(jià)值,需要的小伙伴可以參考一下2022-06-06分析機(jī)器學(xué)習(xí)之決策樹Python實(shí)現(xiàn)
決策樹是一種非參數(shù)的有監(jiān)督學(xué)習(xí)方法,它能夠從一系列有特征和標(biāo)簽的數(shù)據(jù)中總結(jié)出決策規(guī)則,并用樹狀圖的結(jié)構(gòu)來呈現(xiàn)這些規(guī)則,以解決分類和回歸問題。決策樹算法容易理解,適用各種數(shù)據(jù),在解決各種問題時(shí)都有良好表現(xiàn)2021-06-06