pyTorch深度學(xué)習(xí)多層感知機(jī)的實(shí)現(xiàn)
激活函數(shù)
前兩節(jié)實(shí)現(xiàn)的傳送門
pyTorch深度學(xué)習(xí)softmax實(shí)現(xiàn)解析
pyTorch深入學(xué)習(xí)梯度和Linear Regression實(shí)現(xiàn)析
前兩節(jié)實(shí)現(xiàn)的linear model 和 softmax model 是單層神經(jīng)網(wǎng)絡(luò)，只包含一個(gè)輸入層和一個(gè)輸出層，因?yàn)檩斎雽硬粚?shù)據(jù)進(jìn)行transformation，所以只算一層輸出層。
多層感知機(jī)(mutilayer preceptron)加入了隱藏層，將神經(jīng)網(wǎng)絡(luò)的層級加深，因?yàn)榫€性層的串聯(lián)結(jié)果還是線性層，所以必須在每個(gè)隱藏層之后添加激活函數(shù)，即增加model的非線性能力，使得model的function set變大。
ReLU，Sigmoid， tanh是三個(gè)常見的激活函數(shù)，分別做出它們的函數(shù)圖像以及導(dǎo)數(shù)圖像。
#畫圖使用
def xyplot(x,y,name,size):
plt.figure(figsize=size)
plt.plot(x.detach().numpy(),y.detach().numpy())
plt.xlabel('x')
plt.ylabel(name+'(x)')
plt.show()
#relu x = torch.arange(-8,8,0.01,requires_grad=True) y = x.relu() xyplot(x,y,'relu')
y.sum().backward() xyplot(x,x.grad,'grad of relu')
其它兩個(gè)激活函數(shù)的圖像畫法類似，分別為x.sigmoid(),x.tanh()
多層感知機(jī)的PyTorch實(shí)現(xiàn)
實(shí)際上多層感知機(jī)不過是在linear變換之后添加relu操作，在output layer進(jìn)行softmax操作
def relu(x): return torch.max(input=x,others,other=torch.tensor(0.0))
max這個(gè)方法除了返回tensor中的最大值，還有和maximum函數(shù)一樣的作用，將input和other進(jìn)行element-wise的比較，返回二者中的最大值，shape不變。
class MulPeceptron(nn.Module):
def __init__(self,in_features,out_features):
super().__init__()
self.fc = nn.Linear(in_features=in_features,out_features=256)
self.out = nn.Linear(in_features=256,out_features=out_features)
def forward(self,t):
t = t.flatten(start_dim=1)
t = self.fc(t)
t = F.relu(t)
t = self.out(t)
return t
這里就不從零開始實(shí)現(xiàn)了，因?yàn)閟oftmax和linear model手寫過以后，這個(gè)只是增加了一個(gè)矩陣乘法和一個(gè)ReLU操作
以上就是pytorch深度學(xué)習(xí)多層感知機(jī)的實(shí)現(xiàn)的詳細(xì)內(nèi)容，更多關(guān)于pytorch實(shí)現(xiàn)多層感知機(jī)的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
這篇文章主要介紹了Python 處理文件的幾種方式，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-10-10
Python安裝Numpy出現(xiàn)異常信息簡單解決辦法
在安裝Python的Numpy包時(shí),可能會遇到路徑警告或包源超時(shí)的問題,首先,如果出現(xiàn)包源超時(shí),可以嘗試更換為國內(nèi)的鏡像源,如清華大學(xué)鏡像源,其次,如果在安裝完成后提示將某個(gè)路徑添加到PATH環(huán)境變量,按照提示操作即可消除異常,需要的朋友可以參考下2024-09-09
DataFrame是pandas最常用的對象,其類似于excel中的表格,完成數(shù)據(jù)讀取后,數(shù)據(jù)就以DataFrame數(shù)據(jù)結(jié)構(gòu)存儲在內(nèi)存中,下面這篇文章主要給大家介紹了關(guān)于Pandas中DataFrame常用操作的相關(guān)資料,需要的朋友可以參考下2022-06-06
這篇文章主要介紹了unittest單元測試框架中常用的幾種用例加載方法，幫助大家更好的理解和使用python的unittest測試模塊，感興趣的朋友可以了解下2020-12-12
在本篇內(nèi)容里小編給大家整理的是一篇關(guān)于Python3爬蟲中pyspider的安裝步驟，需要的朋友們可以學(xué)習(xí)參考下。2020-07-07
在本篇文章里小編給大家整理的是一篇關(guān)于python常量折疊基礎(chǔ)知識點(diǎn)講解，對此有興趣的朋友可以跟著學(xué)習(xí)下。2021-02-02
python groupby函數(shù)實(shí)現(xiàn)分組后選取最值
這篇文章主要介紹了python groupby函數(shù)實(shí)現(xiàn)分組后選取最值，文章圍繞主題相關(guān)資料展開詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2022-06-06
這篇文章主要介紹了scrapy框架中的items文件夾的用法詳解,在Scrapy框架中,items文件夾是用來存放定義數(shù)據(jù)模型的Item類的地方,Item類描述了要從網(wǎng)頁中提取的數(shù)據(jù)的結(jié)構(gòu)和字段,通過使用Item類,我們可以更方便地組織和處理爬取到的數(shù)據(jù),需要的朋友可以參考下2023-10-10
這篇文章主要介紹了使用Python處理Excel表格的簡單方法,本文給大家介紹的非常詳細(xì)，需要的朋友可以參考下2018-06-06
分析機(jī)器學(xué)習(xí)之決策樹Python實(shí)現(xiàn)
決策樹是一種非參數(shù)的有監(jiān)督學(xué)習(xí)方法，它能夠從一系列有特征和標(biāo)簽的數(shù)據(jù)中總結(jié)出決策規(guī)則，并用樹狀圖的結(jié)構(gòu)來呈現(xiàn)這些規(guī)則，以解決分類和回歸問題。決策樹算法容易理解，適用各種數(shù)據(jù)，在解決各種問題時(shí)都有良好表現(xiàn)2021-06-06