欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

pyTorch深度學(xué)習(xí)多層感知機(jī)的實(shí)現(xiàn)

 更新時(shí)間:2021年09月30日 11:42:47   作者:算法菜鳥飛高高  
這篇文章主要為大家介紹了pyTorch深度學(xué)習(xí)多層感知機(jī)的實(shí)現(xiàn),文中附含詳細(xì)示例代碼,有需要的朋友可以借鑒參考下,希望能夠有所幫

激活函數(shù)

前兩節(jié)實(shí)現(xiàn)的傳送門

pyTorch深度學(xué)習(xí)softmax實(shí)現(xiàn)解析

pyTorch深入學(xué)習(xí)梯度和Linear Regression實(shí)現(xiàn)析

前兩節(jié)實(shí)現(xiàn)的linear model 和 softmax model 是單層神經(jīng)網(wǎng)絡(luò),只包含一個(gè)輸入層和一個(gè)輸出層,因?yàn)檩斎雽硬粚?shù)據(jù)進(jìn)行transformation,所以只算一層輸出層。

多層感知機(jī)(mutilayer preceptron)加入了隱藏層,將神經(jīng)網(wǎng)絡(luò)的層級加深,因?yàn)榫€性層的串聯(lián)結(jié)果還是線性層,所以必須在每個(gè)隱藏層之后添加激活函數(shù),即增加model的非線性能力,使得model的function set變大。

ReLU,Sigmoid, tanh是三個(gè)常見的激活函數(shù),分別做出它們的函數(shù)圖像以及導(dǎo)數(shù)圖像。

#畫圖使用
def xyplot(x,y,name,size):
	plt.figure(figsize=size)
	plt.plot(x.detach().numpy(),y.detach().numpy())
	plt.xlabel('x')
	plt.ylabel(name+'(x)')
	plt.show()
#relu
x = torch.arange(-8,8,0.01,requires_grad=True)
y = x.relu()
xyplot(x,y,'relu')

在這里插入圖片描述

y.sum().backward()
xyplot(x,x.grad,'grad of relu')

在這里插入圖片描述

其它兩個(gè)激活函數(shù)的圖像畫法類似,分別為x.sigmoid(),x.tanh()

多層感知機(jī)的PyTorch實(shí)現(xiàn)

實(shí)際上多層感知機(jī)不過是在linear變換之后添加relu操作,在output layer進(jìn)行softmax操作

def relu(x):
	return torch.max(input=x,others,other=torch.tensor(0.0))

max這個(gè)方法除了返回tensor中的最大值,還有和maximum函數(shù)一樣的作用,將input和other進(jìn)行element-wise的比較,返回二者中的最大值,shape不變。

class MulPeceptron(nn.Module):
    def __init__(self,in_features,out_features):
        super().__init__()
        self.fc = nn.Linear(in_features=in_features,out_features=256)
        self.out = nn.Linear(in_features=256,out_features=out_features)
    def forward(self,t):
        t = t.flatten(start_dim=1)
        t = self.fc(t)
        t = F.relu(t)
        t = self.out(t)
        return t

這里就不從零開始實(shí)現(xiàn)了,因?yàn)閟oftmax和linear model手寫過以后,這個(gè)只是增加了一個(gè)矩陣乘法和一個(gè)ReLU操作

以上就是pytorch深度學(xué)習(xí)多層感知機(jī)的實(shí)現(xiàn)的詳細(xì)內(nèi)容,更多關(guān)于pytorch實(shí)現(xiàn)多層感知機(jī)的資料請關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • python文件處理詳解

    python文件處理詳解

    這篇文章主要介紹了Python 處理文件的幾種方式,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2021-10-10
  • Python安裝Numpy出現(xiàn)異常信息簡單解決辦法

    Python安裝Numpy出現(xiàn)異常信息簡單解決辦法

    在安裝Python的Numpy包時(shí),可能會遇到路徑警告或包源超時(shí)的問題,首先,如果出現(xiàn)包源超時(shí),可以嘗試更換為國內(nèi)的鏡像源,如清華大學(xué)鏡像源,其次,如果在安裝完成后提示將某個(gè)路徑添加到PATH環(huán)境變量,按照提示操作即可消除異常,需要的朋友可以參考下
    2024-09-09
  • Pandas中DataFrame常用操作指南

    Pandas中DataFrame常用操作指南

    DataFrame是pandas最常用的對象,其類似于excel中的表格,完成數(shù)據(jù)讀取后,數(shù)據(jù)就以DataFrame數(shù)據(jù)結(jié)構(gòu)存儲在內(nèi)存中,下面這篇文章主要給大家介紹了關(guān)于Pandas中DataFrame常用操作的相關(guān)資料,需要的朋友可以參考下
    2022-06-06
  • 分享unittest單元測試框架中幾種常用的用例加載方法

    分享unittest單元測試框架中幾種常用的用例加載方法

    這篇文章主要介紹了unittest單元測試框架中常用的幾種用例加載方法,幫助大家更好的理解和使用python的unittest測試模塊,感興趣的朋友可以了解下
    2020-12-12
  • Python3爬蟲中pyspider的安裝步驟

    Python3爬蟲中pyspider的安裝步驟

    在本篇內(nèi)容里小編給大家整理的是一篇關(guān)于Python3爬蟲中pyspider的安裝步驟,需要的朋友們可以學(xué)習(xí)參考下。
    2020-07-07
  • python常量折疊基礎(chǔ)知識點(diǎn)講解

    python常量折疊基礎(chǔ)知識點(diǎn)講解

    在本篇文章里小編給大家整理的是一篇關(guān)于python常量折疊基礎(chǔ)知識點(diǎn)講解,對此有興趣的朋友可以跟著學(xué)習(xí)下。
    2021-02-02
  • python groupby函數(shù)實(shí)現(xiàn)分組后選取最值

    python groupby函數(shù)實(shí)現(xiàn)分組后選取最值

    這篇文章主要介紹了python groupby函數(shù)實(shí)現(xiàn)分組后選取最值,文章圍繞主題相關(guān)資料展開詳細(xì)的內(nèi)容介紹,具有一定的參考價(jià)值,需要的小伙伴可以參考一下
    2022-06-06
  • scrapy框架中的items文件夾的用法詳解

    scrapy框架中的items文件夾的用法詳解

    這篇文章主要介紹了scrapy框架中的items文件夾的用法詳解,在Scrapy框架中,items文件夾是用來存放定義數(shù)據(jù)模型的Item類的地方,Item類描述了要從網(wǎng)頁中提取的數(shù)據(jù)的結(jié)構(gòu)和字段,通過使用Item類,我們可以更方便地組織和處理爬取到的數(shù)據(jù),需要的朋友可以參考下
    2023-10-10
  • 使用Python處理Excel表格的簡單方法

    使用Python處理Excel表格的簡單方法

    這篇文章主要介紹了使用Python處理Excel表格的簡單方法,本文給大家介紹的非常詳細(xì),需要的朋友可以參考下
    2018-06-06
  • 分析機(jī)器學(xué)習(xí)之決策樹Python實(shí)現(xiàn)

    分析機(jī)器學(xué)習(xí)之決策樹Python實(shí)現(xiàn)

    決策樹是一種非參數(shù)的有監(jiān)督學(xué)習(xí)方法,它能夠從一系列有特征和標(biāo)簽的數(shù)據(jù)中總結(jié)出決策規(guī)則,并用樹狀圖的結(jié)構(gòu)來呈現(xiàn)這些規(guī)則,以解決分類和回歸問題。決策樹算法容易理解,適用各種數(shù)據(jù),在解決各種問題時(shí)都有良好表現(xiàn)
    2021-06-06

最新評論