PyTorch中常用的激活函數的方法示例
更新時間：2019年08月20日 10:53:44 作者：Steven·簡談
這篇文章主要介紹了PyTorch中常用的激活函數的方法示例，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
神經網絡只是由兩個或多個線性網絡層疊加，并不能學到新的東西，簡單地堆疊網絡層，不經過非線性激活函數激活，學到的仍然是線性關系。
但是加入激活函數可以學到非線性的關系，就具有更強的能力去進行特征提取。
構造數據
import torch import torch.nn.functional as F from torch.autograd import Variable import matplotlib.pyplot as plt x = torch.linspace(-5, 5, 200) # 構造一段連續(xù)的數據 x = Variable(x) # 轉換成張量 x_np = x.data.numpy() # 換成 numpy array, 出圖時用
Relu
表達式：
代碼：
y_relu = F.relu(x).data.numpy() plt.plot(x_np, y_relu, c='red', label='relu') plt.ylim((-1, 5)) plt.legend(loc='best') plt.show()
形狀如圖：
Sigmoid
表達式：
代碼：
y_sigmoid = F.sigmoid(x).data.numpy() plt.plot(x_np, y_sigmoid, c='red', label='sigmoid') plt.ylim((-0.2, 1.2)) plt.legend(loc='best') plt.show()
形狀如圖：
Tanh
表達式：
代碼：
y_tanh = F.tanh(x).data.numpy() plt.plot(x_np, y_tanh, c='red', label='tanh') plt.ylim((-1.2, 1.2)) plt.legend(loc='best') plt.show()
形狀如圖：
Softplus
表達式：
代碼：
y_softplus = F.softplus(x).data.numpy() plt.plot(x_np, y_softplus, c='red', label='softplus') plt.ylim((-0.2, 6)) plt.legend(loc='best') plt.show()
形狀如圖：
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
這篇文章主要給大家介紹了最近在使用Pyinstaller的踩坑實戰(zhàn)記錄，主要介紹了PYTHON2X.DLL缺失和WINDOWS2003 32BIT提示程序無效這兩個問題的解決方法，文中給出了詳細的解決方法，需要的朋友們下面來一起看看吧。2017-11-11
這篇文章主要介紹了Python中的元組與邏輯運算符的用法,是Python入門學習中的基礎知識,需要的朋友可以參考下2015-10-10
這篇文章主要介紹了Python中集合的內建函數和內建方法學習教程,包括工廠函數和僅用于可變集合的方法等知識點,需要的朋友可以參考下2015-08-08
摩爾斯電碼是一種時通時斷的信號代碼，通過不同的排列順序來表達不同的英文字母、數字和標點符號。本文將通過Python代碼來實現解密摩斯密碼，感興趣的可以學習一下2022-04-04
今天小編就為大家分享一篇Pyqt5 實現跳轉界面并關閉當前界面的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06
今天小編就為大家分享一篇使用python3構建文件傳輸的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-02-02
這篇文章主要介紹了用Django實現一個可運行的區(qū)塊鏈應用,需要的朋友可以參考下2018-03-03
學了python以后，知道python的抓取功能其實是非常強大的，當然不能浪費，呵呵。我平時很喜歡美女圖，呵呵，程序員很苦悶的，看看美女，養(yǎng)養(yǎng)眼，增加點樂趣。好，那就用python寫一個美女圖自動抓取程序吧~~2014-06-06
下面小編就為大家分享一篇取numpy數組的某幾行某幾列方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
windows下pycharm搭建spark環(huán)境并成功運行 附源碼
這篇文章主要介紹了windows下pycharm搭建spark環(huán)境并成功運行 附源碼,本文分步驟給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-04-04