PyTorch中常用的激活函數(shù)的方法示例

更新時間：2019年08月20日 10:53:44 作者：Steven·簡談

這篇文章主要介紹了PyTorch中常用的激活函數(shù)的方法示例，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧

神經(jīng)網(wǎng)絡只是由兩個或多個線性網(wǎng)絡層疊加，并不能學到新的東西，簡單地堆疊網(wǎng)絡層，不經(jīng)過非線性激活函數(shù)激活，學到的仍然是線性關系。

但是加入激活函數(shù)可以學到非線性的關系，就具有更強的能力去進行特征提取。

構造數(shù)據(jù)

import torch
import torch.nn.functional as F
from torch.autograd import Variable

import matplotlib.pyplot as plt

x = torch.linspace(-5, 5, 200)  # 構造一段連續(xù)的數(shù)據(jù)
x = Variable(x)	 # 轉換成張量
x_np = x.data.numpy()	# 換成 numpy array, 出圖時用

Relu

表達式：

代碼：

y_relu = F.relu(x).data.numpy()
plt.plot(x_np, y_relu, c='red', label='relu')
plt.ylim((-1, 5))
plt.legend(loc='best')

plt.show()

形狀如圖：

在這里插入圖片描述

Sigmoid

表達式：

代碼：

y_sigmoid = F.sigmoid(x).data.numpy()
plt.plot(x_np, y_sigmoid, c='red', label='sigmoid')
plt.ylim((-0.2, 1.2))
plt.legend(loc='best')

plt.show()

形狀如圖：

在這里插入圖片描述

Tanh

表達式：

代碼：

y_tanh = F.tanh(x).data.numpy()
plt.plot(x_np, y_tanh, c='red', label='tanh')
plt.ylim((-1.2, 1.2))
plt.legend(loc='best')

plt.show()

形狀如圖：

在這里插入圖片描述

Softplus

表達式：

代碼：

y_softplus = F.softplus(x).data.numpy()
plt.plot(x_np, y_softplus, c='red', label='softplus')
plt.ylim((-0.2, 6))
plt.legend(loc='best')

plt.show()

形狀如圖：

在這里插入圖片描述

以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

使用Pyinstaller的最新踩坑實戰(zhàn)記錄
這篇文章主要給大家介紹了最近在使用Pyinstaller的踩坑實戰(zhàn)記錄，主要介紹了PYTHON2X.DLL缺失和WINDOWS2003 32BIT提示程序無效這兩個問題的解決方法，文中給出了詳細的解決方法，需要的朋友們下面來一起看看吧。
2017-11-11
詳解Python中的元組與邏輯運算符
這篇文章主要介紹了Python中的元組與邏輯運算符的用法,是Python入門學習中的基礎知識,需要的朋友可以參考下
2015-10-10
Python中集合的內(nèi)建函數(shù)和內(nèi)建方法學習教程
這篇文章主要介紹了Python中集合的內(nèi)建函數(shù)和內(nèi)建方法學習教程,包括工廠函數(shù)和僅用于可變集合的方法等知識點,需要的朋友可以參考下
2015-08-08
11行Python代碼實現(xiàn)解密摩斯密碼
摩爾斯電碼是一種時通時斷的信號代碼，通過不同的排列順序來表達不同的英文字母、數(shù)字和標點符號。本文將通過Python代碼來實現(xiàn)解密摩斯密碼，感興趣的可以學習一下
2022-04-04
Pyqt5 實現(xiàn)跳轉界面并關閉當前界面的方法
今天小編就為大家分享一篇Pyqt5 實現(xiàn)跳轉界面并關閉當前界面的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-06-06
今天小編就為大家分享一篇使用python3構建文件傳輸?shù)姆椒?，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-02-02