在Tensorflow中實(shí)現(xiàn)leakyRelu操作詳解(高效)

更新時(shí)間：2020年06月30日 10:30:03 作者：wm6274

這篇文章主要介紹了在Tensorflow中實(shí)現(xiàn)leakyRelu操作詳解(高效)，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧

從github上轉(zhuǎn)來，實(shí)在是厲害的想法，什么時(shí)候自己也能寫出這種精妙的代碼就好了

原地址：簡易高效的LeakyReLu實(shí)現(xiàn)

代碼如下：

我做了些改進(jìn)，因?yàn)閷?shí)在tensorflow中使用，就將原來的abs()函數(shù)替換成了tf.abs()

import tensorflow as tf
def LeakyRelu(x, leak=0.2, name="LeakyRelu"):
   with tf.variable_scope(name):
     f1 = 0.5 * (1 + leak)
     f2 = 0.5 * (1 - leak)
     return f1 * x + f2 * tf.abs(x) # 這里和原文有不一樣的，我沒試驗(yàn)過原文的代碼，但tf.abs()肯定是對的

補(bǔ)充知識：激活函數(shù)ReLU、Leaky ReLU、PReLU和RReLU

“激活函數(shù)”能分成兩類——“飽和激活函數(shù)”和“非飽和激活函數(shù)”。

sigmoid和tanh是“飽和激活函數(shù)”，而ReLU及其變體則是“非飽和激活函數(shù)”。使用“非飽和激活函數(shù)”的優(yōu)勢在于兩點(diǎn)：

1.首先，“非飽和激活函數(shù)”能解決所謂的“梯度消失”問題。

2.其次，它能加快收斂速度。

Sigmoid函數(shù)需要一個實(shí)值輸入壓縮至[0,1]的范圍

σ(x) = 1 / (1 + exp(−x))

tanh函數(shù)需要講一個實(shí)值輸入壓縮至 [-1, 1]的范圍

tanh(x) = 2σ(2x) − 1

ReLU

ReLU函數(shù)代表的的是“修正線性單元”，它是帶有卷積圖像的輸入x的最大函數(shù)(x,o)。ReLU函數(shù)將矩陣x內(nèi)所有負(fù)值都設(shè)為零，其余的值不變。ReLU函數(shù)的計(jì)算是在卷積之后進(jìn)行的，因此它與tanh函數(shù)和sigmoid函數(shù)一樣，同屬于“非線性激活函數(shù)”。這一內(nèi)容是由Geoff Hinton首次提出的。

ELUs

ELUs是“指數(shù)線性單元”，它試圖將激活函數(shù)的平均值接近零，從而加快學(xué)習(xí)的速度。同時(shí)，它還能通過正值的標(biāo)識來避免梯度消失的問題。根據(jù)一些研究，ELUs分類精確度是高于ReLUs的。下面是關(guān)于ELU細(xì)節(jié)信息的詳細(xì)介紹：

Leaky ReLUs

ReLU是將所有的負(fù)值都設(shè)為零，相反，Leaky ReLU是給所有負(fù)值賦予一個非零斜率。Leaky ReLU激活函數(shù)是在聲學(xué)模型（2013）中首次提出的。以數(shù)學(xué)的方式我們可以表示為：

ai是（1，+∞）區(qū)間內(nèi)的固定參數(shù)。

參數(shù)化修正線性單元（PReLU）

PReLU可以看作是Leaky ReLU的一個變體。在PReLU中，負(fù)值部分的斜率是根據(jù)數(shù)據(jù)來定的，而非預(yù)先定義的。作者稱，在ImageNet分類（2015，Russakovsky等）上，PReLU是超越人類分類水平的關(guān)鍵所在。

隨機(jī)糾正線性單元（RReLU）

“隨機(jī)糾正線性單元”RReLU也是Leaky ReLU的一個變體。在RReLU中，負(fù)值的斜率在訓(xùn)練中是隨機(jī)的，在之后的測試中就變成了固定的了。RReLU的亮點(diǎn)在于，在訓(xùn)練環(huán)節(jié)中，aji是從一個均勻的分布U(I,u)中隨機(jī)抽取的數(shù)值。形式上來說，我們能得到以下結(jié)果：