tensorflow 實現(xiàn)自定義梯度反向傳播代碼
更新時間：2020年02月10日 08:34:36 作者：青盞
今天小編就為大家分享一篇tensorflow 實現(xiàn)自定義梯度反向傳播代碼，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
以sign函數(shù)為例：
sign函數(shù)可以對數(shù)值進行二值化，但在梯度反向傳播是不好處理，一般采用一個近似函數(shù)的梯度作為代替，如上圖的Htanh。在[-1,1]直接梯度為1，其他為0。
#使用修飾器，建立梯度反向傳播函數(shù)。其中op.input包含輸入值、輸出值，grad包含上層傳來的梯度
@tf.RegisterGradient("QuantizeGrad")
def sign_grad(op, grad):
input = op.inputs[0]
cond = (input>=-1)&(input<=1)
zeros = tf.zeros_like(grad)
return tf.where(cond, grad, zeros)
#使用with上下文管理器覆蓋原始的sign梯度函數(shù)
def binary(input):
x = input
with tf.get_default_graph().gradient_override_map({"Sign":'QuantizeGrad'}):
x = tf.sign(x)
return x
#使用
x = binary(x)
以上這篇tensorflow 實現(xiàn)自定義梯度反向傳播代碼就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
字典(dictionary)是除列表意外python之中最靈活的內(nèi)置數(shù)據(jù)結(jié)構(gòu)類型。列表是有序的對象結(jié)合，字典是無序的對象集合。兩者之間的區(qū)別在于：字典當(dāng)中的元素是通過鍵來存取的，而不是通過偏移存取。2016-11-11
這篇文章主要為大家詳細介紹了OpenCV實現(xiàn)相機標定，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-08-08
這篇文章主要介紹了使用Python制作一個極簡四則運算解釋器,在使用工具之前，至少也要了解工具的作用,需要的朋友可以參考下2023-04-04
這篇文章主要介紹了python面試題之列表聲明,結(jié)合實例形式分析了Python列表的聲明、計算相關(guān)操作技巧,需要的朋友可以參考下2019-07-07
這篇文章主要給大家介紹了關(guān)于python自動填寫問卷星問卷以及提交問卷等功能的相關(guān)資料,包括使用Selenium庫模擬瀏覽器操作、定位元素、填寫表單等,通過本文的學(xué)習(xí),讀者可以了解如何利用Python自動化技術(shù)提高問卷填寫效率,需要的朋友可以參考下2023-03-03
這篇文章主要為大家詳細介紹了python實現(xiàn)二維插值的三維顯示，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-12-12
在Python中我們經(jīng)常使用pip來安裝第三方Python軟件包,其實我們每個人都可以免費地將自己寫的Python包發(fā)布到PyPI上,本文小編就來教教大家如何將自己的Python包發(fā)布到PyPI上吧2023-09-09
python 去除二維數(shù)組/二維列表中的重復(fù)行方法
今天小編就為大家分享一篇python 去除二維數(shù)組/二維列表中的重復(fù)行方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
Python使用Selenium執(zhí)行JavaScript代碼的步驟詳解
Selenium是一個用于自動化瀏覽器操作的工具,可以模擬人工操作,執(zhí)行各種瀏覽器操作,而JavaScript是一種常用的腳本語言,本文將介紹如何在Python中使用Selenium執(zhí)行JavaScript代碼,并給出一些常見的應(yīng)用示例2023-11-11
Python 1.5之前版本則是通過 regex 模塊提供 Emecs 風(fēng)格的模式。Emacs 風(fēng)格模式可讀性稍差些，而且功能也不強，因此編寫新代碼時盡量不要再使用 regex 模塊，當(dāng)然偶爾你還是可能在老代碼里發(fā)現(xiàn)其蹤影2008-09-09