tensorflow 查看梯度方式
更新時間：2020年02月04日 10:53:36 作者：zyr523
今天小編就為大家分享一篇tensorflow 查看梯度方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
1. 為什么要查看梯度
對于初學(xué)者來說網(wǎng)絡(luò)經(jīng)常不收斂，loss很奇怪（就是不收斂），所以懷疑是反向傳播中梯度的問題
（1）求導(dǎo)之后的數(shù)（的絕對值）越來越?。ㄚ吔?），這就是梯度消失
（2）求導(dǎo)之后的數(shù)（的絕對值）越來越大（特別大，發(fā)散），這就是梯度爆炸
所以說呢，當(dāng)loss不正常時，可以看看梯度是否處于爆炸，或者是消失了，梯度爆炸的話，網(wǎng)絡(luò)中的W也會很大，人工控制一下（初始化的時候弄小點(diǎn)等等肯定還有其它方法，只是我不知道，知道的大神也可以稍微告訴我一下~~），要是梯度消失，可以試著用用resnet,densenet之類的
2. tensorflow中如何查看梯度
tf.gradients(y,x)這里的就是y對于x的導(dǎo)數(shù)（dy/dx）,x和y一定要有關(guān)聯(lián)哦~
直接tf.gradients(y_, weight1)就可以了~
以上這篇tensorflow 查看梯度方式就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:
- tensorflow 實(shí)現(xiàn)自定義梯度反向傳播代碼
- 有關(guān)Tensorflow梯度下降常用的優(yōu)化方法分享
- TensorFlow梯度求解tf.gradients實(shí)例
- 基于TensorFlow中自定義梯度的2種方式
- tensorflow求導(dǎo)和梯度計算實(shí)例
- Tensorflow的梯度異步更新示例
- 在Tensorflow中實(shí)現(xiàn)梯度下降法更新參數(shù)值
- Tensorflow實(shí)現(xiàn)部分參數(shù)梯度更新操作
- 運(yùn)用TensorFlow進(jìn)行簡單實(shí)現(xiàn)線性回歸、梯度下降示例
- Tensorflow 卷積的梯度反向傳播過程
相關(guān)文章
對python中arange()和linspace()的區(qū)別說明
這篇文章主要介紹了對python中arange()和linspace()的區(qū)別說明，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
使用Node.js和Socket.IO擴(kuò)展Django的實(shí)時處理功能
這篇文章主要介紹了使用Node.js和Socket.IO擴(kuò)展Django的實(shí)時處理功能,用異步處理實(shí)時功能是相當(dāng)強(qiáng)大的,文中給出的例子是建立一個實(shí)時聊天室,需要的朋友可以參考下2015-04-04
python-web根據(jù)元素屬性進(jìn)行定位的方法
這篇文章主要介紹了python-web根據(jù)元素屬性進(jìn)行定位的方法，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值,需要的朋友可以參考下2019-12-12
本文主要介紹了python讀取.data文件的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02
這篇文章主要介紹了Python生成隨機(jī)數(shù)字和字符詳情，random是python自帶庫，使用前導(dǎo)入import?random即可，更多相關(guān)內(nèi)容需要的朋友可以參考一下2022-07-07
PaddleOCR可以在圖像、文本、表格等多種場景下進(jìn)行文字識別,本文主要介紹了Python使用paddleOCR批量識別pdf的方法,具有一定的參考價值,感興趣的可以了解一下2024-03-03
Python使用?TCP協(xié)議實(shí)現(xiàn)智能聊天機(jī)器人功能
TCP協(xié)議適用于對效率要求相對較低而準(zhǔn)確性要求很高的場合，下面通過本文給大家介紹基于Python?使用?TCP?實(shí)現(xiàn)智能聊天機(jī)器人,需要的朋友可以參考下2022-05-05
Django REST framework 分頁的實(shí)現(xiàn)代碼
這篇文章主要介紹了Django REST framework 分頁的實(shí)現(xiàn)代碼，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06
今天給大家?guī)淼氖顷P(guān)于Python的相關(guān)知識,文章圍繞著Python中常用的conda命令行操作展開,文中有非常詳細(xì)的介紹及代碼示例,需要的朋友可以參考下2021-06-06
這篇文章主要給大家介紹了關(guān)于如何利用Python校準(zhǔn)本地時間的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者使用Python具有一定的參考學(xué)習(xí)價值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10