TensorFlow的自動求導(dǎo)原理分析
原理:
TensorFlow使用的求導(dǎo)方法稱為自動微分(Automatic Differentiation),它既不是符號求導(dǎo)也不是數(shù)值求導(dǎo),而類似于將兩者結(jié)合的產(chǎn)物。
最基本的原理就是鏈?zhǔn)椒▌t,關(guān)鍵思想是在基本操作(op)的水平上應(yīng)用符號求導(dǎo),并保持中間結(jié)果(grad)。
基本操作的符號求導(dǎo)定義在\tensorflow\python\ops\math_grad.py文件中,這個文件中的所有函數(shù)都用RegisterGradient裝飾器包裝了起來,這些函數(shù)都接受兩個參數(shù)op和grad,參數(shù)op是操作,第二個參數(shù)是grad是之前的梯度。
鏈?zhǔn)角髮?dǎo)代碼:
舉個例子:
補充:聊聊Tensorflow自動求導(dǎo)機制
自動求導(dǎo)機制
在即時執(zhí)行模式下,Tensorflow引入tf.GradientTape()這個“求導(dǎo)記錄器”來實現(xiàn)自動求導(dǎo)。
計算函數(shù)y(x)=x^2在x = 3時的導(dǎo)數(shù):
import tensorflow as tf #定義變量 x = tf.Variable(initial_value = 3.) #在tf.GradientTape()的上下文內(nèi),所有計算步驟都會被記錄以用于求導(dǎo) with tf.GradientTape() as tape: #y = x^2 y = tf.square(x) #計算y關(guān)于x的導(dǎo)數(shù)(斜率,梯度) y_grad = tape.gradient(y,x) print([y,y_grad])
輸出:
[<tf.Tensor: shape=(), dtype=float32, numpy=9.0>, <tf.Tensor: shape=(), dtype=float32, numpy=6.0>]
以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
python如何獲得list或numpy數(shù)組中最大元素對應(yīng)的索引
這篇文章主要介紹了python如何獲得list或numpy數(shù)組中最大元素對應(yīng)的索引,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-11-11Python itertools.product方法代碼實例
這篇文章主要介紹了Python itertools.product方法代碼實例,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-03-03Python網(wǎng)絡(luò)爬蟲神器PyQuery的基本使用教程
這篇文章主要給大家介紹了關(guān)于Python網(wǎng)絡(luò)爬蟲神器PyQuery的基本使用教程,文中通過示例代碼介紹的非常詳細(xì),對大家學(xué)習(xí)使用PyQuery具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。2018-02-02Python 使用 docopt 解析json參數(shù)文件過程講解
這篇文章主要介紹了Python 使用 docopt 解析json參數(shù)文件過程講解,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-08-08為2021年的第一場雪錦上添花:用matplotlib繪制雪花和雪景
這篇文章主要介紹了為2021年的第一場雪錦上添花:用matplotlib繪制雪花和雪景,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-01-01