Tensorflow的梯度異步更新示例
更新時間：2020年01月23日 18:11:22 作者：supe_king
今天小編就為大家分享一篇Tensorflow的梯度異步更新示例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
背景：
先說一下應(yīng)用吧，一般我們進(jìn)行網(wǎng)絡(luò)訓(xùn)練時，都有一個batchsize設(shè)置，也就是一個batch一個batch的更新梯度，能有這個batch的前提是這個batch中所有的圖片的大小一致，這樣才能組成一個placeholder。那么若一個網(wǎng)絡(luò)對圖片的輸入沒有要求，任意尺寸的都可以，但是我們又想一個batch一個batch的更新梯度怎么辦呢？
操作如下：
先計算梯度：
# 模型部分
Optimizer = tf.train.GradientDescentOptimizer(1)
gradient = Optimizer.compute_gradients(loss) # 每次計算所有變量的梯度
grads_holder = [(tf.placeholder(tf.float32, shape=g.get_shape()), v) for (g, v) in gradient]# 將每次計算的梯度保存
optm = Optimizer.apply_gradients(grads_holder) # 進(jìn)行梯度更新
# 初始化部分
sess = tf.Session()
init = tf.global_variables_initializer()
sess.run(init)
# 實(shí)際訓(xùn)練部分
grads = [] # 定義一個空的列表用于存儲每次計算的梯度
for i in range(batchsize): # batchsize設(shè)置在這里
x_i = ... # 輸入
y_real = ... # 標(biāo)簽
grad_i = sess.run(gradient, feed_dict={inputs: x_i, outputs: y_real}) #梯度計算
grads.append(grad_i) # 梯度存儲
# 定義一個空的字典用于存儲，batchsize中所有梯度的和
grads_sum = {}
# 將網(wǎng)絡(luò)中每個需要更新梯度的變量都遍歷一遍
for i in range(len(grads_holder)):
k = grads_holder[i][0] # 得到該變量名
# 將該變量名下的所有梯度求和，這里也可以求平均，求平均只需要除以batchsize
grads_sum[k] = sum([g[i][0] for g in grads])
# 完成梯度更新
sess.run(optm,feed_dict=grads_sum)
以上這篇Tensorflow的梯度異步更新示例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:
- tensorflow 實(shí)現(xiàn)自定義梯度反向傳播代碼
- 有關(guān)Tensorflow梯度下降常用的優(yōu)化方法分享
- TensorFlow梯度求解tf.gradients實(shí)例
- 基于TensorFlow中自定義梯度的2種方式
- tensorflow 查看梯度方式
- tensorflow求導(dǎo)和梯度計算實(shí)例
- 在Tensorflow中實(shí)現(xiàn)梯度下降法更新參數(shù)值
- Tensorflow實(shí)現(xiàn)部分參數(shù)梯度更新操作
- 運(yùn)用TensorFlow進(jìn)行簡單實(shí)現(xiàn)線性回歸、梯度下降示例
- Tensorflow 卷積的梯度反向傳播過程
相關(guān)文章
Python實(shí)現(xiàn)的IP端口掃描工具類示例
這篇文章主要介紹了Python實(shí)現(xiàn)的IP端口掃描工具類,結(jié)合實(shí)例形式分析了Python基于socket模塊與多線程操作實(shí)現(xiàn)IP端口掃描的相關(guān)操作技巧,需要的朋友可以參考下2019-02-02
本篇文章主要介紹了Python NLP入門教程，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-12-12
這篇文章主要介紹了Python類的專用方法,實(shí)例分析了__init__、__del__、__repr__等專用方法的應(yīng)用技巧,需要的朋友可以參考下2015-01-01
本文主要介紹了Python的tkinter庫中設(shè)置組件背景顏色的方法,主要通過使用bg選項(xiàng)和config方法來實(shí)現(xiàn),包括設(shè)置單個組件、窗口、按鈕、文本框以及整個應(yīng)用的背景顏色,同時也可以使用十六進(jìn)制顏色代碼進(jìn)行更精確的顏色控制2024-09-09
這篇文章主要介紹了詳解如何在PyCharm控制臺中輸出彩色文字和背景，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08
在本篇文章里小編給大家整理的是一篇關(guān)于Python中if有多個條件處理方法，需要的朋友們可以學(xué)習(xí)參考下。2020-02-02
Python 是一種流行的編程語言,具有豐富的第三方庫和強(qiáng)大的自動化能力,適用于許多不同的領(lǐng)域,許多運(yùn)維工程師會使用 Python 腳本來自動化運(yùn)維任務(wù),所以本文為大家整理了5個Python自動化運(yùn)維腳本,有需要的可以參考下2023-08-08
這篇文章主要介紹了python中關(guān)于提升工作效率的一些小技巧，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-07-07
這篇文章主要介紹了解決Keras中CNN輸入維度報錯問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
Sublime?Text?配置?Python?環(huán)境的問題及解決方案
這篇文章主要介紹了Sublime?Text?配置?Python?環(huán)境的問題，文中介紹了python自定義的構(gòu)建系統(tǒng)的完整代碼，代碼簡單易懂，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2022-01-01