欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Tensorflow的梯度異步更新示例

 更新時(shí)間：2020年01月23日 18:11:22   作者：supe_king  
今天小編就為大家分享一篇Tensorflow的梯度異步更新示例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧

背景：

先說一下應(yīng)用吧，一般我們進(jìn)行網(wǎng)絡(luò)訓(xùn)練時(shí)，都有一個(gè)batchsize設(shè)置，也就是一個(gè)batch一個(gè)batch的更新梯度，能有這個(gè)batch的前提是這個(gè)batch中所有的圖片的大小一致，這樣才能組成一個(gè)placeholder。那么若一個(gè)網(wǎng)絡(luò)對(duì)圖片的輸入沒有要求，任意尺寸的都可以，但是我們又想一個(gè)batch一個(gè)batch的更新梯度怎么辦呢？

操作如下：

先計(jì)算梯度： 

# 模型部分
Optimizer = tf.train.GradientDescentOptimizer(1)
gradient = Optimizer.compute_gradients(loss)  # 每次計(jì)算所有變量的梯度
grads_holder = [(tf.placeholder(tf.float32, shape=g.get_shape()), v) for (g, v) in gradient]# 將每次計(jì)算的梯度保存
optm = Optimizer.apply_gradients(grads_holder) # 進(jìn)行梯度更新

# 初始化部分
sess = tf.Session()
init = tf.global_variables_initializer()
sess.run(init)

# 實(shí)際訓(xùn)練部分
grads = []         # 定義一個(gè)空的列表用于存儲(chǔ)每次計(jì)算的梯度
for i in range(batchsize): # batchsize設(shè)置在這里
  x_i = ...       # 輸入
  y_real = ...      # 標(biāo)簽
  grad_i = sess.run(gradient, feed_dict={inputs: x_i, outputs: y_real}) #梯度計(jì)算
  grads.append(grad_i)  # 梯度存儲(chǔ)
# 定義一個(gè)空的字典用于存儲(chǔ)，batchsize中所有梯度的和
grads_sum = {}     
# 將網(wǎng)絡(luò)中每個(gè)需要更新梯度的變量都遍歷一遍  
for i in range(len(grads_holder)): 
  k = grads_holder[i][0] # 得到該變量名
  # 將該變量名下的所有梯度求和，這里也可以求平均，求平均只需要除以batchsize
  grads_sum[k] = sum([g[i][0] for g in grads]) 
# 完成梯度更新
sess.run(optm,feed_dict=grads_sum)

以上這篇Tensorflow的梯度異步更新示例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

相關(guān)文章

  • Python實(shí)現(xiàn)的IP端口掃描工具類示例

    Python實(shí)現(xiàn)的IP端口掃描工具類示例

    這篇文章主要介紹了Python實(shí)現(xiàn)的IP端口掃描工具類,結(jié)合實(shí)例形式分析了Python基于socket模塊與多線程操作實(shí)現(xiàn)IP端口掃描的相關(guān)操作技巧,需要的朋友可以參考下
    2019-02-02
  • 淺談Python NLP入門教程

    淺談Python NLP入門教程

    本篇文章主要介紹了Python NLP入門教程，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧
    2017-12-12
  • Python類的專用方法實(shí)例分析

    Python類的專用方法實(shí)例分析

    這篇文章主要介紹了Python類的專用方法,實(shí)例分析了__init__、__del__、__repr__等專用方法的應(yīng)用技巧,需要的朋友可以參考下
    2015-01-01
  • Python tkinter如何設(shè)置背景顏色

    Python tkinter如何設(shè)置背景顏色

    本文主要介紹了Python的tkinter庫(kù)中設(shè)置組件背景顏色的方法,主要通過使用bg選項(xiàng)和config方法來實(shí)現(xiàn),包括設(shè)置單個(gè)組件、窗口、按鈕、文本框以及整個(gè)應(yīng)用的背景顏色,同時(shí)也可以使用十六進(jìn)制顏色代碼進(jìn)行更精確的顏色控制
    2024-09-09
  • 詳解如何在PyCharm控制臺(tái)中輸出彩色文字和背景

    詳解如何在PyCharm控制臺(tái)中輸出彩色文字和背景

    這篇文章主要介紹了詳解如何在PyCharm控制臺(tái)中輸出彩色文字和背景，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-08-08
  • Python中if有多個(gè)條件處理方法

    Python中if有多個(gè)條件處理方法

    在本篇文章里小編給大家整理的是一篇關(guān)于Python中if有多個(gè)條件處理方法，需要的朋友們可以學(xué)習(xí)參考下。
    2020-02-02
  • 5個(gè)Python自動(dòng)化運(yùn)維腳本分享

    5個(gè)Python自動(dòng)化運(yùn)維腳本分享

    Python 是一種流行的編程語(yǔ)言,具有豐富的第三方庫(kù)和強(qiáng)大的自動(dòng)化能力,適用于許多不同的領(lǐng)域,許多運(yùn)維工程師會(huì)使用 Python 腳本來自動(dòng)化運(yùn)維任務(wù),所以本文為大家整理了5個(gè)Python自動(dòng)化運(yùn)維腳本,有需要的可以參考下
    2023-08-08
  • python中關(guān)于提升工作效率的一些小技巧

    python中關(guān)于提升工作效率的一些小技巧

    這篇文章主要介紹了python中關(guān)于提升工作效率的一些小技巧，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
    2023-07-07
  • 解決Keras中CNN輸入維度報(bào)錯(cuò)問題

    解決Keras中CNN輸入維度報(bào)錯(cuò)問題

    這篇文章主要介紹了解決Keras中CNN輸入維度報(bào)錯(cuò)問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2020-06-06
  • Sublime?Text?配置?Python?環(huán)境的問題及解決方案

    Sublime?Text?配置?Python?環(huán)境的問題及解決方案

    這篇文章主要介紹了Sublime?Text?配置?Python?環(huán)境的問題，文中介紹了python自定義的構(gòu)建系統(tǒng)的完整代碼，代碼簡(jiǎn)單易懂，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2022-01-01

最新評(píng)論