Tensorflow實現(xiàn)多GPU并行方式
Tebsorflow開源實現(xiàn)多GPU訓(xùn)練cifar10數(shù)據(jù)集:cifar10_multi_gpu_train.py
Tensorflow開源實現(xiàn)cifar10神經(jīng)網(wǎng)絡(luò):cifar10.py
Tensorflow中的并行分為模型并行和數(shù)據(jù)并行。模型并行需要根據(jù)不同模型設(shè)計不同的并行方式,其主要原理是將模型中不同計算節(jié)點放在不同硬件資源上運算。比較通用且能簡便地實現(xiàn)大規(guī)模并行的方式是數(shù)據(jù)并行,同時使用多個硬件資源來計算不同batch的數(shù)據(jù)梯度,然后匯總梯度進(jìn)行全局更新。
數(shù)據(jù)并行幾乎適用于所有深度學(xué)習(xí)模型,總是可以利用多塊GPU同時訓(xùn)練多個batch數(shù)據(jù),運行在每塊GPU上的模型都基于同一個神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)結(jié)構(gòu)一樣,并且共享模型參數(shù)。
import os import re import time import numpy as np import tensorflow as tf import cifar10_input import cifar10 batch_size = 128 max_steps = 1000 num_gpus = 1 # gpu數(shù)量 # 在scope下生成神經(jīng)網(wǎng)絡(luò)并返回scope下的loss def tower_loss(scope): # 數(shù)據(jù)集的路徑可以在cifar10.py中的tf.app.flags.DEFINE_string中定義 images, labels = cifar10.distorted_inputs() logits = cifar10.inference(images) # 生成神經(jīng)網(wǎng)絡(luò) _ = cifar10.loss(logits, labels) # 不直接返回loss而是放到collection losses = tf.get_collection('losses', scope) # 獲取當(dāng)前GPU上的loss(通過scope限定范圍) total_loss = tf.add_n(losses, name='total_loss') return total_loss ''' 外層是不同GPU計算的梯度,內(nèi)層是某個GPU對應(yīng)的不同var的值 tower_grads = [[(grad0_gpu0, var0_gpu0), (grad1_gpu0, var1_gpu0),...], [(grad0_gpu1, var0_gpu1), (grad1_gpu1, var1_gpu1),...]] zip(*tower_grads)= 相當(dāng)于轉(zhuǎn)置了 [[(grad0_gpu0, var0_gpu0), (grad0_gpu1, var0, gpu1),...], [(grad1_gpu0, var1_gpu0), (grad1_gpu1, var1_gpu1),...]] ''' def average_gradients(tower_grads): average_grads = [] for grad_and_vars in zip(*tower_grads): grads = [tf.expand_dims(g, 0) for g, _ in grad_and_vars] grads = tf.concat(grads, 0) grad = tf.reduce_mean(grads, 0) grad_and_var = (grad, grad_and_vars[0][1]) # [(grad0, var0),(grad1, var1),...] average_grads.append(grad_and_var) return average_grads def train(): # 默認(rèn)的計算設(shè)備為CPU with tf.Graph().as_default(), tf.device('/cpu:0'): # []表示沒有維度,為一個數(shù) # trainable=False,不會加入GraphKeys.TRAINABLE_VARIABLES參與訓(xùn)練 global_step = tf.get_variable('global_step', [], initializer=tf.constant_initializer(0), trainable=False) num_batches_per_epoch = cifar10.NUM_EXAMPLES_PER_EPOCH_FOR_TRAIN / batch_size decay_steps = int(num_batches_per_epoch * cifar10.NUM_EPOCHS_PER_DECAY) # https://tensorflow.google.cn/api_docs/python/tf/train/exponential_decay # decayed_learning_rate = learning_rate * decay_rate ^ (global_step / decay_steps) # staircase is True, then global_step / decay_steps is an integer division lr = tf.train.exponential_decay(cifar10.INITIAL_LEARNING_RATE, global_step, decay_steps, cifar10.LEARNING_RATE_DECAY_FACTOR, staircase=True) opt = tf.train.GradientDescentOptimizer(lr) tower_grads = [] for i in range(num_gpus): with tf.device('/gpu:%d' % i): with tf.name_scope('%s_%d' % (cifar10.TOWER_NAME, i)) as scope: loss = tower_loss(scope) # 讓神經(jīng)網(wǎng)絡(luò)的變量可以重用,所有GPU使用完全相同的參數(shù) # 讓下一個tower重用參數(shù) tf.get_variable_scope().reuse_variables() grads = opt.compute_gradients(loss) tower_grads.append(grads) grads = average_gradients(tower_grads) apply_gradient_op = opt.apply_gradients(grads, global_step=global_step) init = tf.global_variables_initializer() # True會自動選擇一個存在并且支持的設(shè)備來運行 sess = tf.Session(config=tf.ConfigProto(allow_soft_placement=True)) sess.run(init) tf.train.start_queue_runners(sess=sess) for step in range(max_steps): start_time = time.time() _, loss_value = sess.run([apply_gradient_op, loss]) duration = time.time() - start_time if step % 10 == 0: num_examples_per_step = batch_size * num_gpus examples_per_sec = num_examples_per_step / duration sec_per_batch = duration / num_gpus print('step %d, loss=%.2f(%.1f examples/sec;%.3f sec/batch)' % (step, loss_value, examples_per_sec, sec_per_batch)) if __name__ == '__main__': train()
以上這篇Tensorflow實現(xiàn)多GPU并行方式就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
- tensorflow指定GPU與動態(tài)分配GPU memory設(shè)置
- 檢測tensorflow是否使用gpu進(jìn)行計算的方式
- 解決TensorFlow GPU版出現(xiàn)OOM錯誤的問題
- 解決Tensorflow占用GPU顯存問題
- tensorflow-gpu安裝的常見問題及解決方案
- win10安裝tensorflow-gpu1.8.0詳細(xì)完整步驟
- tensorflow -gpu安裝方法(不用自己裝cuda,cdnn)
- win10系統(tǒng)Anaconda和Pycharm的Tensorflow2.0之CPU和GPU版本安裝教程
- 基于tensorflow指定GPU運行及GPU資源分配的幾種方式小結(jié)
相關(guān)文章
LyScript實現(xiàn)內(nèi)存交換與差異對比的方法詳解
LyScript?針對內(nèi)存讀寫函數(shù)的封裝功能并不多,只提供了內(nèi)存讀取和內(nèi)存寫入函數(shù)的封裝,本篇文章將繼續(xù)對API進(jìn)行封裝,實現(xiàn)一些在軟件逆向分析中非常實用的功能,需要的可以參考一下2022-08-08Python中的type與isinstance的區(qū)別詳解
本文主要介紹了Python中的type與isinstance的區(qū)別詳解,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-04-04python爬取拉勾網(wǎng)職位數(shù)據(jù)的方法
這篇文章主要介紹了python爬取拉勾網(wǎng)職位數(shù)據(jù)的實現(xiàn)方法,非常不錯,具有參考借鑒價值,需要的朋友可以參考下2018-01-01Django Sitemap 站點地圖的實現(xiàn)方法
這篇文章主要介紹了Django Sitemap 站點地圖的實現(xiàn)方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04