欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

pytorch 指定gpu訓(xùn)練與多gpu并行訓(xùn)練示例

 更新時(shí)間：2019年12月31日 08:40:36   作者：益達(dá)888  
今天小編就為大家分享一篇pytorch 指定gpu訓(xùn)練與多gpu并行訓(xùn)練示例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

一. 指定一個(gè)gpu訓(xùn)練的兩種方法：

1.代碼中指定

import torch
torch.cuda.set_device(id)

2.終端中指定

CUDA_VISIBLE_DEVICES=1 python 你的程序

其中id就是你的gpu編號(hào)

二. 多gpu并行訓(xùn)練：

torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)

該函數(shù)實(shí)現(xiàn)了在module級(jí)別上的數(shù)據(jù)并行使用，注意batch size要大于GPU的數(shù)量。

參數(shù) ：

module：需要多GPU訓(xùn)練的網(wǎng)絡(luò)模型

device_ids： GPU的編號(hào)（默認(rèn)全部GPU，或[0,1] ,[0,1,2]）

output_device：（默認(rèn)是device_ids[0])

dim：tensors被分散的維度，默認(rèn)是0

在保存模型時(shí)要注意要加上"module",例如：

network.module.state_dict()

以上這篇pytorch 指定gpu訓(xùn)練與多gpu并行訓(xùn)練示例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

相關(guān)文章

最新評(píng)論