pytorch 指定gpu訓練與多gpu并行訓練示例
更新時間：2019年12月31日 08:40:36 作者：益達888
今天小編就為大家分享一篇pytorch 指定gpu訓練與多gpu并行訓練示例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
一. 指定一個gpu訓練的兩種方法：
1.代碼中指定
import torch torch.cuda.set_device(id)
2.終端中指定
CUDA_VISIBLE_DEVICES=1 python 你的程序
其中id就是你的gpu編號
二. 多gpu并行訓練：
torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)
該函數(shù)實現(xiàn)了在module級別上的數(shù)據(jù)并行使用，注意batch size要大于GPU的數(shù)量。
參數(shù) ：
module：需要多GPU訓練的網(wǎng)絡模型
device_ids： GPU的編號（默認全部GPU，或[0,1] ,[0,1,2]）
output_device：（默認是device_ids[0])
dim：tensors被分散的維度，默認是0
在保存模型時要注意要加上"module",例如：
network.module.state_dict()
以上這篇pytorch 指定gpu訓練與多gpu并行訓練示例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了python和bash統(tǒng)計CPU利用率的方法,涉及Python針對系統(tǒng)硬件信息的讀取技巧,具有一定參考借鑒價值,需要的朋友可以參考下2015-07-07
python編程調(diào)用設備串口發(fā)送數(shù)據(jù)方式
這篇文章主要介紹了python編程調(diào)用設備串口發(fā)送數(shù)據(jù)方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-09-09
今天給大家整理了如何使用Python實現(xiàn)批量處理工作簿和工作表,文中有非常詳細的介紹及代碼示例,對小伙伴們很有幫助,需要的朋友可以參考下2021-06-06
Python天氣預報采集器實現(xiàn)代碼(網(wǎng)頁爬蟲)
這個天氣預報采集是從中國天氣網(wǎng)提取廣東省內(nèi)主要城市的天氣并回顯。本來是打算采集騰訊天氣的，但是貌似它的數(shù)據(jù)是用js寫上去還是什么的，得到的html文本中不包含數(shù)據(jù)，所以就算了2012-10-10
這篇文章主要介紹了python?OpenCV圖像直方圖處理，文章通過matplotlib畫一個直方圖展開詳情，具有一定的參考價值，需要的小伙伴可以參考一下2022-06-06
這篇文章主要為大家詳細介紹了python實現(xiàn)數(shù)字炸彈游戲程序，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-07-07
python中使用iterrows()對dataframe進行遍歷的實例
今天小編就為大家分享一篇python中使用iterrows()對dataframe進行遍歷的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
python使用matplotlib繪圖時圖例顯示問題的解決
matplotlib 是python最著名的繪圖庫，它提供了一整套和matlab相似的命令API，十分適合交互式地進行制圖。下面這篇文章主要給大家介紹了在python使用matplotlib繪圖時圖例顯示問題的解決方法，需要的朋友可以參考學習，下面來一起看看吧。2017-04-04
python index() 與 rindex() 方法的使用示例詳解
這篇文章主要介紹了python index() 與 rindex() 方法的使用,需要的朋友可以參考下2022-12-12
大家好，本篇文章主要講的是Python不同格式打印九九乘法表示例，感興趣的同學趕快來看一看吧，對你有幫助的話記得收藏一下哦，方便下次瀏覽2021-12-12