pytorch使用指定GPU訓(xùn)練的實(shí)例
更新時間：2019年08月19日 15:21:52 作者：ax7399
今天小編就為大家分享一篇pytorch使用指定GPU訓(xùn)練的實(shí)例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
本文適合多GPU的機(jī)器，并且每個用戶需要單獨(dú)使用GPU訓(xùn)練。
雖然pytorch提供了指定gpu的幾種方式，但是使用不當(dāng)?shù)脑挄龅給ut of memory的問題，主要是因?yàn)閜ytorch會在第0塊gpu上初始化，并且會占用一定空間的顯存。這種情況下，經(jīng)常會出現(xiàn)指定的gpu明明是空閑的，但是因?yàn)榈?塊gpu被占滿而無法運(yùn)行，一直報out of memory錯誤。
解決方案如下：
指定環(huán)境變量，屏蔽第0塊gpu
CUDA_VISIBLE_DEVICES = 1 main.py
這句話表示只有第1塊gpu可見，其他gpu不可用，此時要注意第1塊gpu已經(jīng)變成第0塊，因此代碼里應(yīng)該使用編號0來指定gpu。如果依然使用cuda:1會報invalid device ordinal。
當(dāng)然也可以在代碼里使用os模塊達(dá)到同樣效果：
import os #多塊使用逗號隔開 os.environ['CUDA_VISIBLE_DEVICES'] = '1'
使用torch.cuda.device with torch.cuda.device(1): ...
注意這種情況下gpu編號也會改變
關(guān)于這個問題的討論，感興趣的也可以去這里查看cuda out of memory error when GPU0 memory is fully utilized
以上這篇pytorch使用指定GPU訓(xùn)練的實(shí)例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:
相關(guān)文章
python+mysql實(shí)現(xiàn)簡單的web程序
上篇文章我們介紹了簡單的Python web程序，實(shí)現(xiàn)hello world，本文我們來結(jié)合一下mysql，實(shí)現(xiàn)對數(shù)據(jù)庫的簡單操作，希望對大家有所幫助2014-09-09
requests是一個很實(shí)用的Python HTTP客戶端庫,爬蟲和測試服務(wù)器響應(yīng)數(shù)據(jù)時經(jīng)常會用到,下面這篇文章主要給大家介紹了關(guān)于python中requests庫安裝與使用的相關(guān)資料,需要的朋友可以參考下2022-07-07
這篇文章主要介紹了用Python解析XML的幾種常見方法,包括快速的使用ElementTree模塊等方法的實(shí)例介紹,需要的朋友可以參考下2015-04-04
Python基類函數(shù)的重載與調(diào)用實(shí)例分析
這篇文章主要介紹了Python基類函數(shù)的重載與調(diào)用方法,實(shí)例分析了Python中基類函數(shù)的重載及調(diào)用技巧,具有一定參考借鑒價值,需要的朋友可以參考下2015-01-01
這篇文章主要為大家詳細(xì)介紹了Python?OpenCV實(shí)現(xiàn)圖像輪廓的方法，文中的示例代碼講解詳細(xì)，具有一定的借鑒價值，感興趣的可以了解一下2022-09-09
下面小編就為大家分享一篇Python 讀取圖片文件為矩陣和保存矩陣為圖片的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
如何使用django-treebeard實(shí)現(xiàn)樹類型存儲與編輯
這篇文章主要介紹了使用django-treebeard實(shí)現(xiàn)樹類型存儲與編輯的宣相關(guān)操作代碼,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友參考下吧2024-08-08
這篇文章主要介紹了關(guān)于python爬蟲模塊urllib庫詳解,學(xué)習(xí)爬蟲，最初的操作便是模擬瀏覽器向服務(wù)端發(fā)出請求，這里我們就學(xué)習(xí)使用urlib庫的用法,需要的朋友可以參考下2023-07-07
Pandas 是 python 的一個數(shù)據(jù)分析包，屬于PyData項目的一部分。下面這篇文章主要介紹了Python中科學(xué)計算之Pandas,需要的朋友可以參考借鑒，下面來一起學(xué)習(xí)學(xué)習(xí)。2017-01-01
python中Ansible模塊的Playbook的具體使用
這篇文章主要介紹了python中Ansible模塊的Playbook的具體使用，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-05-05