pytorch使用指定GPU訓練的實例
更新時間：2019年08月19日 15:21:52 作者：ax7399
今天小編就為大家分享一篇pytorch使用指定GPU訓練的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
本文適合多GPU的機器，并且每個用戶需要單獨使用GPU訓練。
雖然pytorch提供了指定gpu的幾種方式，但是使用不當?shù)脑挄龅給ut of memory的問題，主要是因為pytorch會在第0塊gpu上初始化，并且會占用一定空間的顯存。這種情況下，經(jīng)常會出現(xiàn)指定的gpu明明是空閑的，但是因為第0塊gpu被占滿而無法運行，一直報out of memory錯誤。
解決方案如下：
指定環(huán)境變量，屏蔽第0塊gpu
CUDA_VISIBLE_DEVICES = 1 main.py
這句話表示只有第1塊gpu可見，其他gpu不可用，此時要注意第1塊gpu已經(jīng)變成第0塊，因此代碼里應該使用編號0來指定gpu。如果依然使用cuda:1會報invalid device ordinal。
當然也可以在代碼里使用os模塊達到同樣效果：
import os #多塊使用逗號隔開 os.environ['CUDA_VISIBLE_DEVICES'] = '1'
使用torch.cuda.device with torch.cuda.device(1): ...
注意這種情況下gpu編號也會改變
關于這個問題的討論，感興趣的也可以去這里查看cuda out of memory error when GPU0 memory is fully utilized
以上這篇pytorch使用指定GPU訓練的實例就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
上篇文章我們介紹了簡單的Python web程序，實現(xiàn)hello world，本文我們來結合一下mysql，實現(xiàn)對數(shù)據(jù)庫的簡單操作，希望對大家有所幫助2014-09-09
requests是一個很實用的Python HTTP客戶端庫,爬蟲和測試服務器響應數(shù)據(jù)時經(jīng)常會用到,下面這篇文章主要給大家介紹了關于python中requests庫安裝與使用的相關資料,需要的朋友可以參考下2022-07-07
這篇文章主要介紹了用Python解析XML的幾種常見方法,包括快速的使用ElementTree模塊等方法的實例介紹,需要的朋友可以參考下2015-04-04
這篇文章主要介紹了Python基類函數(shù)的重載與調用方法,實例分析了Python中基類函數(shù)的重載及調用技巧,具有一定參考借鑒價值,需要的朋友可以參考下2015-01-01
這篇文章主要為大家詳細介紹了Python?OpenCV實現(xiàn)圖像輪廓的方法，文中的示例代碼講解詳細，具有一定的借鑒價值，感興趣的可以了解一下2022-09-09
下面小編就為大家分享一篇Python 讀取圖片文件為矩陣和保存矩陣為圖片的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
如何使用django-treebeard實現(xiàn)樹類型存儲與編輯
這篇文章主要介紹了使用django-treebeard實現(xiàn)樹類型存儲與編輯的宣相關操作代碼,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友參考下吧2024-08-08
這篇文章主要介紹了關于python爬蟲模塊urllib庫詳解,學習爬蟲，最初的操作便是模擬瀏覽器向服務端發(fā)出請求，這里我們就學習使用urlib庫的用法,需要的朋友可以參考下2023-07-07
Pandas 是 python 的一個數(shù)據(jù)分析包，屬于PyData項目的一部分。下面這篇文章主要介紹了Python中科學計算之Pandas,需要的朋友可以參考借鑒，下面來一起學習學習。2017-01-01
python中Ansible模塊的Playbook的具體使用
這篇文章主要介紹了python中Ansible模塊的Playbook的具體使用，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-05-05