pytorch 如何在GPU上訓(xùn)練
更新時間：2021年06月01日 10:54:06 作者：陌生的天花板
這篇文章主要介紹了pytorch 如何在GPU上訓(xùn)練的操作，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
1.網(wǎng)絡(luò)模型轉(zhuǎn)移到CUDA上
net = AlexNet() net.cuda()#轉(zhuǎn)移到CUDA上
2.將loss轉(zhuǎn)移到CUDA上
criterion = nn.CrossEntropyLoss() criterion = criterion.cuda()
這一步不做也可以，因為loss是根據(jù)out、label算出來的
loss = criterion(out, label)
只要out、label在CUDA上，loss自然也在CUDA上了，但是發(fā)現(xiàn)不轉(zhuǎn)移到CUDA上準確率竟然降低了1%
3.將數(shù)據(jù)集轉(zhuǎn)移到CUDA上
這里要解釋一下數(shù)據(jù)集使用方法
#download the dataset
train_set = CIFAR10("./data_cifar10", train=True, transform=data_tf, download=True)
train_data = torch.utils.data.DataLoader(train_set, batch_size=64, shuffle=True)
dataset是把所有的input,label都制作成了一個大的多維數(shù)組
dataloader是在這個大的多維數(shù)組里采樣制作成batch，用這些batch來訓(xùn)練
for im, label in train_data:
i = i + 1
im = im.cuda()#把數(shù)據(jù)遷移到CUDA上
im = Variable(im)#把數(shù)據(jù)放到Variable里
label = label.cuda()
label =Variable(label)
out = net(im)#the output should have the size of (N,10)
遍歷batch的時候，首先要把拿出來的Image、label都轉(zhuǎn)移到CUDA上，這樣接下來的計算都是在CUDA上了
開始的時候只在轉(zhuǎn)成Variable以后才遷移到CUDA上，這樣在網(wǎng)絡(luò)傳播過程中就數(shù)據(jù)不是在CUDA上了，所以一直報錯
訓(xùn)練網(wǎng)絡(luò)時指定gpu顯卡
查看有哪些可用的gpu
nvidia -smi
實時查看gpu信息1代表每1秒刷新一次
watch -n -1 nvidia -smi
指定使用的gpu
import os # 使用第一張與第三張GPU卡 os.environ["CUDA_VISIBLE_DEVICES"] = "0,3"
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python利用pandas和matplotlib實現(xiàn)繪制圓環(huán)圖
在可視化的過程中,圓環(huán)圖是一種常用的方式,特別適合于展示各類別占比情況,本文將介紹如何使用 Python中的 pandas 和 matplotlib 庫,來制作一個店鋪銷量占比的圓環(huán)圖,需要的可以參考下2023-11-11
這篇文章主要介紹了python 隊列詳解的相關(guān)資料,并附簡單實例代碼，幫助大家學(xué)習(xí)了解數(shù)據(jù)結(jié)構(gòu)的隊列，需要的朋友可以參考下2016-10-10
這篇文章主要為大家詳細介紹了python 3.6.7實現(xiàn)端口掃描器，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-09-09
這篇文章主要介紹了python條件語句和while循環(huán)語句，文章基于python的相關(guān)資料展開對其條件語句及while循環(huán)語句的詳細內(nèi)容介紹，需要的小伙伴可以參考一下2022-04-04
詳解Python下Flask-ApScheduler快速指南
Flask是Python社區(qū)非常流行的一個Web開發(fā)框架，本文將嘗試將介紹APScheduler應(yīng)用于Flask之中，非常具有實用價值，需要的朋友可以參考下2018-11-11
今天就為大家分享一篇python 讀取更新中的log 或其它文本方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
這篇文章主要介紹了python各層級目錄下import方法代碼實例,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-01-01
這篇文章主要為大家介紹了Django高級指南之深入理解和使用類視圖和中間件示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-08-08
這篇文章主要介紹了Python pip安裝第三方庫實現(xiàn)過程解析,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-07-07
Python機器學(xué)習(xí)性能度量利用鳶尾花數(shù)據(jù)繪制P-R曲線
這篇文章主要為大家介紹了Python機器學(xué)習(xí)性能度量利用鳶尾花數(shù)據(jù)繪制P-R曲線示例學(xué)習(xí)，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-02-02