pytorch 如何在GPU上訓(xùn)練
1.網(wǎng)絡(luò)模型轉(zhuǎn)移到CUDA上
net = AlexNet() net.cuda()#轉(zhuǎn)移到CUDA上
2.將loss轉(zhuǎn)移到CUDA上
criterion = nn.CrossEntropyLoss() criterion = criterion.cuda()
這一步不做也可以，因?yàn)閘oss是根據(jù)out、label算出來(lái)的
loss = criterion(out, label)
只要out、label在CUDA上，loss自然也在CUDA上了，但是發(fā)現(xiàn)不轉(zhuǎn)移到CUDA上準(zhǔn)確率竟然降低了1%
3.將數(shù)據(jù)集轉(zhuǎn)移到CUDA上
這里要解釋一下數(shù)據(jù)集使用方法
#download the dataset
train_set = CIFAR10("./data_cifar10", train=True, transform=data_tf, download=True)
train_data = torch.utils.data.DataLoader(train_set, batch_size=64, shuffle=True)
dataset是把所有的input,label都制作成了一個(gè)大的多維數(shù)組
dataloader是在這個(gè)大的多維數(shù)組里采樣制作成batch，用這些batch來(lái)訓(xùn)練
for im, label in train_data:
i = i + 1
im = im.cuda()#把數(shù)據(jù)遷移到CUDA上
im = Variable(im)#把數(shù)據(jù)放到Variable里
label = label.cuda()
label =Variable(label)
out = net(im)#the output should have the size of (N,10)
遍歷batch的時(shí)候，首先要把拿出來(lái)的Image、label都轉(zhuǎn)移到CUDA上，這樣接下來(lái)的計(jì)算都是在CUDA上了
開(kāi)始的時(shí)候只在轉(zhuǎn)成Variable以后才遷移到CUDA上，這樣在網(wǎng)絡(luò)傳播過(guò)程中就數(shù)據(jù)不是在CUDA上了，所以一直報(bào)錯(cuò)
訓(xùn)練網(wǎng)絡(luò)時(shí)指定gpu顯卡
查看有哪些可用的gpu
nvidia -smi
實(shí)時(shí)查看gpu信息1代表每1秒刷新一次
watch -n -1 nvidia -smi
指定使用的gpu
import os # 使用第一張與第三張GPU卡 os.environ["CUDA_VISIBLE_DEVICES"] = "0,3"
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python利用pandas和matplotlib實(shí)現(xiàn)繪制圓環(huán)圖
在可視化的過(guò)程中,圓環(huán)圖是一種常用的方式,特別適合于展示各類別占比情況,本文將介紹如何使用 Python中的 pandas 和 matplotlib 庫(kù),來(lái)制作一個(gè)店鋪銷量占比的圓環(huán)圖,需要的可以參考下2023-11-11
這篇文章主要介紹了python 隊(duì)列詳解的相關(guān)資料,并附簡(jiǎn)單實(shí)例代碼，幫助大家學(xué)習(xí)了解數(shù)據(jù)結(jié)構(gòu)的隊(duì)列，需要的朋友可以參考下2016-10-10
python 3.6.7實(shí)現(xiàn)端口掃描器
這篇文章主要為大家詳細(xì)介紹了python 3.6.7實(shí)現(xiàn)端口掃描器，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-09-09
python條件語(yǔ)句和while循環(huán)語(yǔ)句
這篇文章主要介紹了python條件語(yǔ)句和while循環(huán)語(yǔ)句，文章基于python的相關(guān)資料展開(kāi)對(duì)其條件語(yǔ)句及while循環(huán)語(yǔ)句的詳細(xì)內(nèi)容介紹，需要的小伙伴可以參考一下2022-04-04
詳解Python下Flask-ApScheduler快速指南
Flask是Python社區(qū)非常流行的一個(gè)Web開(kāi)發(fā)框架，本文將嘗試將介紹APScheduler應(yīng)用于Flask之中，非常具有實(shí)用價(jià)值，需要的朋友可以參考下2018-11-11
今天就為大家分享一篇python 讀取更新中的log 或其它文本方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12
python各層級(jí)目錄下import方法代碼實(shí)例
這篇文章主要介紹了python各層級(jí)目錄下import方法代碼實(shí)例,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-01-01
這篇文章主要為大家介紹了Django高級(jí)指南之深入理解和使用類視圖和中間件示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-08-08
Python pip安裝第三方庫(kù)實(shí)現(xiàn)過(guò)程解析
這篇文章主要介紹了Python pip安裝第三方庫(kù)實(shí)現(xiàn)過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-07-07
Python機(jī)器學(xué)習(xí)性能度量利用鳶尾花數(shù)據(jù)繪制P-R曲線
這篇文章主要為大家介紹了Python機(jī)器學(xué)習(xí)性能度量利用鳶尾花數(shù)據(jù)繪制P-R曲線示例學(xué)習(xí)，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-02-02