Pytorch 多塊GPU的使用詳解
注：本文針對單個服務(wù)器上多塊GPU的使用，不是多服務(wù)器多GPU的使用。
在一些實驗中，由于Batch_size的限制或者希望提高訓(xùn)練速度等原因，我們需要使用多塊GPU。本文針對Pytorch中多塊GPU的使用進行說明。
1. 設(shè)置需要使用的GPU編號
import os os.environ["CUDA_VISIBLE_DEVICES"] = "0,4" ids = [0,1]
比如我們需要使用第0和第4塊GPU，只用上述三行代碼即可。
其中第二行指程序只能看到第1塊和第4塊GPU；
第三行的0即為第二行中編號為0的GPU；1即為編號為4的GPU。
2.更改網(wǎng)絡(luò)，可以理解為將網(wǎng)絡(luò)放入GPU
class CNN(nn.Module):
def __init__(self):
super(CNN,self).__init__()
self.conv1 = nn.Sequential(
......
)
......
self.out = nn.Linear(Liner_input,2)
......
def forward(self,x):
x = self.conv1(x)
......
output = self.out(x)
return output,x
cnn = CNN()
# 更改，.cuda()表示將本存儲到CPU的網(wǎng)絡(luò)及其參數(shù)存儲到GPU！
cnn.cuda()
3. 更改輸出數(shù)據(jù)(如向量/矩陣/張量):
for epoch in range(EPOCH):
epoch_loss = 0.
for i, data in enumerate(train_loader2):
image = data['image'] # data是字典，我們需要改的是其中的image
#############更改?。。?#################
image = Variable(image).float().cuda()
############################################
label = inputs['label']
#############更改?。?！##################
label = Variable(label).type(torch.LongTensor).cuda()
############################################
label = label.resize(BATCH_SIZE)
output = cnn(image)[0]
loss = loss_func(output, label) # cross entropy loss
optimizer.zero_grad() # clear gradients for this training step
loss.backward() # backpropagation, compute gradients
optimizer.step()
... ...
4. 更改其他CPU與GPU沖突的地方
有些函數(shù)必要在GPU上完成，例如將Tensor轉(zhuǎn)換為Numpy，就要使用data.cpu().numpy()，其中data是GPU上的Tensor。
若直接使用data.numpy()則會報錯。除此之外，plot等也需要在CPU中完成。如果不是很清楚哪里要改的話可以先不改，等到程序報錯了，再哪里錯了改哪里，效率會更高。例如：
... ...
#################################################
pred_y = torch.max(test_train_output, 1)[1].data.cpu().numpy()
accuracy = float((pred_y == label.cpu().numpy()).astype(int).sum()) / float(len(label.cpu().numpy()))
假如不加.cpu()便會報錯，此時再改即可。
5. 更改前向傳播函數(shù)，從而使用多塊GPU
以VGG為例：
class VGG(nn.Module):
def __init__(self, features, num_classes=2, init_weights=True):
super(VGG, self).__init__()
... ...
def forward(self, x):
#x = self.features(x)
#################Multi GPUS#############################
x = nn.parallel.data_parallel(self.features,x,ids)
x = x.view(x.size(0), -1)
# x = self.classifier(x)
x = nn.parallel.data_parallel(self.classifier,x,ids)
return x
... ...
然后就可以看運行結(jié)果啦，nvidia-smi查看GPU使用情況：
可以看到0和4都被使用啦
以上這篇Pytorch 多塊GPU的使用詳解就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
使用pandas中的DataFrame.rolling方法查看時間序列中的異常值
Pandas是Python中最受歡迎的數(shù)據(jù)分析和處理庫之一,提供了許多強大且靈活的數(shù)據(jù)操作工具,在Pandas中,DataFrame.rolling方法是一個強大的工具,在本文中,我們將深入探討DataFrame.rolling方法的各種參數(shù)和示例,以幫助您更好地理解和應(yīng)用這個功能2023-12-12
Spyder作為一款流行的Python IDE,支持用戶自定義Python解釋器,包括虛擬環(huán)境的設(shè)置,通過打開Spyder,選擇“Tools”->“Preferences”,在彈出窗口中選擇“Use the following Python interpreter”后,瀏覽并選擇相應(yīng)的解釋器或虛擬環(huán)境路徑2024-09-09
這篇文章主要介紹了python常用運維腳本實例小結(jié)，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02
Python是一門富有魅力的編程語言,擁有豐富的功能和庫,以及強大的社區(qū)支持,然而,有一些核心功能經(jīng)常被忽視,而它們實際上可以極大地提高代碼的質(zhì)量、可讀性和性能,本文將給大家詳細的介紹一下這些容易被忽視的功能,需要的朋友可以參考下2023-11-11
這篇文章主要介紹了matplotlib 對坐標的控制,加圖例注釋的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04
Python中pip安裝非PyPI官網(wǎng)第三方庫的方法
這篇文章主要介紹了Python中pip安裝非PyPI官網(wǎng)第三方庫的方法,pip最新的版本(1.5以上的版本), 出于安全的考 慮,pip不允許安裝非PyPI的URL,本文就給出兩種解決方法,需要的朋友可以參考下2015-06-06
Django windows使用Apache實現(xiàn)部署流程解析
這篇文章主要介紹了Django windows使用Apache實現(xiàn)部署流程解析,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-10-10
這篇文章主要為大家詳細介紹了如何利用Python實現(xiàn)將視頻按照時間維度進行剪切，文中的示例代碼講解詳細，感興趣的小伙伴可以跟隨小編一起了解一下2022-12-12
