欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

如何使用Pytorch搭建模型

 更新時間：2020年10月26日 08:34:01   作者：頎周  
本來是只用Tenorflow的，但是因為TF有些Numpy特性并不支持，比如對數(shù)組使用列表進行切片，所以只能轉(zhuǎn)戰(zhàn)Pytorch了（pytorch是支持的）。還好Pytorch比較容易上手，幾乎完美復制了Numpy的特性（但還有一些特性不支持），怪不得熱度上升得這么快。

1  模型定義

　　和TF很像，Pytorch也通過繼承父類來搭建模型，同樣也是實現(xiàn)兩個方法。在TF中是__init__()和call()，在Pytorch中則是__init__()和forward()。功能類似，都分別是初始化模型內(nèi)部結(jié)構(gòu)和進行推理。其它功能比如計算loss和訓練函數(shù)，你也可以繼承在里面，當然這是可選的。下面搭建一個判別MNIST手寫字的Demo，首先給出模型代碼：

import numpy as np
import matplotlib.pyplot as plt 
import torch 
from torch import nn,optim 
from torchsummary import summary 
from keras.datasets import mnist
from keras.utils import to_categorical
device = torch.device('cuda') #——————1——————
 
class ModelTest(nn.Module):
 def __init__(self,device):
  super().__init__() 
  self.layer1 = nn.Sequential(nn.Flatten(),nn.Linear(28*28,512),nn.ReLU())#——————2——————
  self.layer2 = nn.Sequential(nn.Linear(512,512),nn.ReLU()) 
  self.layer3 = nn.Sequential(nn.Linear(512,512),nn.ReLU())
  self.layer4 = nn.Sequential(nn.Linear(512,10),nn.Softmax()) 

  self.to(device) #——————3——————
  self.opt = optim.SGD(self.parameters(),lr=0.01)#——————4——————
 def forward(self,inputs): #——————5——————
  x = self.layer1(inputs)
  x = self.layer2(x)
  x = self.layer3(x)
  x = self.layer4(x)
  return x 
 def get_loss(self,true_labels,predicts): 
  loss = -true_labels * torch.log(predicts) #——————6——————
  loss = torch.mean(loss)
  return loss
 def train(self,imgs,labels): 
  predicts = model(imgs) 
  loss = self.get_loss(labels,predicts)
  self.opt.zero_grad()#——————7——————
  loss.backward()#——————8——————
  self.opt.step()#——————9——————
model = ModelTest(device)
summary(model,(1,28,28),3,device='cuda') #——————10——————

　　#1：獲取設備，以方便后面的模型與變量進行內(nèi)存遷移，設備名只有兩種：'cuda'和'cpu'。通常是在你有GPU的情況下需要這樣顯式進行設備的設置，從而在需要時，你可以將變量從主存遷移到顯存中。如果沒有GPU，不獲取也沒事，pytorch會默認將參數(shù)都保存在主存中。

　　#2：模型中層的定義，可以使用Sequential將想要統(tǒng)一管理的層集中表示為一層。

　　#3：在初始化中將模型參數(shù)遷移到GPU顯存中，加速運算，當然你也可以在需要時在外部執(zhí)行model.to(device)進行遷移。

　　#4：定義模型的優(yōu)化器，和TF不同，pytorch需要在定義時就將需要梯度下降的參數(shù)傳入，也就是其中的self.parameters()，表示當前模型的所有參數(shù)。實際上你不用擔心定義優(yōu)化器和模型參數(shù)的順序問題，因為self.parameters()的輸出并不是模型參數(shù)的實例，而是整個模型參數(shù)對象的指針，所以即使你在定義優(yōu)化器之后又定義了一個層，它依然能優(yōu)化到。當然優(yōu)化器你也可以在外部定義，傳入model.parameters()即可。這里定義了一個隨機梯度下降。

　　#5：模型的前向傳播，和TF的call()類似，定義好model()所執(zhí)行的就是這個函數(shù)。

　　#6：我將獲取loss的函數(shù)集成在了模型中，這里計算的是真實標簽和預測標簽之間的交叉熵。

　　#7/8/9：在TF中，參數(shù)梯度是保存在梯度帶中的，而在pytorch中，參數(shù)梯度是各自集成在對應的參數(shù)中的，可以使用tensor.grad來查看。每次對loss執(zhí)行backward()，pytorch都會將參與loss計算的所有可訓練參數(shù)關(guān)于loss的梯度疊加進去（直接相加）。所以如果我們沒有疊加梯度的意愿的話，那就要在backward()之前先把之前的梯度刪除。又因為我們前面已經(jīng)把待訓練的參數(shù)都傳入了優(yōu)化器，所以，對優(yōu)化器使用zero_grad()，就能把所有待訓練參數(shù)中已存在的梯度都清零。那么梯度疊加什么時候用到呢？比如批量梯度下降，當內(nèi)存不夠直接計算整個批量的梯度時，我們只能將批量分成一部分一部分來計算，每算一個部分得到loss就backward()一次，從而得到整個批量的梯度。梯度計算好后，再執(zhí)行優(yōu)化器的step()，優(yōu)化器根據(jù)可訓練參數(shù)的梯度對其執(zhí)行一步優(yōu)化。

　　#10：使用torchsummary函數(shù)顯示模型結(jié)構(gòu)。奇怪為什么不把這個繼承在torch里面，要重新安裝一個torchsummary庫。

2  訓練及可視化

　　接下來使用模型進行訓練，因為pytorch自帶的MNIST數(shù)據(jù)集并不好用，所以我使用的是Keras自帶的，定義了一個獲取數(shù)據(jù)的生成器。下面是完整的訓練及繪圖代碼（50次迭代記錄一次準確率）：

import numpy as np
import matplotlib.pyplot as plt 
import torch 
from torch import nn,optim 
from torchsummary import summary 
from keras.datasets import mnist
from keras.utils import to_categorical
device = torch.device('cuda') #——————1——————
 
class ModelTest(nn.Module):
 def __init__(self,device):
  super().__init__() 
  self.layer1 = nn.Sequential(nn.Flatten(),nn.Linear(28*28,512),nn.ReLU())#——————2——————
  self.layer2 = nn.Sequential(nn.Linear(512,512),nn.ReLU()) 
  self.layer3 = nn.Sequential(nn.Linear(512,512),nn.ReLU())
  self.layer4 = nn.Sequential(nn.Linear(512,10),nn.Softmax()) 

  self.to(device) #——————3——————
  self.opt = optim.SGD(self.parameters(),lr=0.01)#——————4——————
 def forward(self,inputs): #——————5——————
  x = self.layer1(inputs)
  x = self.layer2(x)
  x = self.layer3(x)
  x = self.layer4(x)
  return x 
 def get_loss(self,true_labels,predicts): 
  loss = -true_labels * torch.log(predicts) #——————6——————
  loss = torch.mean(loss)
  return loss
 def train(self,imgs,labels): 
  predicts = model(imgs) 
  loss = self.get_loss(labels,predicts)
  self.opt.zero_grad()#——————7——————
  loss.backward()#——————8——————
  self.opt.step()#——————9——————
def get_data(device,is_train = True, batch = 1024, num = 10000):
 train_data,test_data = mnist.load_data()
 if is_train:
  imgs,labels = train_data
 else:
  imgs,labels = test_data 
 imgs = (imgs/255*2-1)[:,np.newaxis,...]
 labels = to_categorical(labels,10) 
 imgs = torch.tensor(imgs,dtype=torch.float32).to(device)
 labels = torch.tensor(labels,dtype=torch.float32).to(device)
 i = 0
 while(True):
  i += batch
  if i > num:
   i = batch 
  yield imgs[i-batch:i],labels[i-batch:i] 
train_dg = get_data(device, True,batch=4096,num=60000) 
test_dg = get_data(device, False,batch=5000,num=10000) 

model = ModelTest(device) 
summary(model,(1,28,28),11,device='cuda') 
ACCs = []
import time
start = time.time()
for j in range(20000):
 #訓練
 imgs,labels = next(train_dg)
 model.train(imgs,labels)

 #驗證
 img,label = next(test_dg)
 predicts = model(img) 
 acc = 1 - torch.count_nonzero(torch.argmax(predicts,axis=1) - torch.argmax(label,axis=1))/label.shape[0]
 if j % 50 == 0:
  t = time.time() - start
  start = time.time()
  ACCs.append(acc.cpu().numpy())
  print(j,t,'ACC: ',acc)
#繪圖
x = np.linspace(0,len(ACCs),len(ACCs))
plt.plot(x,ACCs)

準確率變化圖如下：

3   注意事項

　　需要注意的是，pytorch的tensor基于numpy的array，它們是共享內(nèi)存的。也就是說，如果你把tensor直接插入一個列表，當你修改這個tensor時，列表中的這個tensor也會被修改；更容易被忽略的是，即使你用tensor.detach.numpy()，先將tensor轉(zhuǎn)換為array類型，再插入列表，當你修改原本的tensor時，列表中的這個array也依然會被修改。所以如果我們只是想保存tensor的值而不是整個對象，就要使用np.array(tensor)將tensor的值復制出來。

以上就是如何使用Pytorch搭建模型的詳細內(nèi)容，更多關(guān)于Pytorch搭建模型的資料請關(guān)注腳本之家其它相關(guān)文章！

相關(guān)文章

最新評論