Pytorch中accuracy和loss的計算知識點總結(jié)
這幾天關(guān)于accuracy和loss的計算有一些疑惑，原來是自己還沒有弄清楚。
給出實例
def train(train_loader, model, criteon, optimizer, epoch):
train_loss = 0
train_acc = 0
num_correct= 0
for step, (x,y) in enumerate(train_loader):
# x: [b, 3, 224, 224], y: [b]
x, y = x.to(device), y.to(device)
model.train()
logits = model(x)
loss = criteon(logits, y)
optimizer.zero_grad()
loss.backward()
optimizer.step()
train_loss += float(loss.item())
train_losses.append(train_loss)
pred = logits.argmax(dim=1)
num_correct += torch.eq(pred, y).sum().float().item()
logger.info("Train Epoch: {}\t Loss: {:.6f}\t Acc: {:.6f}".format(epoch,train_loss/len(train_loader),num_correct/len(train_loader.dataset)))
return num_correct/len(train_loader.dataset), train_loss/len(train_loader)
首先這樣一次訓(xùn)練稱為一個epoch，樣本總數(shù)/batchsize是走完一個epoch所需的“步數(shù)”，相對應(yīng)的，len(train_loader.dataset)也就是樣本總數(shù)，len(train_loader)就是這個步數(shù)。
那么，accuracy的計算也就是在整個train_loader的for循環(huán)中（步數(shù)），把每個mini_batch中判斷正確的個數(shù)累加起來，然后除以樣本總數(shù)就行了；
而loss的計算有講究了，首先在這里我們是計算交叉熵，關(guān)于交叉熵，也就是涉及到兩個值，一個是模型給出的logits，也就是10個類，每個類的概率分布，另一個是樣本自身的
label，在Pytorch中，只要把這兩個值輸進去就能計算交叉熵，用的方法是nn.CrossEntropyLoss，這個方法其實是計算了一個minibatch的均值了，因此累加以后需要除以的步數(shù)，也就是
minibatch的個數(shù)，而不是像accuracy那樣是樣本個數(shù)，這一點非常重要。
以上就是本次介紹的全部知識點內(nèi)容，感謝大家對腳本之家的支持。
相關(guān)文章
最近學(xué)習(xí)了一下Django文檔的model部分，通過學(xué)習(xí)的內(nèi)容整理了這篇文章，下面這篇文章主要給大家介紹了關(guān)于Django中Model的使用方法的相關(guān)資料，文中通過示例代碼介紹的非常詳細，需要的朋友可以參考借鑒，下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。2018-03-03
今天小編就為大家分享一篇用python編寫第一個IDA插件的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05
這篇文章主要介紹了python中的opencv?圖像梯度，圖像梯度計算的是圖像變化的速度，圖像梯度計算需要求導(dǎo)數(shù)，但是圖像梯度一般通過計算像素值的差來得到梯度的近似值，下文詳細介紹需要的小伙伴可以參考一下2022-06-06
pytorch中state_dict()和load_state_dict()函數(shù)配合使用可以實現(xiàn)狀態(tài)的獲取與重載，load()和save()函數(shù)配合使用可以實現(xiàn)參數(shù)的存儲與讀取，這篇文章主要介紹了Pytorch模型參數(shù)的保存和加載,需要的朋友可以參考下2023-03-03
Python實現(xiàn)圖片轉(zhuǎn)字符畫的代碼實例
今天小編就為大家分享一篇關(guān)于Python實現(xiàn)圖片轉(zhuǎn)字符畫的代碼實例，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2019-02-02
python實現(xiàn)socket+threading處理多連接的方法
今天小編就為大家分享一篇python實現(xiàn)socket+threading處理多連接的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07
python 實現(xiàn)保存最新的三份文件,其余的都刪掉
今天小編就為大家分享一篇python 實現(xiàn)保存最新的三份文件,其余的都刪掉，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
python在回調(diào)函數(shù)中獲取返回值的方法
今天小編就為大家分享一篇python在回調(diào)函數(shù)中獲取返回值的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-02-02
用pyqt5 給按鈕設(shè)置圖標(biāo)和css樣式的方法
今天小編就為大家分享一篇用pyqt5 給按鈕設(shè)置圖標(biāo)和css樣式的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06
Pytorch矩陣乘法(torch.mul() 、 torch.mm() 和torch.m
在深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的世界里,矩陣乘法是一項至關(guān)重要的操作,本文主要介紹了Pytorch矩陣乘法,包含了torch.mul() 、 torch.mm() 和torch.matmul()的區(qū)別,具有一定的參考價值,感興趣的可以了解一下2024-03-03