Pytorch中求模型準(zhǔn)確率的兩種方法小結(jié)
方法一:直接在epoch過程中求取準(zhǔn)確率
簡介:此段代碼是LeNet5中截取的。
def train_model(model,train_loader): optimizer = torch.optim.Adam(model.parameters()) loss_func = nn.CrossEntropyLoss() EPOCHS = 5 for epoch in range(EPOCHS): correct = 0 for batch_idx,(X_batch,y_batch) in enumerate(train_loader): optimizer.zero_grad() #這里是只取訓(xùn)練數(shù)據(jù)的意思嗎,X_batch和y_batch是怎么分開的? #答:X_batch和y_batch是一一對應(yīng)的,只不過順序打亂了,參考torch.utils.data.ipynb output = model(X_batch.float()) #X_batch.float()是什么意思 loss = loss_func(output,y_batch) loss.backward() optimizer.step() # Total correct predictions #第一個(gè)1代表取每行的最大值,第二個(gè)1代表只取最大值的索引 #這兩行代碼是求準(zhǔn)確率的地方 predicted = torch.max(output.data,1)[1] correct += (predicted == y_batch).sum() #print(correct) if batch_idx % 100 == 0: print('Epoch :{}[{}/{}({:.0f}%)]\t Loss:{:.6f}\t Accuracy:{:.3f}'.format(epoch,batch_idx * len(X_batch),len(train_loader.dataset),100.*batch_idx / len(train_loader),loss.data.item(),float(correct*100)/float(BATCH_SIZE)*(batch_idx+1))) if __name__ == '__main__': myModel = LeNet5() print(myModel) train_model(myModel,train_loader) evaluate(myModel,test_loader,BATCH_SIZE)
方法二:構(gòu)建函數(shù),然后在epoch中調(diào)用該函數(shù)
簡介:此段代碼是對Titanic(泰坦尼克號)數(shù)據(jù)分析截取。
epochs = 10 log_step_freq = 30 dfhistory = pd.DataFrame(columns = ['epoch','loss',metric_name,'val_loss','val_'+metric_name]) print('Start Training...') nowtime = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S') print('========='*8 + '%s'%nowtime) for epoch in range(1,epochs+1): #1.訓(xùn)練循環(huán) net.train() loss_sum = 0.0 metric_sum = 0.0 step = 1 for step,(features,labels) in enumerate(dl_train,1): #梯度清零 optimizer.zero_grad() #正向傳播求損失 predictions = net(features) loss = loss_func(predictions,labels) metric = metric_func(predictions,labels) #反向傳播求梯度 loss.backward() optimizer.step() #打印batch級別日志 loss_sum += loss.item() metric_sum += metric.item() if step%log_step_freq == 0: print(('[Step = %d] loss: %.3f,' + metric_name+': %.3f %%')%(step,loss_sum/step,100*metric_sum/step)) #2,驗(yàn)證循環(huán) net.eval() val_loss_sum = 0.0 val_metric_sum = 0.0 val_step =1 for val_step,(features,labels) in enumerate(dl_valid,1): #關(guān)閉梯度計(jì)算 with torch.no_grad(): pred = net(features) val_loss = loss_func(pred,labels) val_metric = metric_func(labels,pred) val_loss_sum += val_loss.item() val_metric_sum += val_metric.item() #3,記錄日志 info = (epoch,loss_sum/step,100*metric_sum/step, val_loss_sum/val_step,100*val_metric_sum/val_step) dfhistory.loc[epoch-1] = info #打印epoch級別日志 print(('\nEPOCH = %d,loss = %.3f,' + metric_name+\ '=%.3f %%,val_loss = %.3f'+' val_'+metric_name+'= %.3f %%')%info) nowtime = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S') print('\n'+'=========='*8 + '%s'%nowtime) print('Finishing Training...')
補(bǔ)充:Pytorch實(shí)現(xiàn)Top1準(zhǔn)確率和Top5準(zhǔn)確率
之前一直不清楚Top1和Top5是什么,其實(shí)搞清楚了很簡單,就是兩種衡量指標(biāo),其中,Top1就是普通的Accuracy,Top5比Top1衡量標(biāo)準(zhǔn)更“嚴(yán)格”,
具體來講,比如一共需要分10類,每次分類器的輸出結(jié)果都是10個(gè)相加為1的概率值,Top1就是這十個(gè)值中最大的那個(gè)概率值對應(yīng)的分類恰好正確的頻率,而Top5則是在十個(gè)概率值中從大到小排序出前五個(gè),然后看看這前五個(gè)分類中是否存在那個(gè)正確分類,再計(jì)算頻率。
Pytorch實(shí)現(xiàn)如下:
def evaluteTop1(model, loader): model.eval() correct = 0 total = len(loader.dataset) for x,y in loader: x,y = x.to(device), y.to(device) with torch.no_grad(): logits = model(x) pred = logits.argmax(dim=1) correct += torch.eq(pred, y).sum().float().item() #correct += torch.eq(pred, y).sum().item() return correct / total def evaluteTop5(model, loader): model.eval() correct = 0 total = len(loader.dataset) for x, y in loader: x,y = x.to(device),y.to(device) with torch.no_grad(): logits = model(x) maxk = max((1,5)) y_resize = y.view(-1,1) _, pred = logits.topk(maxk, 1, True, True) correct += torch.eq(pred, y_resize).sum().float().item() return correct / total
注意:
y_resize = y.view(-1,1)是非常關(guān)鍵的一步,在correct的運(yùn)算中,關(guān)鍵就是要pred和y_resize維度匹配,而原來的y是[128],128是batch大?。?/p>
pred的維度則是[128,10],假設(shè)這里是CIFAR10十分類;因此必須把y轉(zhuǎn)化成[128,1]這種維度,但是不能直接是y.view(128,1),因?yàn)楸闅v整個(gè)數(shù)據(jù)集的時(shí)候,
最后一個(gè)batch大小并不是128,所以view()里面第一個(gè)size就設(shè)為-1未知,而確保第二個(gè)size是1就行
補(bǔ)充:topk函數(shù)的具體用法
pytorch -- topk()
torch.topk(input, k, dim=None, largest=True, sorted=True, out=None) -> (Tensor, LongTensor)
沿給定dim維度返回輸入張量input中 k 個(gè)最大值。
如果不指定dim,則默認(rèn)為input的最后一維。
如果為largest為 False ,則返回最小的 k 個(gè)值。
返回一個(gè)元組 (values,indices),其中indices是原始輸入張量input中測元素下標(biāo)。
如果設(shè)定布爾值sorted 為_True_,將會(huì)確保返回的 k 個(gè)值被排序。
參數(shù)
input (Tensor) – 輸入張量
k (int) – “top-k”中的k
dim (int, optional) – 排序的維
largest (bool, optional) – 布爾值,控制返回最大或最小值
sorted (bool, optional) – 布爾值,控制返回值是否排序
out (tuple, optional) – 可選輸出張量 (Tensor, LongTensor) output buffer
實(shí)例
假設(shè)神經(jīng)網(wǎng)絡(luò)的輸出如下,為二分類。batch_size=4
import torch output = torch.tensor([[-5.4783, 0.2298], [-4.2573, -0.4794], [-0.1070, -5.1511], [-0.1785, -4.3339]])
得到其top1值操作如下:
maxk = max((1,)) # 取top1準(zhǔn)確率,若取top1和top5準(zhǔn)確率改為max((1,5)) _, pred = output.topk(maxk, 1, True, True)
topk參數(shù)中,maxk取得是top1準(zhǔn)確率,dim=1是按行取值, largest=1是取最大值
結(jié)果如下,
_ tensor([[ 0.2298], [-0.4794], [-0.1070], [-0.1785]])
pred tensor([[1], [1], [0], [0]])
_是top1的值,pred是最大值的索引(size=4*1),一般會(huì)進(jìn)行轉(zhuǎn)置處理同真實(shí)值對比
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
python中Pyqt5使用Qlabel標(biāo)簽進(jìn)行視頻播放
這篇文章主要介紹了python中Pyqt5使用Qlabel實(shí)現(xiàn)標(biāo)簽進(jìn)行視頻播放,QLabel是界面中的標(biāo)簽類,繼承自QFrame類,提供文本和圖像的顯示,是一種展示控件,下文相關(guān)內(nèi)容介紹需要的小伙伴可以參考一下2022-04-04基于Python實(shí)現(xiàn)評論區(qū)抽獎(jiǎng)功能詳解
這篇文章主要為大家介紹了基于Python如何實(shí)現(xiàn)評論區(qū)抽獎(jiǎng)的功能,文章的示例代碼講解詳細(xì),對我們學(xué)習(xí)Python有一定幫助,需要的朋友可以學(xué)習(xí)一下2021-12-12