給定損失函數(shù)的輸入y，pred，shape均為bxc。

若設(shè)定loss_fn = torch.nn.MSELoss(reduction='mean')，最終的輸出值其實(shí)是（y - pred）每個(gè)元素?cái)?shù)字的平方之和除以（bxc），也就是在batch和特征維度上都取了平均。

如果只想在batch上做平均，可以這樣寫(xiě)：

loss_fn = torch.nn.MSELoss(reduction='sum')
loss = loss_fn(pred, y) / pred.size(0)

補(bǔ)充：PyTorch中MSELoss的使用

參數(shù)

torch.nn.MSELoss(size_average=None, reduce=None, reduction: str = 'mean')

size_average和reduce在當(dāng)前版本的pytorch已經(jīng)不建議使用了，只設(shè)置reduction就行了。

reduction的可選參數(shù)有：'none' 、'mean' 、'sum'

reduction='none'：求所有對(duì)應(yīng)位置的差的平方，返回的仍然是一個(gè)和原來(lái)形狀一樣的矩陣。

reduction='mean'：求所有對(duì)應(yīng)位置差的平方的均值，返回的是一個(gè)標(biāo)量。

reduction='sum'：求所有對(duì)應(yīng)位置差的平方的和，返回的是一個(gè)標(biāo)量。

更多可查看官方文檔​

舉例

首先假設(shè)有三個(gè)數(shù)據(jù)樣本分別經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)運(yùn)算，得到三個(gè)輸出與其標(biāo)簽分別是:

y_pre = torch.Tensor([[1, 2, 3],
                      [2, 1, 3],
                      [3, 1, 2]])

y_label = torch.Tensor([[1, 0, 0],
                        [0, 1, 0],
                        [0, 0, 1]])

如果reduction='none'：

criterion1 = nn.MSELoss(reduction='none')
loss1 = criterion1(x, y)
print(loss1)

則輸出：

tensor([[0., 4., 9.],

[4., 0., 9.],

[9., 1., 1.]])

如果reduction='mean'：

criterion2 = nn.MSELoss(reduction='mean')
loss2 = criterion2(x, y)
print(loss2)

則輸出：

tensor(4.1111)

如果reduction='sum'：

criterion3 = nn.MSELoss(reduction='sum')
loss3 = criterion3(x, y)
print(loss3)

則輸出：

tensor(37.)

在反向傳播時(shí)的使用

一般在反向傳播時(shí)，都是先求loss，再使用loss.backward()求loss對(duì)每個(gè)參數(shù) w_ij和b的偏導(dǎo)數(shù)(也可以理解為梯度)。

這里要注意的是，只有標(biāo)量才能執(zhí)行backward()函數(shù)，因此在反向傳播中reduction不能設(shè)為'none'。

但具體設(shè)置為'sum'還是'mean'都是可以的。

若設(shè)置為'sum'，則有Loss=loss_1+loss_2+loss_3，表示總的Loss由每個(gè)實(shí)例的loss_i構(gòu)成，在通過(guò)Loss求梯度時(shí)，將每個(gè)loss_i的梯度也都考慮進(jìn)去了。

若設(shè)置為'mean'，則相比'sum'相當(dāng)于Loss變成了Loss*(1/i)，這在參數(shù)更新時(shí)影響不大，因?yàn)橛袑W(xué)習(xí)率a的存在。

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教。

最新評(píng)論