快捷導(dǎo)航

pytorch機(jī)器學(xué)習(xí)softmax回歸的簡(jiǎn)潔實(shí)現(xiàn)

更新時(shí)間：2021年10月11日 16:53:22 作者：Supre_yuan

這篇文章主要介紹了為大家介紹了pytorch機(jī)器學(xué)習(xí)中softmax回歸的簡(jiǎn)潔實(shí)現(xiàn)方式，有需要的朋友可以借鑒參考下，希望能夠有所幫助

初始化模型參數(shù)

由于sofrmax回歸的輸出層是一個(gè)全連接層，因此，為了實(shí)現(xiàn)我們的模型，我們只需在Sequential中添加一個(gè)帶有10個(gè)輸出的全連接層。同樣，在這里，Sequential并不是必要的，但我們可能會(huì)形成這種習(xí)慣。因?yàn)樵趯?shí)現(xiàn)深度模型時(shí)，Sequential將無處不在。我們?nèi)匀灰跃?和標(biāo)準(zhǔn)差0.01隨機(jī)初始化權(quán)重。

# PyTorch不會(huì)隱式地調(diào)整輸入的形狀。因此，我們?cè)诰€性層前定義了展平層（flatten），來調(diào)整網(wǎng)絡(luò)輸入的形狀
net = nn.Sequential(nn.Flatten(), nn.Linear(784, 10))
def init_weights(m):
	if type(m) == nn.Linear:
		nn.init.normal_(m.weight, std=0.01)

net.apply(init_weights)

重新審視softmax的實(shí)現(xiàn)

在前面的例子中，我們計(jì)算了模型的輸出，然后將此輸出送入交叉熵?fù)p失。從數(shù)學(xué)上講，這是一件完全合理的事情。然而，從計(jì)算角度來看，指數(shù)可能會(huì)造成數(shù)值穩(wěn)定性的問題，包括上溢和下溢。

我們也希望保留傳統(tǒng)的softmax函數(shù)，以備我們需要評(píng)估通過模型輸出的概率。但是，我們沒有將softmax概率傳遞到損失函數(shù)中，而是在交叉熵?fù)p失函數(shù)中傳遞未歸一化的預(yù)測(cè)，并同時(shí)計(jì)算softmax及其對(duì)數(shù)。

loss = nn.CrossEntropyLoss()

優(yōu)化算法

在這里，我們使用學(xué)習(xí)率為0.1的小批量隨機(jī)梯度下降作為優(yōu)化算法。這與我們?cè)诰€性回歸例子中的相同，這說明了優(yōu)化器的普適性。

trainer = torch.optim.SGD(net.parameters(), lr=0.1)

在這里插入圖片描述

以上就是pytorch機(jī)器學(xué)習(xí)softmax回歸的簡(jiǎn)潔實(shí)現(xiàn)的詳細(xì)內(nèi)容，更多關(guān)于pytorch機(jī)器學(xué)習(xí)softmax回歸的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章: