擾動(dòng)的魯棒性

在之前我們討論權(quán)重衰減（L2​正則化）時(shí)看到的那樣，參數(shù)的范數(shù)也代表了一種有用的簡單性度量。簡單性的另一個(gè)有用角度是平滑性，即函數(shù)不應(yīng)該對其輸入的微笑變化敏感。例如，當(dāng)我們對圖像進(jìn)行分類時(shí)，我們預(yù)計(jì)向像素添加一些隨機(jī)噪聲應(yīng)該是基本無影響的。

dropout在正向傳播過程中，計(jì)算每一內(nèi)部層同時(shí)注入噪聲，這已經(jīng)成為訓(xùn)練神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)技術(shù)。這種方法之所以被稱為dropout，因?yàn)槲覀儚谋砻嫔峡词窃谟?xùn)練過程中丟棄（drop out）一些神經(jīng)元。在整個(gè)訓(xùn)練過程的每一次迭代中，dropout包括在計(jì)算下一層之前將當(dāng)前層中的一些節(jié)點(diǎn)置零。

那么關(guān)鍵的挑戰(zhàn)就是如何注入這種噪聲，一種想法是以一種無偏的方式注入噪聲。這樣在固定住其他層時(shí)，每一層的期望值等于沒有噪音時(shí)的值。

實(shí)踐中的dropout

之前多層感知機(jī)是帶有一個(gè)隱藏層和5個(gè)隱藏單元的。當(dāng)我們將dropout應(yīng)用到隱藏層時(shí)，以 p的概率將隱藏單元置為零時(shí)，結(jié)果可以看作是一個(gè)只包含原始神經(jīng)元子集的網(wǎng)絡(luò)。右圖中，刪除了  h2​和  h5​。因此，輸出的計(jì)算不再依賴于 h2​或  h5​，并且它們各自的梯度在執(zhí)行反向傳播時(shí)也會(huì)消失。這樣，輸出層的計(jì)算不能過度依賴于 h1​,…,h5​的任何一個(gè)元素。

通常，我們在測試時(shí)僅用dropout。給定一個(gè)訓(xùn)練好的模型和一個(gè)新的樣本，我們不會(huì)丟棄任何節(jié)點(diǎn)，因此不需要標(biāo)準(zhǔn)化。

簡潔實(shí)現(xiàn)

對于高級API，我們所需要做的就是在每個(gè)全連接層之后添加一個(gè)Dropout層，將丟棄概率作為唯一的參數(shù)傳遞給它的構(gòu)造函數(shù)。在訓(xùn)練過程中，Dropout層將根據(jù)指定的丟棄概率隨機(jī)丟棄上一層的輸出（相當(dāng)于下一層的輸入）。當(dāng)不處于訓(xùn)練模式時(shí)，Dropout層僅在測試時(shí)傳遞數(shù)據(jù)。

net = nn.Sequential(nn.Flatten(),
					nn.Linear(784, 256),
					nn.ReLU(),
					# 在第一個(gè)全連接層之后添加一個(gè)dropout層
					nn.Dropout(dropout1),
					nn.Linear(256, 256),
					nn.ReLU(),
					# 在第二個(gè)全連接層之后添加一個(gè)dropout層
					nn.Dropout(dropout2),
					nn.Linear(256, 10))

def init_weights(m):
	if type(m) == nn.Linear:
		nn.init.normal_(m.weight, std=0.01)

net.apply(init_weights)

接下來，我們對模型進(jìn)行訓(xùn)練和測試。

trainer = torch.optim.SGD(net.parameters(), lr=lr)
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, trainer)

以上就是Python深度學(xué)習(xí)pytorch神經(jīng)網(wǎng)絡(luò)Dropout應(yīng)用詳解解的詳細(xì)內(nèi)容，更多關(guān)于pytorch神經(jīng)網(wǎng)絡(luò)Dropout應(yīng)用的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論