欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Pytorch 如何實(shí)現(xiàn)常用正則化

 更新時(shí)間：2021年05月27日 10:35:32   作者：winycg  
這篇文章主要介紹了Pytorch 實(shí)現(xiàn)常用正則化的操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教

Stochastic Depth

論文：Deep Networks with Stochastic Depth

本文的正則化針對(duì)于ResNet中的殘差結(jié)構(gòu)，類似于dropout的原理，訓(xùn)練時(shí)對(duì)模塊進(jìn)行隨機(jī)的刪除，從而提升模型的泛化能力。

在這里插入圖片描述

對(duì)于上述的ResNet網(wǎng)絡(luò)，模塊越在后面被drop掉的概率越大。

作者直覺上認(rèn)為前期提取的低階特征會(huì)被用于后面的層。

第一個(gè)模塊保留的概率為1，之后保留概率隨著深度線性遞減。

對(duì)一個(gè)模塊的drop函數(shù)可以采用如下的方式實(shí)現(xiàn)：

def drop_connect(inputs, p, training):
    """ Drop connect. """
    if not training: return inputs # 測(cè)試階段
    batch_size = inputs.shape[0]
    keep_prob = 1 - p
    random_tensor = keep_prob
    random_tensor += torch.rand([batch_size, 1, 1, 1], dtype=inputs.dtype, device=inputs.device)
    # 以樣本為單位生成模塊是否被drop的01向量
    binary_tensor = torch.floor(random_tensor) 
    # 因?yàn)樵酵笤饺菀妆籨rop，所以沒有被drop的值就要通過除keep_prob來放大
    output = inputs / keep_prob * binary_tensor
    return output

在Pytorch建立的Module類中，具有forward函數(shù)

可以在forward函數(shù)中進(jìn)行drop：

def forward(self, x):
 x=...
 if stride == 1 and in_planes == out_planes:
        if drop_connect_rate:
            x = drop_connect(x, p=drop_connect_rate, training=self.training)
        x = x + inputs  # skip connection
    return x

主函數(shù)：

for idx, block in enumerate(self._blocks):
    drop_connect_rate = self._global_params.drop_connect_rate
    if drop_connect_rate:
        drop_connect_rate *= float(idx) / len(self._blocks)
    x = block(x, drop_connect_rate=drop_connect_rate)

補(bǔ)充：pytorch中的L2正則化實(shí)現(xiàn)方法

搭建神經(jīng)網(wǎng)絡(luò)時(shí)需要使用L2正則化等操作來防止過擬合，而pytorch不像TensorFlow能在任意卷積函數(shù)中添加L2正則化的超參，那怎么在pytorch中實(shí)現(xiàn)L2正則化呢？

方法如下：超級(jí)簡單！

optimizer = torch.optim.Adam(net.parameters(), lr=0.001, weight_decay=5.0)

torch.optim.Adam()參數(shù)中的 weight_decay=5.0 即為L2正則化（只是pytorch換了名字），其數(shù)值即為L2正則化的懲罰系數(shù)，一般設(shè)置為1、5、10（根據(jù)需要設(shè)置，默認(rèn)為0，不使用L2正則化）。

注：

pytorch中的優(yōu)化函數(shù)L2正則化默認(rèn)對(duì)所有網(wǎng)絡(luò)參數(shù)進(jìn)行懲罰，且只能實(shí)現(xiàn)L2正則化，如需只懲罰指定網(wǎng)絡(luò)層參數(shù)或采用L1正則化，只能自己定義。。。

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

相關(guān)文章

最新評(píng)論