Pytorch之nn.Upsample()和nn.ConvTranspose2d()用法詳解

更新時間：2024年10月12日 14:23:09 作者：北方騎馬的蘿卜

nn.Upsample和nn.ConvTranspose2d是PyTorch中用于上采樣的兩種主要方法,nn.Upsample通過不同的插值方法（如nearest、bilinear）執(zhí)行上采樣,沒有可學習的參數(shù),適合快速簡單的尺寸增加,而nn.ConvTranspose2d通過可學習的轉置卷積核進行上采樣

nn.Upsample

原理

nn.Upsample 是一個在PyTorch中進行上采樣（增加數(shù)據(jù)維度）的層，其通過指定的方法（如nearest鄰近插值或linear、bilinear、trilinear線性插值等）來增大tensor的尺寸。

這個層可以在二維或三維數(shù)據(jù)上按照給定的尺寸或者放大比例來調整輸入數(shù)據(jù)的維度。

用法

import torch.nn as nn

# 創(chuàng)建一個上采樣層，通過比例放大
upsample = nn.Upsample(scale_factor=2, mode='nearest')

# 創(chuàng)建一個上采樣層，通過目標尺寸放大
upsample = nn.Upsample(size=(height, width), mode='bilinear', align_corners=True)

# 使用上采樣層
output = upsample(input)

nn.ConvTranspose2d

原理

nn.ConvTranspose2d 是一個二維轉置卷積（有時也稱為反卷積）層，它是標準卷積的逆操作。

轉置卷積通常用于生成型模型（如生成對抗網絡GANs），或者在卷積神經網絡中進行上采樣操作（與nn.Upsample相似，但是通過可學習的卷積核進行）。

轉置卷積層有權重和偏置，其可以在訓練過程中學習，以便更好地進行上采樣。

用法

import torch.nn as nn

# 創(chuàng)建一個轉置卷積層
conv_transpose = nn.ConvTranspose2d(in_channels=128, out_channels=64, kernel_size=3, stride=2, padding=1, output_padding=1)

# 使用轉置卷積層
output = conv_transpose(input)

比較

nn.Upsample 使用插值方式進行上采樣，沒有可學習的參數(shù)。
nn.ConvTranspose2d 通過轉置卷積操作上采樣，并且有可學習的參數(shù)，這可以在一定程度上給予模型更多的靈活性和表現(xiàn)力。

在一些場景下，nn.ConvTranspose2d 可能導致所謂的**“棋盤效應”（checkerboard artifacts），這是由于某些上采樣步驟的重疊造成的**。相比之下，nn.Upsample 通常不會引入這樣的效應，因為它的插值方法是固定的。

根據(jù)具體的應用場景和需求，選擇最合適的上采樣層是很重要的。

如果你只是想簡單地增大特征圖的尺寸，并且不需要額外的模型可學習能力，那么 nn.Upsample 是一個更快速和簡潔的選擇。
如果你需要模型在上采樣過程中有更多的控制能力，那么 nn.ConvTranspose2d 是更好的選擇。

性能對比

在性能對比方面，nn.Upsample() 和 **nn.ConvTranspose2d()**具有各自的特點和最佳應用場景，兩者在速度、內存占用和輸出質量方面有所不同。

計算資源（速度與內存）

nn.Upsample()：通常，上采樣層相對來說計算代價更小，尤其是當使用像"nearest"這類簡單的插值方法時。上采樣層沒有可訓練的參數(shù)，因此內存占用也比較低。如果選擇更復雜的插值方法，比如"bilinear"或"bicubic"，計算代價會增加，但通常仍然低于轉置卷積。
nn.ConvTranspose2d()：轉置卷積層包含可訓練的參數(shù)，因此計算代價和內存占用通常大于上采樣。每次在傳遞數(shù)據(jù)時，都會執(zhí)行卷積運算，這比上采樣的插值更加計算密集。

輸出質量

nn.Upsample()：由于它主要是基于某種插值方法來放大特征圖，所以可以快速地執(zhí)行操作，但無法保證放大后的圖像質量，尤其是在某些應用中，可能會出現(xiàn)明顯的、不連續(xù)的模式。
nn.ConvTranspose2d()：提供了一種可學習的方式來增加特征圖的尺寸。訓練過程中，網絡可以學習如何更有效地上采樣，這可能會提供更自然和連貫的輸出圖像。這在任務如圖像重建或生成時尤其有用。