1.什么是廣播機(jī)制

根據(jù)線性代數(shù)的運(yùn)算規(guī)則我們知道，矩陣運(yùn)算往往都是在兩個(gè)矩陣維度相同或者相匹配時(shí)才能運(yùn)算。比如加減法需要兩個(gè)矩陣的維度相同，乘法需要前一個(gè)矩陣的列數(shù)與后一個(gè)矩陣的行數(shù)相等。那么在 numpy、tensor 里也是同樣的道理，但是在機(jī)器學(xué)習(xí)的某些算法中會(huì)出現(xiàn)兩個(gè)維度不相同也不匹配的矩陣進(jìn)行運(yùn)算，那么這時(shí)候就需要用廣播機(jī)制來(lái)解決，通過(guò)廣播機(jī)制，其tensor參數(shù)可以自動(dòng)擴(kuò)展為相等大?。ú恍枰獜?fù)制數(shù)據(jù)）。下面我們以tensor為例來(lái)解釋什么是廣播機(jī)制。

2.廣播機(jī)制的規(guī)則

先來(lái)說(shuō)下廣播機(jī)制的規(guī)則，只有遵循下面的規(guī)則兩個(gè)張量才可以進(jìn)行廣播運(yùn)算。

每個(gè)tensor至少有一個(gè)維度；

遍歷tensor所有維度時(shí)，從末尾開(kāi)始遍歷（從右往左開(kāi)始遍歷)，兩個(gè)tensor存在下列情況

tensor維度相等。

tensor維度不等且其中一個(gè)維度為1或者不存在。

滿足上面的條件才可以進(jìn)行廣播機(jī)制。

3.代碼舉例

相同維度，一定可以 broadcast：

import torch
x = torch.rand(1, 2, 3)
y = torch.rand(1, 2, 3)
z = x + y
print(x.shape)
print(y.shape)
print(z.shape)
print(x)
print(y)
print(z)

輸出結(jié)果如下：

torch.Size([1, 2, 3])
torch.Size([1, 2, 3])
torch.Size([1, 2, 3])
tensor([[[0.0322, 0.2378, 0.4711],
         [0.9191, 0.0802, 0.4002]]])
tensor([[[0.5645, 0.9541, 0.3089],
         [0.7633, 0.7400, 0.7507]]])
tensor([[[0.5966, 1.1919, 0.7800],
         [1.6825, 0.8202, 1.1509]]])

有一個(gè)張量沒(méi)有維度，一定不可以進(jìn)行 broadcast：

import torch
x = torch.rand(0)
y = torch.rand(1, 2, 3)
print(x.shape)
print(y.shape)
z = x + y
print(z.shape)
print(x)
print(y)
print(z)

輸出結(jié)果：

torch.Size([0])
torch.Size([1, 2, 3])
Traceback (most recent call last):
  File "D:/program/Test/broadcast/test.py", line 8, in <module>
    z = x + y
RuntimeError: The size of tensor a (0) must match the size of tensor b (3) at non-singleton dimension 2

有一個(gè)張量缺少維度，一定可以進(jìn)行 broadcast：

import torch
x = torch.rand(1, 2, 3, 4)
y = torch.rand(2, 3, 4)
print(x.shape)
print(y.shape)
z = x + y
print(z.shape)
print(x)
print(y)
print(z)

輸出結(jié)果：

torch.Size([1, 2, 3, 4])
torch.Size([2, 3, 4])
torch.Size([1, 2, 3, 4])
tensor([[[[0.0094, 0.1863, 0.2657, 0.3782],
          [0.3296, 0.7454, 0.2080, 0.4156],
          [0.2092, 0.5414, 0.1053, 0.3872]],

         [[0.8161, 0.3554, 0.7352, 0.2116],
          [0.7459, 0.1662, 0.7555, 0.4548],
          [0.2611, 0.0353, 0.1862, 0.5948]]]])
tensor([[[0.4637, 0.3938, 0.2039, 0.3892],
         [0.4146, 0.8713, 0.3947, 0.5345],
         [0.2401, 0.3800, 0.3747, 0.8381]],

        [[0.0459, 0.1242, 0.3529, 0.1527],
         [0.2361, 0.2850, 0.8671, 0.8040],
         [0.6575, 0.4075, 0.8156, 0.2638]]])
tensor([[[[0.4730, 0.5801, 0.4695, 0.7674],
          [0.7442, 1.6167, 0.6027, 0.9501],
          [0.4493, 0.9214, 0.4800, 1.2253]],

         [[0.8620, 0.4796, 1.0881, 0.3643],
          [0.9820, 0.4512, 1.6227, 1.2588],
          [0.9186, 0.4428, 1.0018, 0.8586]]]])

上面的張量y跟張量x相比缺少一個(gè)維度，根據(jù)廣播機(jī)制的規(guī)則我們從最后一個(gè)維度進(jìn)行匹配，后面三個(gè)維度都一樣，張量y的缺少一個(gè)維度，于是觸發(fā)廣播機(jī)制。

兩個(gè)張量的維度不相等，其中有一個(gè)張量的對(duì)應(yīng)維度為1或者缺失，一定可以進(jìn)行 broadcast：

import torch
x = torch.rand(1, 2, 3, 4)
y = torch.rand(2, 1, 1)
print(x.shape)
print(y.shape)
z = x + y
print(z.shape)
print(x)
print(y)
print(z)

輸出結(jié)果：

torch.Size([1, 2, 3, 4])
torch.Size([2, 1, 1])
torch.Size([1, 2, 3, 4])
tensor([[[[0.8670, 0.0134, 0.7929, 0.4109],
          [0.3595, 0.8457, 0.2819, 0.8470],
          [0.5040, 0.9281, 0.9161, 0.7305]],

         [[0.3798, 0.3866, 0.4680, 0.5744],
          [0.6984, 0.6501, 0.2235, 0.3099],
          [0.9861, 0.8598, 0.7635, 0.3238]]]])
tensor([[[0.3393]],

        [[0.1775]]])
tensor([[[[1.2062, 0.3527, 1.1322, 0.7501],
          [0.6987, 1.1850, 0.6212, 1.1863],
          [0.8433, 1.2674, 1.2554, 1.0698]],

         [[0.5574, 0.5641, 0.6455, 0.7519],
          [0.8759, 0.8276, 0.4010, 0.4875],
          [1.1636, 1.0373, 0.9410, 0.5013]]]])

以上就是廣播機(jī)制的操作，只要記住幾個(gè)規(guī)則就行了，注意tensor在進(jìn)行運(yùn)算的時(shí)候是從后往前匹配運(yùn)算的。

4.原地操作

在進(jìn)行廣播機(jī)制的時(shí)候我們要注意一個(gè)原地操作運(yùn)算，什么是原地操作運(yùn)算？原地操作運(yùn)算就是指改變一個(gè)tensor的值的時(shí)候，不經(jīng)過(guò)復(fù)制操作，而是直接在原來(lái)的內(nèi)存上改變它的值。在pytorch中經(jīng)常加后綴“”來(lái)代表原地操作符，例：.add _()、.scatter()，原地操作不允許tensor使用廣播機(jī)制那樣來(lái)改變張量形狀維度大小，如下例子所示。

import torch
x = torch.rand(1,3,1)
y = torch.rand(3,1,7)
print(x.shape)
print(y.shape)
z = x.add_(y)
print(z.shape)
print(x)
print(y)
print(z)

輸出結(jié)果：

torch.Size([1, 3, 1])
torch.Size([3, 1, 7])
Traceback (most recent call last):
  File "D:/program/Test/broadcast/test.py", line 8, in <module>
    z = x.add_(y)
RuntimeError: output with shape [1, 3, 1] doesn't match the broadcast shape [3, 3, 7]

到此這篇關(guān)于Broadcast廣播機(jī)制在Pytorch Tensor Numpy中的使用詳解的文章就介紹到這了,更多相關(guān)Pytorch Broadcast內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論