pytorch?tensor內(nèi)所有元素相乘實例
tensor內(nèi)所有元素相乘
a = torch.Tensor([1,2,3]) print(torch.prod(a))
輸出
tensor(6.)
tensor乘法運算匯總與解析
元素一一相乘
該操作又稱作 “哈達瑪積”, 簡單來說就是 tensor 元素逐個相乘。這個操作,是通過 * 也就是常規(guī)的乘號操作符定義的操作結(jié)果。torch.mul 是等價的。
import torch def element_by_element(): ? ?? ? ? x = torch.tensor([1, 2, 3]) ? ? y = torch.tensor([4, 5, 6]) ? ?? ? ? return x * y, torch.mul(x, y) element_by_element()
(tensor([ 4, 10, 18]), tensor([ 4, 10, 18]))
這個操作是可以 broad cast 的。
def element_by_element_broadcast(): ? ?? ? ? x = torch.tensor([1, 2, 3]) ? ? y = 2 ? ?? ? ? return x * y element_by_element_broadcast()
tensor([2, 4, 6])
向量點乘
torch.matmul: If both tensors are 1-dimensional, the dot product (scalar) is returned.
如果都是1維的,返回的就是 dot product 結(jié)果
def vec_dot_product(): ? ?? ? ? x = torch.tensor([1, 2, 3]) ? ? y = torch.tensor([4, 5, 6]) ? ?? ? ? return torch.matmul(x, y) vec_dot_product()
tensor(32)
矩陣乘法
torch.matmul: If both arguments are 2-dimensional, the matrix-matrix product is returned.
如果都是2維,那么就是矩陣乘法的結(jié)果返回。與 torch.mm 是等價的,torch.mm 僅僅能處理的是矩陣乘法。
def matrix_multiple(): ? ?? ? ? x = torch.tensor([ ? ? ? ? [1, 2, 3], ? ? ? ? [4, 5, 6] ? ? ]) ? ? y = torch.tensor([ ? ? ? ? [7, 8], ? ? ? ? [9, 10], ? ? ? ? [11, 12] ? ? ]) ? ?? ? ? return torch.matmul(x, y), torch.mm(x, y) matrix_multiple()
(tensor([[ 58, ?64], ? ? ? ? ?[139, 154]]), tensor([[ 58, ?64], ? ? ? ? ?[139, 154]]))
vector 與 matrix 相乘
torch.matmul: If the first argument is 1-dimensional and the second argument is 2-dimensional, a 1 is prepended to its dimension for the purpose of the matrix multiply. After the matrix multiply, the prepended dimension is removed.
如果第一個是 vector, 第二個是 matrix, 會在 vector 中增加一個維度。也就是 vector 變成了 與 matrix 相乘之后,變成 , 在結(jié)果中將 維 再去掉。
def vec_matrix(): ? ? x = torch.tensor([1, 2, 3]) ? ? y = torch.tensor([ ? ? ? ? [7, 8], ? ? ? ? [9, 10], ? ? ? ? [11, 12] ? ? ]) ? ?? ? ? return torch.matmul(x, y) vec_matrix()
tensor([58, 64])
matrix 與 vector 相乘
同樣的道理, vector會被擴充一個維度。
def matrix_vec(): ? ? x = torch.tensor([ ? ? ? ? [1, 2, 3], ? ? ? ? [4, 5, 6] ? ? ]) ? ? y = torch.tensor([ ? ? ? ? 7, 8, 9 ? ? ]) ? ?? ? ? return torch.matmul(x, y) matrix_vec()
tensor([ 50, 122])
帶有batch_size 的 broad cast乘法
def batched_matrix_broadcasted_vector(): ? ? x = torch.tensor([ ? ? ? ? [ ? ? ? ? ? ? [1, 2], [3, 4] ? ? ? ? ], ? ? ? ? [ ? ? ? ? ? ? [5, 6], [7, 8] ? ? ? ? ] ? ? ]) ? ?? ? ? print(f"x shape: {x.size()} \n {x}") ? ? y = torch.tensor([1, 3]) ? ?? ? ? return torch.matmul(x, y) batched_matrix_broadcasted_vector()
x shape: torch.Size([2, 2, 2])? ?tensor([[[1, 2], ? ? ? ? ?[3, 4]], ? ? ? ? [[5, 6], ? ? ? ? ?[7, 8]]]) tensor([[ 7, 15], ? ? ? ? [23, 31]])
batched matrix x batched matrix def batched_matrix_batched_matrix(): ? ? x = torch.tensor([ ? ? ? ? [ ? ? ? ? ? ? [1, 2, 1], [3, 4, 4] ? ? ? ? ], ? ? ? ? [ ? ? ? ? ? ? [5, 6, 2], [7, 8, 0] ? ? ? ? ] ? ? ]) ? ?? ? ? y = torch.tensor([ ? ? ? ? [ ? ? ? ? ? ? [1, 2],? ? ? ? ? ? ? [3, 4],? ? ? ? ? ? ? [5, 6] ? ? ? ? ], ? ? ? ? [ ? ? ? ? ? ? [7, 8],? ? ? ? ? ? ? [9, 10],? ? ? ? ? ? ? [1, 2] ? ? ? ? ] ? ? ]) ? ?? ? ? print(f"x shape: {x.size()} \n y shape: {y.size()}") ? ? return torch.matmul(x, y) xy = batched_matrix_batched_matrix() print(f"xy shape: {xy.size()} \n {xy}")
x shape: torch.Size([2, 2, 3])? ?y shape: torch.Size([2, 3, 2]) xy shape: torch.Size([2, 2, 2])? ?tensor([[[ 12, ?16], ? ? ? ? ?[ 35, ?46]], ? ? ? ? [[ 91, 104], ? ? ? ? ?[121, 136]]])
上面的效果與 torch.bmm 是一樣的。matmul 比 bmm 功能更加強大,但是 bmm 的語義非常明確, bmm 處理的只能是 3維的。
def batched_matrix_batched_matrix_bmm(): ? ? x = torch.tensor([ ? ? ? ? [ ? ? ? ? ? ? [1, 2, 1], [3, 4, 4] ? ? ? ? ], ? ? ? ? [ ? ? ? ? ? ? [5, 6, 2], [7, 8, 0] ? ? ? ? ] ? ? ]) ? ?? ? ? y = torch.tensor([ ? ? ? ? [ ? ? ? ? ? ? [1, 2],? ? ? ? ? ? ? [3, 4],? ? ? ? ? ? ? [5, 6] ? ? ? ? ], ? ? ? ? [ ? ? ? ? ? ? [7, 8],? ? ? ? ? ? ? [9, 10],? ? ? ? ? ? ? [1, 2] ? ? ? ? ] ? ? ]) ? ?? ? ? print(f"x shape: {x.size()} \n y shape: {y.size()}") ? ? return torch.bmm(x, y) xy = batched_matrix_batched_matrix() print(f"xy shape: {xy.size()} \n {xy}")
x shape: torch.Size([2, 2, 3])? ?y shape: torch.Size([2, 3, 2]) xy shape: torch.Size([2, 2, 2])? ?tensor([[[ 12, ?16], ? ? ? ? ?[ 35, ?46]], ? ? ? ? [[ 91, 104], ? ? ? ? ?[121, 136]]])
tensordot def tesnordot(): ? ? x = torch.tensor([ ? ? ? ? [1, 2, 1],? ? ? ? ? [3, 4, 4]]) ? ? y = torch.tensor([ ? ? ? ? [7, 8],? ? ? ? ? [9, 10],? ? ? ? ? [1, 2]]) ? ? print(f"x shape: {x.size()}, y shape: {y.size()}") ? ? return torch.tensordot(x, y, dims=([0], [1])) tesnordot()
x shape: torch.Size([2, 3]), y shape: torch.Size([3, 2]) tensor([[31, 39, ?7], ? ? ? ? [46, 58, 10], ? ? ? ? [39, 49, ?9]])
以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。