快捷導(dǎo)航

關(guān)于pytorch相關(guān)部分矩陣變換函數(shù)的問(wèn)題分析

更新時(shí)間：2022年03月21日 11:05:47 作者：m0_67403240

這篇文章主要介紹了pytorch相關(guān)部分矩陣變換函數(shù),包括tensor維度順序變換BCHW順序的調(diào)整，矩陣乘法相關(guān)函數(shù),矩陣乘,點(diǎn)乘,求取矩陣對(duì)角線元素或非對(duì)角線元素的問(wèn)題，本文給大家介紹的非常詳細(xì)，需要的朋友可以參考下

1、tensor 維度順序變換 BCHW順序的調(diào)整

tensor.permute(dims)

將tensor的維度換位。參數(shù)是一系列的整數(shù)，代表原來(lái)張量的維度。比如三維就有0，1，2這些dimension。

import torch
a = torch.rand(8,256,256,3)   #---> n,h,w,c
print(a.shape)
b = a.permute(0,3,1,2)  # ---> n,c,h,w
print(b.shape)
#輸出
torch.Size([8, 256, 256, 3])
torch.Size([8, 3, 256, 256])

numpy內(nèi)進(jìn)行維度順序變換采用_numy.transpose(a,axis=None)_

參數(shù) a: 輸入數(shù)組

axis: int類型的列表，這個(gè)參數(shù)是可選的。默認(rèn)情況下，反轉(zhuǎn)的輸入數(shù)組的維度，當(dāng)給定這個(gè)參數(shù)時(shí)，按照這個(gè)參數(shù)所定的值進(jìn)行數(shù)組變換。

返回值 p: ndarray 返回轉(zhuǎn)置過(guò)后的原數(shù)組的視圖。

import numpy as ?np
?
x = np.random.randn(8,256,256,3) ?# ---> n,h,w,c
print(x.shape)
y=x.transpose((0,3,1,2)) ? # ?----> n,c,h,w
print(y.shape)

#輸出
(8, 256, 256, 3)
(8, 3, 256, 256)

2、矩陣乘法相關(guān)函數(shù)，矩陣乘，點(diǎn)乘

二維矩陣乘法torch.mm()

torch.mm(mat1,mat2,out=None),其中mat1(NXM)，mat2(MXD)，輸出out的維度為(NXD)

該函數(shù)一般只用來(lái)計(jì)算兩個(gè)二維矩陣的矩陣乘法，并且不支持broadcast操作。

三維帶batch的矩陣乘法 torch.bmm()
由于神經(jīng)網(wǎng)絡(luò)訓(xùn)練一般采用mini-batch，經(jīng)常輸入的時(shí)三維帶batch的矩陣，所以提供torch.bmm(bmat1, bmat2, out=None)，其中bmat1(b×n×mb×n×m)，bmat2(b×m×db×m×d)，輸出out的維度是(b×n×db×n×d)。

該函數(shù)的兩個(gè)輸入必須是三維矩陣且第一維相同（表示Batch維度），不支持broadcast操作。

多維矩陣乘法 torch.matmul()
torch.matmul(input, other, out=None)支持broadcast操作，使用起來(lái)比較復(fù)雜。

針對(duì)多維數(shù)據(jù) matmul()乘法，我們可以認(rèn)為該matmul()乘法使用使用兩個(gè)參數(shù)的后兩個(gè)維度來(lái)計(jì)算，其他的維度都可以認(rèn)為是batch維度。假設(shè)兩個(gè)輸入的維度分別是input(1000×500×99×111000×500×99×11), other(500×11×99500×11×99)那么我們可以認(rèn)為torch.matmul(input, other, out=None)乘法首先是進(jìn)行后兩位矩陣乘法得到(99×11)×(11×99)(99×99)(99×11)×(11×99)(99×99) ，然后分析兩個(gè)參數(shù)的batch size分別是 (1000×500)(1000×500) 和 500500 , 可以廣播成為 (1000×500)(1000×500)，因此最終輸出的維度是(1000×500×99×991000×500×99×99)。

矩陣逐元素(Element-wise)乘法 torch.mul()
torch.mul(mat1, other, out=None)，其中other乘數(shù)可以是標(biāo)量，也可以是任意維度的矩陣，只要滿足最終相乘是可以broadcast的即可

@ ：矩陣乘法，自動(dòng)執(zhí)行適合的矩陣乘法函數(shù)
* ：element-wise乘法

3、求取矩陣對(duì)角線元素，或非對(duì)角線元素

取對(duì)角線元素可以用torch.diagonal()

x = torch.randn(4,4)
# tensor([[ 0.9148,  0.1396, -0.8974,  2.0014],
#        [ 0.1129, -0.3656,  0.4371,  0.2618],
#        [ 1.1049, -0.0774, -0.4160, -0.4922],
#        [ 1.3197, -0.2022, -0.0031, -1.3811]])

torch.diagonal(x)
# tensor([ 0.9148, -0.3656, -0.4160, -1.3811])

非對(duì)角線元素沒(méi)有特定API，如果是求和，可以矩陣求和減去對(duì)角線元素和。

網(wǎng)上看到一個(gè)巧妙的非對(duì)角線元素方法

n, m = x.shape
assert n == m
x.flatten()[:-1].view(n-1,n+1)[:,1:].flatten()
# tensor([ 0.1396, -0.8974,  2.0014,  0.1129,  0.4371,  0.2618,  1.1049, -0.0774,
#        -0.4922,  1.3197, -0.2022, -0.0031])

首先利用flatten()拉直向量，然后去掉最后一個(gè)元素，得到n^2 - 1個(gè)元素，然后構(gòu)造為一個(gè)維度為[N-1, N+1]的矩陣。在這個(gè)矩陣中，之前所有的對(duì)角線元素全部出現(xiàn)在第1列，然后根據(jù)索引獲取[:, 1:]元素，得到的就是原矩陣的非對(duì)角線元素。

在這里插入圖片描述