Pytorch 多維數(shù)組運算過程的索引處理方式
背景:對 python 不熟悉,能看懂代碼,也能實現(xiàn)一些簡單的功能,但是對 python 的核心思想和編程技巧不熟,所以使 Pytorch 寫 loss 的時候遇到很多麻煩,尤其是在 batch_size > 1 的時候,做矩陣乘法之類的運算會覺得特別不順手。
所幸,在邊查邊寫的過程中,理解了 python 中多維運算的實現(xiàn)規(guī)則。
1、python 的基本索引規(guī)則
從 0 開始
對于給定的范圍,如 b = a[m:n], 那么 b 為由 (n-m)個數(shù)據(jù)組成的新數(shù)組,由 a[m],a[m+1],...,a[n-1] 構(gòu)成。(若 n<m, 得到空)
2、單個 tensor 運算,使用 dim 參數(shù)
torch 中對 tensor 的操作方法,若不加 dim 參數(shù)表示對整體的 tensr 進行操作,若增加 dim 參則表示按維操作。
例:
a = [[1,2],[3,4],[5,6]] (torch.tensor) torch.mean(a) => 3.5 torch.mean(a,dim=0) => [1.5, 3.5, 5.5] torch.mean(a,dim=1) => [[3],[4]] torch.mean(a,dim=0) => [3,4] torch.mean(a,dim=1) => [1.5, 3.5, 5.5]
注: torch.mean() 是一個降維的操作,所以不會出現(xiàn)在取均值后保持跟原 Tensor 同維的情況。 dim 參數(shù)存在時降一維,不存在時得到的是整個 Tensor 的均值。
3、兩個 tensor 運算,構(gòu)造對應(yīng)形狀
以乘法為例:
3.1 矩陣乘向量
a = [[1,2],[3,4],[5,6]] b = [1,1]
計算乘法 c = a@b
若 a 拓展為 (N,3,2) N 為 batch_size, 計算 c2 = a@b
若 a,b 同時拓展, 變成(N, 2),那么需要做一個變換 b = b.view(N,2,1),計算 c3 = a@b
3.2 矩陣乘矩陣
a = [[1,2],[3,4],[5,6]] b =[ [1,1],[1,1]]
計算乘法 c = a@b
若 a 拓展為 (N,3,2) N 為 batch_size, 計算 c2 = a@b
若 a,b 同時拓展, 變成(N, 2, 2),計算 c3 = a@b
以上這篇Pytorch 多維數(shù)組運算過程的索引處理方式就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
對python中Json與object轉(zhuǎn)化的方法詳解
今天小編就為大家分享一篇對python中Json與object轉(zhuǎn)化的方法詳解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
Python腳本如何在bilibili中查找彈幕發(fā)送者
這篇文章主要介紹了如何在bilibili中查找彈幕發(fā)送者,本文給大家分享小編寫的一個python腳本來實現(xiàn)bilibili彈幕發(fā)送者,需要的朋友可以參考下2020-06-06
Anaconda+Pycharm環(huán)境下的PyTorch配置方法
這篇文章主要介紹了Anaconda+Pycharm環(huán)境下的PyTorch配置方法,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-03-03
opencv python Canny邊緣提取實現(xiàn)過程解析
這篇文章主要介紹了opencv python Canny邊緣提取實現(xiàn)過程解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-02-02
Python中Playwright?與?pyunit?結(jié)合使用詳解
這篇文章主要介紹了Python中Playwright?與?pyunit?結(jié)合使用,本文通過實例代碼給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2023-03-03

