支持PyTorch的einops張量操作神器用法示例詳解
今天做visual transformer研究的時(shí)候,發(fā)現(xiàn)了einops這么個(gè)神兵利器,決定大肆安利一波。
先看鏈接:https://github.com/arogozhnikov/einops
安裝:
pip install einops
基礎(chǔ)用法
einops的強(qiáng)項(xiàng)是把張量的維度操作具象化,讓開發(fā)者“想出即寫出”。舉個(gè)例子:
from einops import rearrange # rearrange elements according to the pattern output_tensor = rearrange(input_tensor, 'h w c -> c h w')
用'h w c -> c h w'就完成了維度調(diào)換,這個(gè)功能與pytorch中的permute相似。但是,einops的rearrange玩法可以更高級(jí):
from einops import rearrange import torch a = torch.randn(3, 9, 9) # [3, 9, 9] output = rearrange(a, 'c (r p) w -> c r p w', p=3) print(output.shape) # [3, 3, 3, 9]
這就是高級(jí)用法了,把中間維度看作r×p,然后給出p的數(shù)值,這樣系統(tǒng)會(huì)自動(dòng)把中間那個(gè)維度拆解成3×3。這樣就完成了[3, 9, 9] -> [3, 3, 3, 9]的維度轉(zhuǎn)換。
這個(gè)功能就不是pytorch的內(nèi)置功能可比的。
除此之外,還有reduce和repeat,也是很好用。
from einops import repeat import torch a = torch.randn(9, 9) # [9, 9] output_tensor = repeat(a, 'h w -> c h w', c=3) # [3, 9, 9]
指定c,就可以指定復(fù)制的層數(shù)了。
再看reduce:
from einops import reduce import torch a = torch.randn(9, 9) # [9, 9] output_tensor = reduce(a, 'b c (h h2) (w w2) -> b h w c', 'mean', h2=2, w2=2)
這里的'mean'指定池化方式。 相信你看得懂,不懂可留言提問~
高級(jí)用法
einops也可以嵌套在pytorch的layer里,請(qǐng)看:
# example given for pytorch, but code in other frameworks is almost identical from torch.nn import Sequential, Conv2d, MaxPool2d, Linear, ReLU from einops.layers.torch import Rearrange model = Sequential( Conv2d(3, 6, kernel_size=5), MaxPool2d(kernel_size=2), Conv2d(6, 16, kernel_size=5), MaxPool2d(kernel_size=2), # flattening Rearrange('b c h w -> b (c h w)'), Linear(16*5*5, 120), ReLU(), Linear(120, 10), )
這里的Rearrange是nn.module的子類,直接可以當(dāng)作網(wǎng)絡(luò)層放到模型里~
一個(gè)字,絕。
以上就是支持PyTorch的einops張量操作神器用法示例詳解的詳細(xì)內(nèi)容,更多關(guān)于einops張量操作用法的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
- python機(jī)器學(xué)習(xí)pytorch?張量基礎(chǔ)教程
- 人工智能學(xué)習(xí)Pytorch張量數(shù)據(jù)類型示例詳解
- Python Pytorch深度學(xué)習(xí)之Tensors張量
- Pytorch實(shí)現(xiàn)張量的創(chuàng)建與使用方法
- Pytorch使用PIL和Numpy將單張圖片轉(zhuǎn)為Pytorch張量方式
- pytorch 實(shí)現(xiàn)張量tensor,圖片,CPU,GPU,數(shù)組等的轉(zhuǎn)換
- pytorch中tensor張量數(shù)據(jù)類型的轉(zhuǎn)化方式
- Pytorch創(chuàng)建張量的四種方法
相關(guān)文章
python 通過麥克風(fēng)錄音 生成wav文件的方法
今天小編就為大家分享一篇python 通過麥克風(fēng)錄音 生成wav文件的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-01-01Python爬蟲基礎(chǔ)之簡單說一下scrapy的框架結(jié)構(gòu)
今天給大家?guī)淼氖顷P(guān)于Python爬蟲的相關(guān)知識(shí),文章圍繞著scrapy的框架結(jié)構(gòu)展開,文中有非常詳細(xì)的介紹及代碼示例,需要的朋友可以參考下2021-06-06Django crontab定時(shí)任務(wù)模塊操作方法解析
這篇文章主要介紹了Django crontab定時(shí)任務(wù)模塊操作方法解析,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-09-09pytorch中model.named_parameters()與model.parameters()解讀
這篇文章主要介紹了pytorch中model.named_parameters()與model.parameters()使用及說明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-11-11Python中的魔術(shù)方法Magic?Methods使用實(shí)例全面指南
在Python中,魔術(shù)方法Magic?Methods是一種特殊的方法,它們以雙下劃線開頭和結(jié)尾,如__init__、__str__等,這些方法允許定制類的行為,使得對(duì)象更具有靈活性和可定制性,本文將深入探討Python中一些常用的魔術(shù)方法,以及如何使用它們來定制類與對(duì)象2024-01-01Python使用requests xpath 并開啟多線程爬取西刺代理ip實(shí)例
這篇文章主要介紹了Python使用requests xpath 并開啟多線程爬取西刺代理ip實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-03-03Python Coroutine池化的實(shí)現(xiàn)詳解
在當(dāng)今計(jì)算機(jī)科學(xué)和軟件工程的領(lǐng)域中,池化技術(shù)如線程池、連接池和對(duì)象池等已經(jīng)成為優(yōu)化資源利用率和提高軟件性能的重要工具,所以下面我們就來看看Coroutine池化的具體實(shí)現(xiàn)吧2024-01-01Python爬蟲框架scrapy實(shí)現(xiàn)的文件下載功能示例
這篇文章主要介紹了Python爬蟲框架scrapy實(shí)現(xiàn)的文件下載功能,結(jié)合實(shí)例形式分析了scrapy框架進(jìn)行文件下載的具體操作步驟與相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2018-08-08