python使用torch隨機初始化參數(shù)
更新時間：2022年03月22日 10:52:42 作者：就是一頓騷操作
這篇文章主要介紹了python使用torch隨機初始化參數(shù)，文章圍繞torch隨機初始化參數(shù)的相關(guān)資料展開文章詳細內(nèi)容，具有一定的參考價值，需要的小伙伴可以參考一下，希望對你有所幫助
1、從均勻分布中生成值
w = torch.zeros(3, 5) w Out[75]:? tensor([[0., 0., 0., 0., 0.], ? ? ? ? [0., 0., 0., 0., 0.], ? ? ? ? [0., 0., 0., 0., 0.]]) torch.nn.init.uniform_(w, a=10, b=15) Out[76]:? tensor([[11.8949, 11.0836, 10.6348, 13.4524, 12.8051], ? ? ? ? [14.5289, 11.3441, 10.0570, 11.0310, 11.3643], ? ? ? ? [10.2919, 11.2083, 13.5757, 13.3987, 11.0059]])
2、分布N(mean, std)中生成值
從給定均值和標準差的正態(tài)分布N(mean, std)中生成值，填充輸入的張量或變量
w = torch.zeros(3, 5) torch.nn.init.normal_(w, mean=0, std=0.1) Out[78]:? tensor([[-0.1810, -0.0781, ?0.0562, ?0.0239, -0.0599], ? ? ? ? [ 0.0340, ?0.1520, ?0.0534, ?0.1895, ?0.0135], ? ? ? ? [ 0.0149, -0.1131, -0.0643, ?0.0160, -0.2282]])
3、使用值val填充輸入Tensor
w = torch.empty(2, 5) torch.nn.init.constant_(w, val=0.6) Out[80]:? tensor([[0.6000, 0.6000, 0.6000, 0.6000, 0.6000], ? ? ? ? [0.6000, 0.6000, 0.6000, 0.6000, 0.6000]])
3.1、使用0，或者1 填充數(shù)據(jù)
torch.nn.init.zeros_(w) Out[83]:? tensor([[0., 0., 0., 0., 0.], ? ? ? ? [0., 0., 0., 0., 0.], ? ? ? ? [0., 0., 0., 0., 0.]]) torch.nn.init.ones_(w) Out[85]:? tensor([[1., 1., 1., 1., 1.], ? ? ? ? [1., 1., 1., 1., 1.], ? ? ? ? [1., 1., 1., 1., 1.]])
4、用單位矩陣填充二維輸入張量
w = torch.empty(3, 5) torch.nn.init.eye_(w) Out[82]:? tensor([[1., 0., 0., 0., 0.], ? ? ? ? [0., 1., 0., 0., 0.], ? ? ? ? [0., 0., 1., 0., 0.]]) torch.nn.init.zeros_(w)
5、其他常用的初始化方法
torch.nn.init.xavier_normal_(w) Out[87]:? tensor([[ 0.2121, -0.3607, ?0.6342, ?0.1501, ?0.0018], ? ? ? ? [-0.0737, ?0.6971, -0.2628, ?0.1004, -0.0322], ? ? ? ? [ 0.0093, ?0.7139, ?0.0263, ?0.7135, ?0.6979]]) torch.nn.init.xavier_uniform_(w) Out[88]:? tensor([[-0.1675, -0.1284, -0.4856, ?0.5762, -0.6135], ? ? ? ? [ 0.0711, -0.8592, -0.0317, ?0.6801, ?0.4777], ? ? ? ? [ 0.2965, -0.5528, -0.5425, ?0.5166, ?0.5759]]) torch.nn.init.kaiming_normal_(w) Out[89]:? tensor([[ 0.0015, ?0.0681, ?0.5349, -0.0972, -0.8459], ? ? ? ? [ 0.6095, -0.0047, ?0.2383, ?1.1911, -1.2320], ? ? ? ? [-0.7059, -0.0080, ?0.4166, ?0.6686, -0.9375]]) torch.nn.init.kaiming_uniform_(w) Out[90]:? tensor([[-0.2876, ?0.3591, ?0.7630, ?0.5041, -0.6685], ? ? ? ? [-0.6666, ?0.5787, ?0.9411, -0.0918, ?1.0930], ? ? ? ? [-0.5985, -0.9909, ?0.4831, -0.6703, ?0.0351]])
到此這篇關(guān)于python使用torch隨機初始化參數(shù)的文章就介紹到這了,更多相關(guān)torch隨機初始化參數(shù)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
如何徹底解決python?NameError:name?'__file__'?is?not?
這篇文章主要給大家介紹了關(guān)于如何徹底解決python?NameError:name?'__file__'?is?not?defined的相關(guān)資料,文中通過圖文將解決的辦法介紹的非常詳細,需要的朋友可以參考下2023-02-02
Python實現(xiàn)生成多種有規(guī)律的數(shù)字序列
在?Python?編程中,生成數(shù)字序列是一項常見且重要的任務(wù),本文將深入探討如何使用Python中的內(nèi)置函數(shù)、列表推導(dǎo)式、生成器等方式來生成多種有規(guī)律的數(shù)字序列,需要的可以參考下2024-03-03
Python的網(wǎng)絡(luò)編程庫Gevent的安裝及使用技巧
Gevent庫的奧義在于并發(fā)式的高性能網(wǎng)絡(luò)程序設(shè)計支持,這里我們將來講解Python的網(wǎng)絡(luò)編程庫Gevent的安裝及使用技巧,來看一下Gevent支持的多進程程序編寫:2016-06-06
Python深度學(xué)習實戰(zhàn)PyQt5菜單和工具欄功能作用
本文詳細解讀通過 QtDesigner 創(chuàng)建主窗口、菜單欄和工具欄，并以菜單項 “退出” 為例關(guān)聯(lián)系統(tǒng)定義的動作處理方法。有需要的朋友可以借鑒參考下，希望能夠有所幫助2021-10-10
Python獲取系統(tǒng)所有進程PID及進程名稱的方法示例
這篇文章主要介紹了Python獲取系統(tǒng)所有進程PID及進程名稱的方法,涉及Python使用psutil對系統(tǒng)進程進行操作的相關(guān)實現(xiàn)技巧,需要的朋友可以參考下2018-05-05
這篇文章主要介紹了pygame編寫音樂播放器的實現(xiàn)代碼示例，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習或者工作具有一定的參考學(xué)習價值，需要的朋友們下面隨著小編來一起學(xué)習學(xué)習吧2019-11-11
這篇文章主要介紹了Django給表單添加honeypot驗證增加安全性的方法，幫助大家更好的理解和學(xué)習使用Django框架，感興趣的朋友可以了解下2021-05-05
Python中類方法@classmethod和靜態(tài)方法@staticmethod解析
這篇文章主要介紹了Python中類方法@classmethod和靜態(tài)方法@staticmethod解析,python中存在三種方法,分別為常規(guī)方法（定義中傳入self）、@classmethod修飾的類方法、@staticmethod修飾的靜態(tài)方法,,需要的朋友可以參考下2023-08-08
這篇文章主要為大家詳細介紹了python隊列queue模塊的相關(guān)資料，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-04-04
Python貪心算法Greedy Algorithm解決案例小結(jié)
這篇文章主要為大家介紹了Python貪心算法Greedy Algorithm解決案例小結(jié)，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-06-06