pytorch 求網(wǎng)絡(luò)模型參數(shù)實(shí)例
更新時(shí)間：2019年12月30日 10:25:02 作者：月亮是藍(lán)色
今天小編就為大家分享一篇pytorch 求網(wǎng)絡(luò)模型參數(shù)實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
用pytorch訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)時(shí)，我們通常會(huì)很關(guān)心模型的參數(shù)總量。下面分別介紹來(lái)兩種方法求模型參數(shù)
一 .求得每一層的模型參數(shù)，然后自然的可以計(jì)算出總的參數(shù)。
1.先初始化一個(gè)網(wǎng)絡(luò)模型model
比如我這里是 model=cliqueNet(里面是些初始化的參數(shù)）
2.調(diào)用model的Parameters類(lèi)獲取參數(shù)列表
一個(gè)典型的操作就是將參數(shù)列表傳入優(yōu)化器里。如下
optimizer = optim.Adam(model.parameters(), lr=opt.lr)
言歸正傳，繼續(xù)回到參數(shù)里面，參數(shù)在網(wǎng)絡(luò)里面就是variable,下面分別求每層的尺寸大小和個(gè)數(shù)。
函數(shù)get_number_of_param( ) 里面的參數(shù)就是剛才第一步初始化的model
def get_number_of_param(model):
"""get the number of param for every element"""
count = 0
for param in model.parameters():
param_size = param.size()
count_of_one_param = 1
for dis in param_size:
count_of_one_param *= dis
print(param.size(), count_of_one_param)
count += count_of_one_param
print(count)
print('total number of the model is %d'%count)
再來(lái)看看結(jié)果：
torch.Size([64, 1, 3, 3]) 576 576 torch.Size([64]) 64 640 torch.Size([6, 36, 64, 3, 3]) 124416 125056 torch.Size([30, 36, 36, 3, 3]) 349920 474976 torch.Size([12, 36]) 432 475408 torch.Size([6, 36, 216, 3, 3]) 419904 895312 torch.Size([30, 36, 36, 3, 3]) 349920 1245232 torch.Size([12, 36]) 432 1245664 torch.Size([6, 36, 216, 3, 3]) 419904 1665568 torch.Size([30, 36, 36, 3, 3]) 349920 2015488 torch.Size([12, 36]) 432 2015920 torch.Size([6, 36, 216, 3, 3]) 419904 2435824 torch.Size([30, 36, 36, 3, 3]) 349920 2785744 torch.Size([12, 36]) 432 2786176 torch.Size([216, 216, 1, 1]) 46656 2832832 torch.Size([216]) 216 2833048 torch.Size([108, 216]) 23328 2856376 torch.Size([108]) 108 2856484 torch.Size([216, 108]) 23328 2879812 torch.Size([216]) 216 2880028 torch.Size([216, 216, 1, 1]) 46656 2926684 torch.Size([216]) 216 2926900 torch.Size([108, 216]) 23328 2950228 torch.Size([108]) 108 2950336 torch.Size([216, 108]) 23328 2973664 torch.Size([216]) 216 2973880 torch.Size([216, 216, 1, 1]) 46656 3020536 torch.Size([216]) 216 3020752 torch.Size([108, 216]) 23328 3044080 torch.Size([108]) 108 3044188 torch.Size([216, 108]) 23328 3067516 torch.Size([216]) 216 3067732 torch.Size([140, 280, 1, 1]) 39200 3106932 torch.Size([140]) 140 3107072 torch.Size([216, 432, 1, 1]) 93312 3200384 torch.Size([216]) 216 3200600 torch.Size([216, 432, 1, 1]) 93312 3293912 torch.Size([216]) 216 3294128 torch.Size([9, 572, 3, 3]) 46332 3340460 torch.Size([9]) 9 3340469 total number of the model is 3340469
可以通過(guò)計(jì)算驗(yàn)證一下，發(fā)現(xiàn)參數(shù)與網(wǎng)絡(luò)是一致的。
二：一行代碼就可以搞定參數(shù)總個(gè)數(shù)問(wèn)題
2.1 先來(lái)看看torch.tensor.numel( )這個(gè)函數(shù)的功能就是求tensor中的元素個(gè)數(shù)，在網(wǎng)絡(luò)里面每層參數(shù)就是多維數(shù)組組成的tensor。
實(shí)際上就是求多維數(shù)組的元素個(gè)數(shù)?？创a。
print('cliqueNet parameters:', sum(param.numel() for param in model.parameters()))
當(dāng)然上面代碼中的model還是上面初始化的網(wǎng)絡(luò)模型。
看看兩種的計(jì)算結(jié)果
torch.Size([64, 1, 3, 3]) 576 576 torch.Size([64]) 64 640 torch.Size([6, 36, 64, 3, 3]) 124416 125056 torch.Size([30, 36, 36, 3, 3]) 349920 474976 torch.Size([12, 36]) 432 475408 torch.Size([6, 36, 216, 3, 3]) 419904 895312 torch.Size([30, 36, 36, 3, 3]) 349920 1245232 torch.Size([12, 36]) 432 1245664 torch.Size([6, 36, 216, 3, 3]) 419904 1665568 torch.Size([30, 36, 36, 3, 3]) 349920 2015488 torch.Size([12, 36]) 432 2015920 torch.Size([6, 36, 216, 3, 3]) 419904 2435824 torch.Size([30, 36, 36, 3, 3]) 349920 2785744 torch.Size([12, 36]) 432 2786176 torch.Size([216, 216, 1, 1]) 46656 2832832 torch.Size([216]) 216 2833048 torch.Size([108, 216]) 23328 2856376 torch.Size([108]) 108 2856484 torch.Size([216, 108]) 23328 2879812 torch.Size([216]) 216 2880028 torch.Size([216, 216, 1, 1]) 46656 2926684 torch.Size([216]) 216 2926900 torch.Size([108, 216]) 23328 2950228 torch.Size([108]) 108 2950336 torch.Size([216, 108]) 23328 2973664 torch.Size([216]) 216 2973880 torch.Size([216, 216, 1, 1]) 46656 3020536 torch.Size([216]) 216 3020752 torch.Size([108, 216]) 23328 3044080 torch.Size([108]) 108 3044188 torch.Size([216, 108]) 23328 3067516 torch.Size([216]) 216 3067732 torch.Size([140, 280, 1, 1]) 39200 3106932 torch.Size([140]) 140 3107072 torch.Size([216, 432, 1, 1]) 93312 3200384 torch.Size([216]) 216 3200600 torch.Size([216, 432, 1, 1]) 93312 3293912 torch.Size([216]) 216 3294128 torch.Size([9, 572, 3, 3]) 46332 3340460 torch.Size([9]) 9 3340469 total number of the model is 3340469 cliqueNet parameters: 3340469
可以看出兩種計(jì)算出來(lái)的是一模一樣的。
以上這篇pytorch 求網(wǎng)絡(luò)模型參數(shù)實(shí)例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
對(duì)matplotlib改變colorbar位置和方向的方法詳解
今天小編就為大家分享一篇對(duì)matplotlib改變colorbar位置和方向的方法詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-12-12
Python使用socket模塊實(shí)現(xiàn)簡(jiǎn)單tcp通信
這篇文章主要介紹了Python使用socket模塊實(shí)現(xiàn)簡(jiǎn)單tcp通信,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-08-08
anaconda3:conda not found報(bào)錯(cuò)問(wèn)題解決
這篇文章主要給大家介紹了關(guān)于anaconda3:conda not found報(bào)錯(cuò)問(wèn)題解決的相關(guān)資料,Anaconda指的是一個(gè)開(kāi)源的Python發(fā)行版本,其包含了conda、Python等180多個(gè)科學(xué)包及其依賴(lài)項(xiàng),需要的朋友可以參考下2023-10-10
Python實(shí)戰(zhàn)小程序利用matplotlib模塊畫(huà)圖代碼分享
這篇文章主要介紹了Python實(shí)戰(zhàn)小程序利用matplotlib模塊畫(huà)圖代碼分享，具有一定借鑒價(jià)值，需要的朋友可以了解下。2017-12-12
Python爬蟲(chóng)HTPP請(qǐng)求方法有哪些
在本篇內(nèi)容里小編給大家整理的是關(guān)于Python爬蟲(chóng)HTPP請(qǐng)求方法以及相關(guān)知識(shí)點(diǎn)，需要的朋友們可以參考下。2020-06-06
本文主要介紹了Python自動(dòng)發(fā)郵件腳本的相關(guān)知識(shí)。具有很好的參考價(jià)值，下面跟著小編一起來(lái)看下吧2017-03-03
這篇文章主要介紹了利用Python爬蟲(chóng)爬取城市公交站點(diǎn)的數(shù)據(jù)，文中的代碼具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-12-12
這篇文章主要為大家介紹了Python區(qū)塊鏈交易類(lèi)的示例詳解教程，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-05-05
TensorFlow梯度求解tf.gradients實(shí)例
今天小編就為大家分享一篇TensorFlow梯度求解tf.gradients實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-02-02
Python使用Flask框架同時(shí)上傳多個(gè)文件的方法
這篇文章主要介紹了Python使用Flask框架同時(shí)上傳多個(gè)文件的方法,實(shí)例分析了Python中Flask框架操作文件實(shí)現(xiàn)上傳的技巧,需要的朋友可以參考下2015-03-03