Pytorch 如何訓(xùn)練網(wǎng)絡(luò)時調(diào)整學(xué)習(xí)率
為了得到更好的網(wǎng)絡(luò)，學(xué)習(xí)率通常是要調(diào)整的，即剛開始用較大的學(xué)習(xí)率來加快網(wǎng)絡(luò)的訓(xùn)練，之后為了提高精確度，需要將學(xué)習(xí)率調(diào)低一點。
如圖所示，步長（學(xué)習(xí)率）太大容易跨過最優(yōu)解。
代碼如下：
表示每20個epoch學(xué)習(xí)率調(diào)整為之前的10%
optimizer = optim.SGD(gan.parameters(),
lr=0.1,
momentum=0.9,
weight_decay=0.0005)
lr = optimizer.param_groups[0]['lr'] * (0.1 ** (epoch // 20))
for param_group in optimizer.param_groups:
param_group['lr'] = lr
print(optimizer.param_groups[0]['lr'])
補充：Pytorch 在訓(xùn)練過程中實現(xiàn)學(xué)習(xí)率衰減
在網(wǎng)絡(luò)的訓(xùn)練過程中，學(xué)習(xí)率是一個非常重要的超參數(shù)，它直接影響了網(wǎng)絡(luò)的訓(xùn)練效果。
但過大的學(xué)習(xí)率將會導(dǎo)致網(wǎng)絡(luò)無法達到局部最小點，使得訓(xùn)練結(jié)果震蕩，準確率無法提升，而過小的學(xué)習(xí)率將會導(dǎo)致擬合速度過慢，浪費大量的時間和算力。
因此我們希望在訓(xùn)練之初能夠有較大的學(xué)習(xí)率加快擬合的速率，之后降低學(xué)習(xí)率，使得網(wǎng)絡(luò)能夠更好的達到局部最小，提高網(wǎng)絡(luò)的效率。
torch.optim.lr_scheduler.LambdaLR（）
torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=-1)
其中optimizer就是包裝好的優(yōu)化器， lr_lambda即為操作學(xué)習(xí)率的函數(shù)。
將每個參數(shù)組的學(xué)習(xí)速率設(shè)置為初始的lr乘以一個給定的函數(shù)。
當last_epoch=-1時，將初始lr設(shè)置為lr。
torch.optim.lr_scheduler.StepLR（）
torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1)
其中optimizer就是包裝好的優(yōu)化器，step_size (int) 為學(xué)習(xí)率衰減期，指幾個epoch衰減一次。gamma為學(xué)習(xí)率衰減的乘積因子。 默認為0.1 。當last_epoch=-1時，將初始lr設(shè)置為lr。
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要為大家詳細介紹了pygame實現(xiàn)簡單五子棋游戲，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下<BR>2022-01-01
在本篇內(nèi)容里小編給各位分享了關(guān)于python如何爬取動態(tài)網(wǎng)站的相關(guān)知識點內(nèi)容，有興趣的朋友們可以參考下。2020-09-09
Python分支結(jié)構(gòu)和循環(huán)結(jié)構(gòu)示例代碼
在Python中,分支結(jié)構(gòu)通過if、elif和else關(guān)鍵字來實現(xiàn)條件判斷,在使用if語句時,程序會根據(jù)條件表達式的真假執(zhí)行相應(yīng)的代碼塊,這篇文章主要介紹了Python分支結(jié)構(gòu)和循環(huán)結(jié)構(gòu),需要的朋友可以參考下2024-03-03
這篇文章主要介紹了使用ITK-SNAP進行摳圖操作并保存mask的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-07-07
Tensorflow實現(xiàn)神經(jīng)網(wǎng)絡(luò)擬合線性回歸
這篇文章主要為大家詳細介紹了Tensorflow實現(xiàn)神經(jīng)網(wǎng)絡(luò)擬合線性回歸，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-07-07
Python實現(xiàn)復(fù)雜對象轉(zhuǎn)JSON的方法示例
這篇文章主要介紹了Python實現(xiàn)復(fù)雜對象轉(zhuǎn)JSON的方法,結(jié)合具體實例形式分析了Python針對json轉(zhuǎn)換的相關(guān)操作技巧,需要的朋友可以參考下2017-06-06
淺談對pytroch中torch.autograd.backward的思考
這篇文章主要介紹了對pytroch中torch.autograd.backward的思考，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-12-12
MYSQL是支持把圖片存入數(shù)據(jù)庫的，也相應(yīng)的有一個專門的字段BLOB (Binary Large Object)，即較大的二進制對象字段，看下面代碼2013-12-12
python3實現(xiàn)mysql導(dǎo)出excel的方法
這篇文章主要介紹了python3實現(xiàn)mysql導(dǎo)出excel的方法，本文通過實例代碼給大家介紹的非常詳細，具有一定的參考借鑒價值 ,需要的朋友可以參考下2019-07-07
這篇文章主要介紹了python如何為list實現(xiàn)find方法，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-05-05