在pytorch訓(xùn)練過程中可以通過下面這一句代碼來打印當(dāng)前學(xué)習(xí)率

print(net.optimizer.state_dict()['param_groups'][0]['lr'])

補(bǔ)充知識(shí)：Pytorch：代碼實(shí)現(xiàn)不同層設(shè)置不同的學(xué)習(xí)率，選擇性學(xué)習(xí)某些層參數(shù)

1，如何動(dòng)態(tài)調(diào)整學(xué)習(xí)率

在使用pytorch進(jìn)行模型訓(xùn)練時(shí)，經(jīng)常需要隨著訓(xùn)練的進(jìn)行逐漸降低學(xué)習(xí)率，在pytorch中給出了非常方面的方法：

假設(shè)我們定義了一個(gè)優(yōu)化器：

import torch
import torch.nn as nn
optimizer = torch.optim(model.parameters(), lr = 0.01, momentum = 0.9)

該優(yōu)化器的初始化學(xué)習(xí)為0.01，

如果我們學(xué)習(xí)每個(gè)"n" 個(gè)epoch把學(xué)習(xí)率降低為原來的0.9倍，則需要聲明一個(gè)學(xué)習(xí)率調(diào)節(jié)器：

torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1)

其中：

optimizer: 前面聲明的優(yōu)化器；

step_size: 每step_size個(gè)epoch學(xué)習(xí)率降低為原來的gamma倍，

last_epoch: 當(dāng)前所處的epoch

例如：

# Assuming optimizer uses lr = 0.05 for all groups
 # lr = 0.05  if epoch < 30
 # lr = 0.005 if 30 <= epoch < 60
 # lr = 0.0005 if 60 <= epoch < 90
 # ...
 scheduler = StepLR(optimizer, step_size=30, gamma=0.1)
 for epoch in range(100):
  scheduler.step()
  train(...)
  validate(...)

另外其他常用的更新策略類似：

torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma, last_epoch=-1)

torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max, eta_min=0, last_epoch=-1)

torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10, verbose=False, threshold=0.0001, threshold_mode='rel', cooldown=0, min_lr=0, eps=1e-08)

torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=-1)

2，如何選擇性學(xué)習(xí)某些參數(shù)

對(duì)于我們現(xiàn)有的模型model，通過調(diào)整參數(shù)的requires_grad 屬性控制該模型是否參與求導(dǎo)運(yùn)算

for name, param in model.named_parameters():
 if param.requires_grad:
  print("requires_grad: True ", name)
 else:
  print("requires_grad: False ", name)

如果模型中包含多個(gè)子模塊，可用通過

sub_block = model.children()

獲取該模塊，然后通過迭代索引的方式獲取參數(shù)：

for name, param in sub_block.named_parameters（）

以上這篇pytorch實(shí)現(xiàn)查看當(dāng)前學(xué)習(xí)率就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評(píng)論