pytorch 優(yōu)化器(optim)不同參數(shù)組,不同學(xué)習(xí)率設(shè)置的操作
optim 的基本使用
for do:
1. 計(jì)算loss
2. 清空梯度
3. 反傳梯度
4. 更新參數(shù)
optim的完整流程
cifiron = nn.MSELoss() optimiter = torch.optim.SGD(net.parameters(),lr=0.01,momentum=0.9) for i in range(iters): out = net(inputs) loss = cifiron(out,label) optimiter.zero_grad() # 清空之前保留的梯度信息 loss.backward() # 將mini_batch 的loss 信息反傳回去 optimiter.step() # 根據(jù) optim參數(shù) 和 梯度 更新參數(shù) w.data -= w.grad*lr
網(wǎng)絡(luò)參數(shù) 默認(rèn)使用統(tǒng)一的 優(yōu)化器參數(shù)
如下設(shè)置 網(wǎng)絡(luò)全局參數(shù) 使用統(tǒng)一的優(yōu)化器參數(shù)
optimiter = torch.optim.Adam(net.parameters(),lr=0.01,momentum=0.9)
如下設(shè)置將optimizer的可更新參數(shù)分為不同的三組,每組使用不同的策略
optimizer = torch.optim.SGD([ {'params': other_params}, {'params': first_params, 'lr': 0.01*args.learning_rate}, {'params': second_params, 'weight_decay': args.weight_decay}], lr=args.learning_rate, momentum=args.momentum, )
我們追溯一下構(gòu)造Optim的過(guò)程
為了更好的看整個(gè)過(guò)程,去掉了很多 條件判斷 語(yǔ)句,如 >0 <0
# 首先是 子類Adam 的構(gòu)造函數(shù) class Adam(Optimizer): def __init__(self, params, lr=1e-3, betas=(0.9, 0.999), eps=1e-8, weight_decay=0, amsgrad=False): defaults = dict(lr=lr, betas=betas, eps=eps, weight_decay=weight_decay, amsgrad=amsgrad) ''' 構(gòu)造了 參數(shù)params,可以有兩種傳入格式,分別對(duì)應(yīng) 1. 全局參數(shù) net.parameters() 2. 不同參數(shù)組 [{'params': other_params}, {'params': first_params, 'lr': 0.1*lr}] 和 <全局> 的默認(rèn)參數(shù)字典defaults ''' # 然后調(diào)用 父類Optimizer 的構(gòu)造函數(shù) super(Adam, self).__init__(params, defaults) # 看一下 Optim類的構(gòu)造函數(shù) 只有兩個(gè)輸入 params 和 defaults class Optimizer(object): def __init__(self, params, defaults): torch._C._log_api_usage_once("python.optimizer") self.defaults = defaults self.state = defaultdict(dict) self.param_groups = [] # 自身構(gòu)造的參數(shù)組,每個(gè)組使用一套參數(shù) param_groups = list(params) if len(param_groups) == 0: raise ValueError("optimizer got an empty parameter list") # 如果傳入的net.parameters(),將其轉(zhuǎn)換為 字典 if not isinstance(param_groups[0], dict): param_groups = [{'params': param_groups}] for param_group in param_groups: #add_param_group 這個(gè)函數(shù),主要是處理一下每個(gè)參數(shù)組其它屬性參數(shù)(lr,eps) self.add_param_group(param_group) def add_param_group(self, param_group): # 如果當(dāng)前 參數(shù)組中 不存在默認(rèn)參數(shù)的設(shè)置,則使用全局參數(shù)屬性進(jìn)行覆蓋 ''' [{'params': other_params}, {'params': first_params, 'lr': 0.1*lr}] 如第一個(gè)參數(shù)組 只提供了參數(shù)列表,沒(méi)有其它的參數(shù)屬性,則使用全局屬性覆蓋,第二個(gè)參數(shù)組 則設(shè)置了自身的lr為全局 (0.1*lr) ''' for name, default in self.defaults.items(): if default is required and name not in param_group: raise ValueError("parameter group didn't specify a value of required optimization parameter " + name) else: param_group.setdefault(name, default) # 判斷 是否有一個(gè)參數(shù) 出現(xiàn)在不同的參數(shù)組中,否則會(huì)報(bào)錯(cuò) param_set = set() for group in self.param_groups: param_set.update(set(group['params'])) if not param_set.isdisjoint(set(param_group['params'])): raise ValueError("some parameters appear in more than one parameter group") # 然后 更新自身的參數(shù)組中 self.param_groups.append(param_group)
網(wǎng)絡(luò)更新的過(guò)程(Step)
具體實(shí)現(xiàn)
1、我們拿SGD舉例,首先看一下,optim.step 更新函數(shù)的具體操作
2、可見(jiàn),for group in self.param_groups,optim中存在一個(gè)param_groups的東西,其實(shí)它就是我們傳進(jìn)去的param_list,比如我們上面?zhèn)鬟M(jìn)去一個(gè)長(zhǎng)度為3的param_list,那么 len(optimizer.param_groups)==3 , 而每一個(gè) group 又是一個(gè)dict, 其中包含了 每組參數(shù)所需的必要參數(shù) optimizer.param_groups:長(zhǎng)度2的list,optimizer.param_groups[0]:長(zhǎng)度6的字典
3、然后取回每組 所需更新的參數(shù)for p in group['params'] ,根據(jù)設(shè)置 計(jì)算其 正則化 及 動(dòng)量累積,然后更新參數(shù) w.data -= w.grad*lr
def step(self, closure=None): loss = None if closure is not None: loss = closure() for group in self.param_groups: # 本組參數(shù)更新所必需的 參數(shù)設(shè)置 weight_decay = group['weight_decay'] momentum = group['momentum'] dampening = group['dampening'] nesterov = group['nesterov'] for p in group['params']: # 本組所有需要更新的參數(shù) params if p.grad is None: # 如果沒(méi)有梯度 則直接下一步 continue d_p = p.grad.data # 正則化 及 動(dòng)量累積 操作 if weight_decay != 0: d_p.add_(weight_decay, p.data) if momentum != 0: param_state = self.state[p] if 'momentum_buffer' not in param_state: buf = param_state['momentum_buffer'] = torch.clone(d_p).detach() else: buf = param_state['momentum_buffer'] buf.mul_(momentum).add_(1 - dampening, d_p) if nesterov: d_p = d_p.add(momentum, buf) else: d_p = buf # 當(dāng)前組 學(xué)習(xí)參數(shù) 更新 w.data -= w.grad*lr p.data.add_(-group['lr'], d_p) return loss
如何獲取指定參數(shù)
1、可以使用model.named_parameters() 取回所有參數(shù),然后設(shè)定自己的篩選規(guī)則,將參數(shù)分組
2、取回分組參數(shù)的id map(id, weight_params_list)
3、取回剩余分特殊處置參數(shù)的id other_params = list(filter(lambda p: id(p) not in params_id, all_params))
all_params = model.parameters() weight_params = [] quant_params = [] # 根據(jù)自己的篩選規(guī)則 將所有網(wǎng)絡(luò)參數(shù)進(jìn)行分組 for pname, p in model.named_parameters(): if any([pname.endswith(k) for k in ['cw', 'dw', 'cx', 'dx', 'lamb']]): quant_params += [p] elif ('conv' or 'fc' in pname and 'weight' in pname): weight_params += [p] # 取回分組參數(shù)的id params_id = list(map(id, weight_params)) + list(map(id, quant_params)) # 取回剩余分特殊處置參數(shù)的id other_params = list(filter(lambda p: id(p) not in params_id, all_params)) # 構(gòu)建不同學(xué)習(xí)參數(shù)的優(yōu)化器 optimizer = torch.optim.SGD([ {'params': other_params}, {'params': quant_params, 'lr': 0.1*args.learning_rate}, {'params': weight_params, 'weight_decay': args.weight_decay}], lr=args.learning_rate, momentum=args.momentum, )
獲取指定層的參數(shù)id
# # 以層為單位,為不同層指定不同的學(xué)習(xí)率 # ## 提取指定層對(duì)象 special_layers = t.nn.ModuleList([net.classifiter[0], net.classifiter[3]]) # ## 獲取指定層參數(shù)id special_layers_params = list(map(id, special_layers.parameters())) print(special_layers_params) # ## 獲取非指定層的參數(shù)id base_params = filter(lambda p: id(p) not in special_layers_params, net.parameters()) optimizer = t.optim.SGD([{'params': base_params}, {'params': special_layers.parameters(), 'lr': 0.01}], lr=0.001)
補(bǔ)充:【pytorch】篩選凍結(jié)部分網(wǎng)絡(luò)層參數(shù)同時(shí)設(shè)置有參數(shù)組的時(shí)候該怎么辦?
在進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練的時(shí)候,常常需要凍結(jié)部分網(wǎng)絡(luò)層的參數(shù),不想讓他們回傳梯度。這個(gè)其實(shí)很簡(jiǎn)單,其他博客里教程很多~
那如果,我想對(duì)不同的參數(shù)設(shè)置不同的學(xué)習(xí)率呢?這個(gè)其他博客也有,設(shè)置參數(shù)組就好啦,優(yōu)化器就可以分別設(shè)置學(xué)習(xí)率了。
那么,如果我同時(shí)想凍結(jié)參數(shù)和設(shè)置不同的學(xué)習(xí)率呢?是不是把兩個(gè)人給合起來(lái)就好了?好的那你試試吧看看行不行。
我最近工作中需要對(duì)two-stream的其中的一只進(jìn)行凍結(jié),并且設(shè)置不同的學(xué)習(xí)率。下面記錄一下我踩的坑。
首先,我們需要篩選所需要的層。我想要把名字里含有特定符號(hào)的層給篩選出來(lái)。在這里我要強(qiáng)烈推薦這個(gè)利用正則表達(dá)式來(lái)進(jìn)行字符串篩選的方式!
import re str = 'assdffggggg' word = 'a' a = [m.start() for m in re.finditer(word, str)]
這里的a是一個(gè)列表,它里面包含的是word在字符串str中所在的位置,這里自然就是0了。
在進(jìn)行網(wǎng)絡(luò)層參數(shù)凍結(jié)的時(shí)候,網(wǎng)上會(huì)有兩種for循環(huán):
for name, p in net.named_parameters(): for p in net.parameters():
這兩種都行,但是對(duì)于需要對(duì)特定名稱的網(wǎng)絡(luò)層進(jìn)行凍結(jié)的時(shí)候就需要選第一個(gè)啦,因?yàn)槲覀冃枰玫絽?shù)的"name"屬性。
下面就是簡(jiǎn)單的篩選和凍結(jié),和其他教程里面的一樣:
word1 = 'seg' for name, p in decode_net.named_parameters(): str = name a = [m.start() for m in re.finditer(word1, str)] if a: #列表a不為空的話就設(shè)置回傳的標(biāo)識(shí)為False p.requires_grad = False else: p.requires_grad = True #if p.requires_grad:#這個(gè)判斷可以打印出需要回傳梯度的層的名稱 #print(name)
到這里我們就完成了網(wǎng)絡(luò)參數(shù)的凍結(jié)。我真正想要分享的在下面這個(gè)部分??!看了四天的大坑!
凍結(jié)部分層的參數(shù)之后,我們?cè)谑褂脙?yōu)化器的時(shí)候就需要先把不需要回傳梯度的參數(shù)給過(guò)濾掉,如果不過(guò)濾就會(huì)報(bào)錯(cuò),優(yōu)化器就會(huì)抱怨你怎么把不需要優(yōu)化的參數(shù)給放進(jìn)去了balabala的。所以我們加一個(gè):
optimizer = optim.SGD( filter(lambda p: p.requires_grad, net.parameters()), # 記住一定要加上filter(),不然會(huì)報(bào)錯(cuò) lr=0.01, weight_decay=1e-5, momentum=0.9)
到這里也沒(méi)有任何的問(wèn)題。但是!我做分割的encode部分是pre-trained的resnet,這部分我的學(xué)習(xí)率不想和我decode的部分一樣??!不然我用pre-trained的有啥用??so,我劃分了一個(gè)參數(shù)組:
base_params_id = list(map(id, net.conv1.parameters())) + list(map(id,net.bn1.parameters()))+\ list(map(id,net.layer1.parameters())) + list(map(id,net.layer2.parameters())) \ + list(map(id,net.layer3.parameters())) + list(map(id,net.layer4.parameters())) new_params = filter(lambda p: id(p) not in base_params_id , net.parameters()) base_params = filter(lambda p: id(p) in base_params_id, net.parameters())
好了,那么這個(gè)時(shí)候,如果我先不考慮過(guò)濾的話,優(yōu)化器的設(shè)置應(yīng)該是這樣的:
optimizerG = optim.SGD([{'params': base_params, 'lr': 1e-4}, {'params': new_params}], lr = opt.lr, momentum = 0.9, weight_decay=0.0005)
那么,按照百度出來(lái)的教程,我下一步要加上過(guò)濾器的話是不是應(yīng)該:
optimizerG = optim.SGD( filter(lambda p: p.requires_grad, net.parameters()), [{'params': base_params, 'lr': 1e-4}, {'params': new_params}], lr = opt.lr, momentum = 0.9, weight_decay=0.0005)
好的看起來(lái)沒(méi)有任何的問(wèn)題,但是運(yùn)行的時(shí)候就開(kāi)始報(bào)錯(cuò):
就是這里!!一個(gè)剛開(kāi)始用pytorch的我!什么都不懂!然后我看了四天?。∽詈蟛殚喠斯俜轿臋n才知道為什么報(bào)錯(cuò)。以后看到這種提示init函數(shù)錯(cuò)誤的都要記得去官方doc上看說(shuō)明。
這里其實(shí)寫(xiě)的很清楚了,SGD優(yōu)化器每個(gè)位置都是什么參數(shù)。到這里應(yīng)該已經(jīng)能看出來(lái)哪里有問(wèn)題了吧?
optimizerG = optim.SGD( filter(lambda p: p.requires_grad, net.parameters()), [{'params': base_params, 'lr': 1e-4}, {'params': new_params}], lr = opt.lr, momentum = 0.9, weight_decay=0.0005)
看我的SGD函數(shù)每個(gè)參數(shù)的位置,第一個(gè)放的是過(guò)濾器,第二個(gè)是參數(shù)組,然后是lr,對(duì)比官方的定義:第一個(gè)參數(shù),第二個(gè)是lr等等。
所以錯(cuò)誤就在這里!我第一個(gè)位置放了過(guò)濾器!第二個(gè)位置是參數(shù)組!所以他把過(guò)濾器當(dāng)作參數(shù),參數(shù)組當(dāng)作學(xué)習(xí)率,然后就報(bào)錯(cuò)說(shuō)lr接受到很多個(gè)值……
仔細(xì)去看其他博客的教程,基本是只有分參數(shù)組的優(yōu)化器設(shè)置和凍結(jié)層了之后優(yōu)化器的設(shè)置。沒(méi)有又分參數(shù)組又凍結(jié)部分層參數(shù)的設(shè)置。所以設(shè)置過(guò)濾器把不需要優(yōu)化的參數(shù)給踢掉這個(gè)步驟還是要的,但是在現(xiàn)在這種情況下不應(yīng)該放在SGD里!
new_params = filter(lambda p: id(p) not in base_params_id and p.requires_grad,\ netG.parameters()) base_params = filter(lambda p: id(p) in base_params_id, netG.parameters())
應(yīng)該在劃分參數(shù)組的時(shí)候就添加過(guò)濾器,將不需要回傳梯度的參數(shù)過(guò)濾掉(這里就是直接篩選p.requires_grad即可)。如此便可以順利凍結(jié)參數(shù)并且設(shè)置參數(shù)組啦!
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教。
相關(guān)文章
Python實(shí)現(xiàn)代碼統(tǒng)計(jì)工具
這篇文章主要為大家詳細(xì)介紹了Python實(shí)現(xiàn)代碼統(tǒng)計(jì)工具,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2019-09-09python wordcloud庫(kù)實(shí)例講解使用方法
這篇文章主要介紹了python wordcloud庫(kù)實(shí)例,詞云通過(guò)以詞語(yǔ)為基本單位,更加直觀和藝術(shù)地展示文本。wordcloud是優(yōu)秀的詞云展示的python第三方庫(kù)2022-12-12Linux(Redhat)安裝python3.6虛擬環(huán)境(推薦)
這篇文章主要介紹了Linux(Redhat)安裝python3.6虛擬環(huán)境,非常不錯(cuò),具有參考借鑒價(jià)值 ,需要的朋友可以參考下2018-05-05python版本坑:md5例子(python2與python3中md5區(qū)別)
這篇文章主要介紹了python版本坑:md5例子(python2與python3中md5區(qū)別),需要的朋友可以參考下2017-06-06jupyter-lab設(shè)置自啟動(dòng)及遠(yuǎn)程連接開(kāi)發(fā)環(huán)境
本文主要介紹了jupyter-lab設(shè)置自啟動(dòng)及遠(yuǎn)程連接開(kāi)發(fā)環(huán)境,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02Linux CentOS Python開(kāi)發(fā)環(huán)境搭建教程
這篇文章主要介紹了Linux CentOS Python開(kāi)發(fā)環(huán)境搭建方法,非常不錯(cuò),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2018-11-11基于Python實(shí)現(xiàn)視頻的人臉融合功能
這篇文章主要介紹了用Python快速實(shí)現(xiàn)視頻的人臉融合功能,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-06-06python讀取并定位excel數(shù)據(jù)坐標(biāo)系詳解
這篇文章主要介紹了python讀取并定位excel數(shù)據(jù)坐標(biāo)系詳解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-06-06