Pytorch根據(jù)layers的name凍結訓練方式
更新時間:2020年01月06日 09:27:31 作者:木有感情的機器人
今天小編就為大家分享一篇Pytorch根據(jù)layers的name凍結訓練方式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
使用model.named_parameters()可以輕松搞定,
model.cuda() # ######################################## Froze some layers to fine-turn the model ######################## for name, param in model.named_parameters(): # 帶有參數(shù)名的模型的各個層包含的參數(shù)遍歷 if 'out' or 'merge' or 'before_regress' in name: # 判斷參數(shù)名字符串中是否包含某些關鍵字 continue param.requires_grad = False # ############################################################################################################# optimizer = optim.SGD(filter(lambda p: p.requires_grad, model.parameters()), lr=opt.learning_rate * args.world_size, momentum=0.9, weight_decay=5e-4)
以上這篇Pytorch根據(jù)layers的name凍結訓練方式就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關文章
django寫用戶登錄判定并跳轉(zhuǎn)制定頁面的實例
今天小編就為大家分享一篇django寫用戶登錄判定并跳轉(zhuǎn)制定頁面的實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08Pycharm及python安裝詳細步驟及PyCharm配置整理(推薦)
這篇文章主要介紹了Pycharm及python安裝詳細步驟以及PyCharm配置整理,本文通過圖文并茂的形式給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-04-04python中scipy.stats產(chǎn)生隨機數(shù)實例講解
在本篇文章里小編給大家分享的是一篇關于python中scipy.stats產(chǎn)生隨機數(shù)實例講解內(nèi)容,有需要的朋友們可以學習下。2021-02-02python調(diào)用機器喇叭發(fā)出蜂鳴聲(Beep)的方法
這篇文章主要介紹了python調(diào)用機器喇叭發(fā)出蜂鳴聲(Beep)的方法,實例分析了Python調(diào)用winsound模塊的使用技巧,需要的朋友可以參考下2015-03-03