pytorch梯度剪裁方式
更新時間：2020年02月04日 14:54:42 作者：wang xiang
今天小編就為大家分享一篇pytorch梯度剪裁方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
我就廢話不多說，看例子吧！
import torch.nn as nn outputs = model(data) loss= loss_fn(outputs, target) optimizer.zero_grad() loss.backward() nn.utils.clip_grad_norm_(model.parameters(), max_norm=20, norm_type=2) optimizer.step()
nn.utils.clip_grad_norm_ 的參數(shù)：
parameters – 一個基于變量的迭代器，會進行梯度歸一化
max_norm – 梯度的最大范數(shù)
norm_type – 規(guī)定范數(shù)的類型，默認為L2
以上這篇pytorch梯度剪裁方式就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了詳解python的并發(fā)編程，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-10-10
這篇文章主要介紹了Python爬蟲之Spider類用法簡單介紹，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-08-08
在Heroku云平臺上部署Python的Django框架的教程
這篇文章主要介紹了在Heroku云平臺上部署Python的Django框架的教程,Heroku云平臺使用了Git版本控制系統(tǒng),所以本教程主要提供了配置所需要的Git腳本,需要的朋友可以參考下2015-04-04
淺析python實現(xiàn)布隆過濾器及Redis中的緩存穿透原理
本文帶你了解了位圖的實現(xiàn)，布隆過濾器的原理及 Python 中的使用，以及布隆過濾器如何應對 Redis 中的緩存穿透，相信你對布隆過濾器已經(jīng)有了一定的認識2021-09-09
要把華強賣瓜做成字符視頻大概分為三步，通過讀取視頻，把每一幀轉(zhuǎn)為字符畫，接著把字符畫表現(xiàn)出來，本文通過實例代碼給大家介紹的非常詳細，需要的朋友參考下吧2021-11-11
這篇文章主要為大家詳細介紹了基于Python QQBot庫的QQ聊天機器人，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-06-06
這篇文章主要介紹了python獲取指定路徑下所有指定后綴文件的方法,涉及Python針對文件與目錄操作的相關(guān)技巧,需要的朋友可以參考下2015-05-05
ipython jupyter notebook中顯示圖像和數(shù)學公式實例
這篇文章主要介紹了ipython jupyter notebook中顯示圖像和數(shù)學公式實例，具有很好的參考價值，希望對有所幫助。一起跟隨小編過來看看吧2020-04-04
本文將介紹如何使用Python操作MongoDB,包括安裝MongoDB、安裝Python的MongoDB驅(qū)動程序、連接到MongoDB、插入、查詢、更新和刪除數(shù)據(jù),以及示例代碼2023-11-11
淺析python中while循環(huán)和for循環(huán)
在本篇文章里小編給各位整理的是關(guān)于python中while和for循環(huán)知識點詳解，有興趣的朋友們可以學習下。2019-11-11