欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Pytorch反向求導(dǎo)更新網(wǎng)絡(luò)參數(shù)的方法

 更新時間：2019年08月17日 17:57:56   作者：tsq292978891  
今天小編就為大家分享一篇Pytorch反向求導(dǎo)更新網(wǎng)絡(luò)參數(shù)的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

方法一：手動計算變量的梯度，然后更新梯度

import torch
from torch.autograd import Variable
# 定義參數(shù)
w1 = Variable(torch.FloatTensor([1,2,3]),requires_grad = True)
# 定義輸出
d = torch.mean(w1)
# 反向求導(dǎo)
d.backward()
# 定義學(xué)習(xí)率等參數(shù)
lr = 0.001
# 手動更新參數(shù)
w1.data.zero_() # BP求導(dǎo)更新參數(shù)之前,需先對導(dǎo)數(shù)置0
w1.data.sub_(lr*w1.grad.data)

一個網(wǎng)絡(luò)中通常有很多變量,如果按照上述的方法手動求導(dǎo),然后更新參數(shù),是很麻煩的,這個時候可以調(diào)用torch.optim

方法二：使用torch.optim

import torch
from torch.autograd import Variable
import torch.nn as nn
import torch.optim as optim
# 這里假設(shè)我們定義了一個網(wǎng)絡(luò),為net
steps = 10000
# 定義一個optim對象
optimizer = optim.SGD(net.parameters(), lr = 0.01)
# 在for循環(huán)中更新參數(shù)
for i in range(steps):
 optimizer.zero_grad() # 對網(wǎng)絡(luò)中參數(shù)當前的導(dǎo)數(shù)置0
 output = net(input) # 網(wǎng)絡(luò)前向計算
 loss = criterion(output, target) # 計算損失
 loss.backward() #　得到模型中參數(shù)對當前輸入的梯度
 optimizer.step() # 更新參數(shù)

注意：torch.optim只用于參數(shù)更新和對參數(shù)的梯度置０，不能計算參數(shù)的梯度，在使用torch.optim進行參數(shù)更新之前，需要寫前向與反向傳播求導(dǎo)的代碼

以上這篇Pytorch反向求導(dǎo)更新網(wǎng)絡(luò)參數(shù)的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

相關(guān)文章

  • Python學(xué)習(xí)之MRO方法搜索順序

    Python學(xué)習(xí)之MRO方法搜索順序

    這篇文章主要介紹了Python MRO方法搜索順序，文中代碼和圖片解釋的非常詳細，可以很好的帶大家學(xué)習(xí)相關(guān)知識內(nèi)容，感興趣的小伙伴可以參考一下這篇文章
    2021-09-09
  • Python通用驗證碼識別OCR庫ddddocr的安裝使用教程

    Python通用驗證碼識別OCR庫ddddocr的安裝使用教程

    dddd_ocr是一個用于識別驗證碼的開源庫,又名帶帶弟弟ocr,下面這篇文章主要給大家介紹了關(guān)于Python通用驗證碼識別OCR庫ddddocr的安裝使用教程,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下
    2022-07-07
  • Python灰度變換中伽馬變換分析實現(xiàn)

    Python灰度變換中伽馬變換分析實現(xiàn)

    灰度變換是指根據(jù)某種目標條件按一定變換關(guān)系逐點改變源圖像中每個像素灰度值的方法。目的是改善畫質(zhì)，使圖像顯示效果更加清晰。圖像的灰度變換處理是圖像增強處理技術(shù)中的一種非常基礎(chǔ)、直接的空間域圖像處理方法，也是圖像數(shù)字化軟件和圖像顯示軟件的一個重要組成部分
    2022-10-10
  • Python數(shù)據(jù)結(jié)構(gòu)之樹的全面解讀

    Python數(shù)據(jù)結(jié)構(gòu)之樹的全面解讀

    數(shù)據(jù)結(jié)構(gòu)中有很多樹的結(jié)構(gòu)，其中包括二叉樹、二叉搜索樹、2-3樹、紅黑樹等等。本文中對數(shù)據(jù)結(jié)構(gòu)中常見的樹邏輯結(jié)構(gòu)和存儲結(jié)構(gòu)進行了匯總，不求嚴格精準，但求簡單易懂
    2021-11-11
  • python 實現(xiàn)在txt指定行追加文本的方法

    python 實現(xiàn)在txt指定行追加文本的方法

    下面小編就為大家分享一篇python 實現(xiàn)在txt指定行追加文本的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-04-04
  • python使用正則表達式匹配txt特定字符串（有換行）

    python使用正則表達式匹配txt特定字符串（有換行）

    這篇文章主要給大家介紹了關(guān)于python使用正則表達式匹配txt特定字符串的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-12-12
  • pandas參數(shù)設(shè)置的實用小技巧

    pandas參數(shù)設(shè)置的實用小技巧

    這篇文章主要給大家介紹了關(guān)于pandas參數(shù)設(shè)置的實用小技巧，文中通過實例代碼結(jié)束的非常詳細，對大家學(xué)習(xí)或者使用pandas具有一定的參考學(xué)習(xí)價值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-08-08
  • python?format格式化和數(shù)字格式化

    python?format格式化和數(shù)字格式化

    這篇文章主要介紹了python?format格式化和數(shù)字格式化，格式化字符串的函數(shù)?str.format()，它增強了字符串格式化的功能，基本語法是通過{}?和?:?來代替以前的?%?，下面內(nèi)容介紹,需要的朋友可以參考一下
    2022-02-02
  • Python通過命令提示符安裝matplotlib

    Python通過命令提示符安裝matplotlib

    這篇文章主要給大家介紹了關(guān)于Python通過命令提示符安裝matplotlib的相關(guān)資料,文中還介紹了離線安裝這一種方法,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2021-11-11
  • numpy.reshape()的函數(shù)的具體使用

    numpy.reshape()的函數(shù)的具體使用

    本文主要介紹了numpy.reshape()的函數(shù)的具體使用，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2023-02-02

最新評論