PyTorch 導數(shù)應用的使用教程
前言
由于機器學習的基本思想就是找到一個函數(shù)去擬合樣本數(shù)據(jù)分布,因此就涉及到了梯度去求最小值,在超平面我們又很難直接得到全局最優(yōu)值,更沒有通用性,因此我們就想辦法讓梯度沿著負方向下降,那么我們就能得到一個局部或全局的最優(yōu)值了,因此導數(shù)就在機器學習中顯得非常重要了
基本使用
tensor.backward()可以及自動將梯度累加積到tensor.grad上
x = torch.ones(3,3) print(x.requires_grad) x.requires_grad_(True) print(x.requires_grad) y = x**2/(x-2) out = y.mean() print(x.grad) out.backward() print(x.grad)
False
True
None
tensor([[-0.3333, -0.3333, -0.3333],
[-0.3333, -0.3333, -0.3333],
[-0.3333, -0.3333, -0.3333]])
requires_grad 可以獲取到tensor是否可導
requires_grad_() 可以設置tensor是否可導
grad 查看當前tensor導數(shù)
上面的公式很簡單,程序含義
1/4 * (x**2) / (x-2)
求x的導數(shù),基本公式在下方
注意點
我們使用.mean后得到的是標量,如果不是標量會報錯
x = torch.ones(3, requires_grad=True) y = x * 2 y = y * 2 print(y)
tensor([4., 4., 4.], grad_fn=<MulBackward0>)
y.backward() print(x.grad)
報錯
RuntimeError: grad can be implicitly created only for scalar outputs
v = torch.tensor([0.1, 1.0, 0.0001], dtype=torch.float) y.backward() print(x.grad)
tensor([4.0000e-01, 4.0000e+00, 4.0000e-04])
no_grad()作用域
如果想要某部分程序不可導那么我們可以使用這個
x = torch.ones(3, requires_grad=True) y = x * 2 print(y.requires_grad) with torch.no_grad(): y = y * 2 print(y.requires_grad)
True
False
總結
這一章我們使用pytorch里面的backward,自動實現(xiàn)了函數(shù)的求導,幫助我們在后面面對很多超大參數(shù)量的函數(shù)的時候,求導就變得游刃有余
上節(jié)
到此這篇關于PyTorch 導數(shù)應用的使用教程的文章就介紹到這了,更多相關PyTorch 導數(shù)應用內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要介紹了如何在django中運行scrapy框架,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-04-04
這篇文章主要介紹了python開發(fā)之list操作方法,結合實例形式分析了list操作的具體用法與相關注意事項,需要的朋友可以參考下2016-02-02
這篇文章主要介紹了Django視圖函數(shù)的具體使用，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-03-03
這篇文章主要為大家介紹了Python中列表的幾個常用方法總結，文中的示例代碼講解詳細，對我們學習Python列表有一定幫助，需要的可以參考一下2022-03-03
這篇文章主要介紹了Python構建機器學習API服務的操作過程,通過本文的指導，讀者可以學習如何使用Python構建機器學習模型的API服務，并了解到在實際應用中需要考慮的一些關鍵問題和解決方案，從而為自己的項目提供更好的支持和服務，需要的朋友可以參考下2024-04-04
python3實現(xiàn)讀取chrome瀏覽器cookie
這里給大家分享的是python3讀取chrome瀏覽器的cookie（CryptUnprotectData解密）的代碼，主要思路是讀取到的cookies被封裝成字典，可以直接給requests使用。2016-06-06
使用py2exe生成windows服務在win7下可以正常運行，但是到了xp下面可以安裝，但是無法啟動2014-04-04
本篇文章主要介紹了詳解Python nose單元測試框架的安裝與使用，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-12-12
這篇文章主要介紹了Python基礎學習列表+元組+字典+集合，文章接上一篇內容學習，主要針對python零基礎的同學，感興趣的話就學起來吧2022-05-05
介紹?Python?炫酷功能的文章層出不窮，但是還有很多?Python?的編程小技巧鮮被提及，所以本文會試著介紹一些其它文章沒有提到的小技巧，讓我們一探究竟吧2023-07-07