PyTorch 導(dǎo)數(shù)應(yīng)用的使用教程
前言
由于機(jī)器學(xué)習(xí)的基本思想就是找到一個(gè)函數(shù)去擬合樣本數(shù)據(jù)分布,因此就涉及到了梯度去求最小值,在超平面我們又很難直接得到全局最優(yōu)值,更沒(méi)有通用性,因此我們就想辦法讓梯度沿著負(fù)方向下降,那么我們就能得到一個(gè)局部或全局的最優(yōu)值了,因此導(dǎo)數(shù)就在機(jī)器學(xué)習(xí)中顯得非常重要了
基本使用
tensor.backward()可以及自動(dòng)將梯度累加積到tensor.grad上
x = torch.ones(3,3) print(x.requires_grad) x.requires_grad_(True) print(x.requires_grad) y = x**2/(x-2) out = y.mean() print(x.grad) out.backward() print(x.grad)
False
True
None
tensor([[-0.3333, -0.3333, -0.3333],
[-0.3333, -0.3333, -0.3333],
[-0.3333, -0.3333, -0.3333]])
requires_grad 可以獲取到tensor是否可導(dǎo)
requires_grad_() 可以設(shè)置tensor是否可導(dǎo)
grad 查看當(dāng)前tensor導(dǎo)數(shù)
上面的公式很簡(jiǎn)單,程序含義
1/4 * (x**2) / (x-2)
求x的導(dǎo)數(shù),基本公式在下方
注意點(diǎn)
我們使用.mean后得到的是標(biāo)量,如果不是標(biāo)量會(huì)報(bào)錯(cuò)
x = torch.ones(3, requires_grad=True) y = x * 2 y = y * 2 print(y)
tensor([4., 4., 4.], grad_fn=<MulBackward0>)
y.backward() print(x.grad)
報(bào)錯(cuò)
RuntimeError: grad can be implicitly created only for scalar outputs
v = torch.tensor([0.1, 1.0, 0.0001], dtype=torch.float) y.backward() print(x.grad)
tensor([4.0000e-01, 4.0000e+00, 4.0000e-04])
no_grad()作用域
如果想要某部分程序不可導(dǎo)那么我們可以使用這個(gè)
x = torch.ones(3, requires_grad=True) y = x * 2 print(y.requires_grad) with torch.no_grad(): y = y * 2 print(y.requires_grad)
True
False
總結(jié)
這一章我們使用pytorch里面的backward,自動(dòng)實(shí)現(xiàn)了函數(shù)的求導(dǎo),幫助我們?cè)诤竺婷鎸?duì)很多超大參數(shù)量的函數(shù)的時(shí)候,求導(dǎo)就變得游刃有余
上節(jié)
到此這篇關(guān)于PyTorch 導(dǎo)數(shù)應(yīng)用的使用教程的文章就介紹到這了,更多相關(guān)PyTorch 導(dǎo)數(shù)應(yīng)用內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了如何在django中運(yùn)行scrapy框架,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-04-04
python開(kāi)發(fā)之list操作實(shí)例分析
這篇文章主要介紹了python開(kāi)發(fā)之list操作方法,結(jié)合實(shí)例形式分析了list操作的具體用法與相關(guān)注意事項(xiàng),需要的朋友可以參考下2016-02-02
這篇文章主要介紹了Django視圖函數(shù)的具體使用，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03
這篇文章主要為大家介紹了Python中列表的幾個(gè)常用方法總結(jié)，文中的示例代碼講解詳細(xì)，對(duì)我們學(xué)習(xí)Python列表有一定幫助，需要的可以參考一下2022-03-03
Python構(gòu)建機(jī)器學(xué)習(xí)API服務(wù)的操作過(guò)程
這篇文章主要介紹了Python構(gòu)建機(jī)器學(xué)習(xí)API服務(wù)的操作過(guò)程,通過(guò)本文的指導(dǎo)，讀者可以學(xué)習(xí)如何使用Python構(gòu)建機(jī)器學(xué)習(xí)模型的API服務(wù)，并了解到在實(shí)際應(yīng)用中需要考慮的一些關(guān)鍵問(wèn)題和解決方案，從而為自己的項(xiàng)目提供更好的支持和服務(wù)，需要的朋友可以參考下2024-04-04
python3實(shí)現(xiàn)讀取chrome瀏覽器cookie
這里給大家分享的是python3讀取chrome瀏覽器的cookie（CryptUnprotectData解密）的代碼，主要思路是讀取到的cookies被封裝成字典，可以直接給requests使用。2016-06-06
解決python寫的windows服務(wù)不能啟動(dòng)的問(wèn)題
使用py2exe生成windows服務(wù)在win7下可以正常運(yùn)行，但是到了xp下面可以安裝，但是無(wú)法啟動(dòng)2014-04-04
本篇文章主要介紹了詳解Python nose單元測(cè)試框架的安裝與使用，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-12-12
Python基礎(chǔ)學(xué)習(xí)列表+元組+字典+集合
這篇文章主要介紹了Python基礎(chǔ)學(xué)習(xí)列表+元組+字典+集合，文章接上一篇內(nèi)容學(xué)習(xí)，主要針對(duì)python零基礎(chǔ)的同學(xué)，感興趣的話就學(xué)起來(lái)吧2022-05-05
介紹?Python?炫酷功能的文章層出不窮，但是還有很多?Python?的編程小技巧鮮被提及，所以本文會(huì)試著介紹一些其它文章沒(méi)有提到的小技巧，讓我們一探究竟吧2023-07-07