pytorch對(duì)梯度進(jìn)行可視化進(jìn)行梯度檢查教程
目的： 在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的時(shí)候，有時(shí)候需要自己寫(xiě)操作，比如faster_rcnn中的roi_pooling，我們可以可視化前向傳播的圖像和反向傳播的梯度圖像，前向傳播可以檢查流程和計(jì)算的正確性，而反向傳播則可以大概檢查流程的正確性。
實(shí)驗(yàn)
可視化rroi_align的梯度
1.pytorch 0.4.1及之前，需要聲明需要參數(shù)，這里將圖片數(shù)據(jù)聲明為variable
im_data = Variable(im_data, requires_grad=True)
2.進(jìn)行前向傳播，最后的loss映射為一個(gè)一維的張量
pooled_feat = roipool(im_data, rois.view(-1, 6)) res = pooled_feat.pow(2).sum() res.backward()
3.注意求loss的時(shí)候采用更加復(fù)雜，或者更多的運(yùn)算（這樣在梯度可視化的時(shí)候效果才更加明顯）
可視化效果
原始圖片
梯度可視化圖片
原圖+梯度圖
小結(jié)：
可以看到誤差梯度的位置是正確的，誤差是否正確，需要其他方式驗(yàn)證（暫時(shí)沒(méi)有思路）
可以看到上面在求loss的時(shí)候?yàn)椋簂oss = sum(x2)，但是如果換成：loss = mean(x)，效果就沒(méi)有上面明顯。
實(shí)驗(yàn)二的效果
loss = mean(x)
可以看到根本無(wú)法看到誤差梯度的位置信息
實(shí)驗(yàn)三：loss = sum(x)
小結(jié)： 可以看到位置信息有差別，比如國(guó)徽部分，這會(huì)讓人以為，國(guó)徽部分只利用了左部分的信息，或者自己手寫(xiě)的操作誤差索引不對(duì)。
可以通過(guò)兩種方式進(jìn)行驗(yàn)證
1.用更多，更復(fù)雜的運(yùn)算求loss，比如pow，等
2.用matplotlib顯示圖片后，用鼠標(biāo)可以指示每個(gè)點(diǎn)的具體的值，可以檢測(cè)有誤差梯度區(qū)域是否和無(wú)誤差梯度區(qū)域有差別。
以上這篇pytorch對(duì)梯度進(jìn)行可視化進(jìn)行梯度檢查教程就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
media配置及把用戶頭像從數(shù)據(jù)庫(kù)展示到前端的操作方法
media配置可以讓用戶上傳的所有文件都固定的存放在某一個(gè)指定的文件夾下，接下來(lái)通過(guò)本文給大家介紹下media配置及把用戶頭像從數(shù)據(jù)庫(kù)展示到前端的操作,需要的朋友可以參考下2022-09-09
這篇文章主要介紹了Python繪制折線圖可視化神器pyecharts，文章圍繞主題展開(kāi)詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2022-07-07
基于Linux系統(tǒng)中python matplotlib畫(huà)圖的中文顯示問(wèn)題的解決方法
下面小編就為大家?guī)?lái)一篇基于Linux系統(tǒng)中python matplotlib畫(huà)圖的中文顯示問(wèn)題的解決方法。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-06-06
當(dāng)你在使用pip安裝Python庫(kù)時(shí)遇到問(wèn)題,可以嘗試以下兩種解決方案,第一種是直接在Scripts文件夾內(nèi)使用CMD命令進(jìn)行安裝,第二種是將Scripts的路徑設(shè)置為系統(tǒng)環(huán)境變量,這樣就可以直接在dos中使用pip install進(jìn)行安裝了,以上解決方案僅供參考,如有更好的方法歡迎交流分享2024-10-10
這篇文章主要介紹了Python字典遍歷操作,結(jié)合實(shí)例形式總結(jié)分析了Python遍歷字典鍵值對(duì)、遍歷鍵、遍歷值等相關(guān)操作技巧,需要的朋友可以參考下2019-03-03
python3實(shí)現(xiàn)elasticsearch批量更新數(shù)據(jù)
今天小編就為大家分享一篇python3實(shí)現(xiàn)elasticsearch批量更新數(shù)據(jù)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12
如何利用Python連接MySQL數(shù)據(jù)庫(kù)實(shí)現(xiàn)數(shù)據(jù)儲(chǔ)存
當(dāng)我們學(xué)習(xí)了mysql數(shù)據(jù)庫(kù)后，我們會(huì)想著該如何將python和mysql結(jié)合起來(lái)運(yùn)用,下面這篇文章主要給大家介紹了關(guān)于如何利用Python連接MySQL數(shù)據(jù)庫(kù)實(shí)現(xiàn)數(shù)據(jù)儲(chǔ)存的相關(guān)資料,需要的朋友可以參考下2021-11-11
Python實(shí)現(xiàn)簡(jiǎn)單的文件操作合集
這篇文章主要為大家詳細(xì)介紹了Python實(shí)現(xiàn)的一些簡(jiǎn)單的文件操作合集，例如：文件的打開(kāi)，關(guān)閉；文件的寫(xiě)入等，感興趣的小伙伴可以了解一下2022-09-09
python中__slots__節(jié)約內(nèi)存的具體做法
在本篇內(nèi)容里小編給大家分享的是一篇關(guān)于python中__slots__節(jié)約內(nèi)存的具體做法，有需要的朋友們可以跟著學(xué)習(xí)參考下。2021-07-07
今天小編就為大家分享一篇關(guān)于帶你認(rèn)識(shí)Django，小編覺(jué)得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧2019-01-01