欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

淺談pytorch中的BN層的注意事項

 更新時間:2020年06月23日 09:08:25   作者:張叫張大衛(wèi)  
這篇文章主要介紹了淺談pytorch中的BN層的注意事項,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧

最近修改一個代碼的時候,當(dāng)使用網(wǎng)絡(luò)進(jìn)行推理的時候,發(fā)現(xiàn)每次更改測試集的batch size大小竟然會導(dǎo)致推理結(jié)果不同,甚至產(chǎn)生錯誤結(jié)果,后來發(fā)現(xiàn)在網(wǎng)絡(luò)中定義了BN層,BN層在訓(xùn)練過程中,會將一個Batch的中的數(shù)據(jù)轉(zhuǎn)變成正太分布,在推理過程中使用訓(xùn)練過程中的參數(shù)對數(shù)據(jù)進(jìn)行處理,然而網(wǎng)絡(luò)并不知道你是在訓(xùn)練還是測試階段,因此,需要手動的加上,需要在測試和訓(xùn)練階段使用如下函數(shù)。

model.train() or model.eval()

BN類的定義見pytorch中文參考文檔

補(bǔ)充知識:關(guān)于pytorch中BN層(具體實(shí)現(xiàn))的一些小細(xì)節(jié)

最近在做目標(biāo)檢測,需要把訓(xùn)好的模型放到嵌入式設(shè)備上跑前向,因此得把各種層的實(shí)現(xiàn)都用C手?jǐn)]一遍,,,此為背景。

其他層沒什么好說的,但是BN層這有個小坑。pytorch在打印網(wǎng)絡(luò)參數(shù)的時候,只打出weight和bias這兩個參數(shù)。咦,說好的BN層有四個參數(shù)running_mean、running_var 、gamma 、beta的呢?一開始我以為是pytorch把BN層的計算簡化成weight * X + bias,但馬上反應(yīng)過來應(yīng)該沒這么簡單,因?yàn)閜ytorch中只有可學(xué)習(xí)的參數(shù)才稱為parameter。上網(wǎng)找了一些資料但都沒有說到這么細(xì)的,畢竟大部分用戶使用時只要模型能跑起來就行了,,,于是開始看BN層有哪些屬性,果然發(fā)現(xiàn)了熟悉的running_mean和running_var,原來pytorch的BN層實(shí)現(xiàn)并沒有不同。這里吐個槽:為啥要把gamma和beta改叫weight、bias啊,很有迷惑性的好不好,,,

扯了這么多,干脆捋一遍pytorch里BN層的具體實(shí)現(xiàn)過程,幫自己理清思路,也可以給大家提供參考。再吐槽一下,在網(wǎng)上搜“pytorch bn層”出來的全是關(guān)于這一層怎么用的、初始化時要輸入哪些參數(shù),沒找到一個pytorch中BN層是怎么實(shí)現(xiàn)的,,,

眾所周知,BN層的輸出Y與輸入X之間的關(guān)系是:Y = (X - running_mean) / sqrt(running_var + eps) * gamma + beta,此不贅言。其中g(shù)amma、beta為可學(xué)習(xí)參數(shù)(在pytorch中分別改叫weight和bias),訓(xùn)練時通過反向傳播更新;而running_mean、running_var則是在前向時先由X計算出mean和var,再由mean和var以動量momentum來更新running_mean和running_var。所以在訓(xùn)練階段,running_mean和running_var在每次前向時更新一次;在測試階段,則通過net.eval()固定該BN層的running_mean和running_var,此時這兩個值即為訓(xùn)練階段最后一次前向時確定的值,并在整個測試階段保持不變。

以上這篇淺談pytorch中的BN層的注意事項就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • python正則-re的用法詳解

    python正則-re的用法詳解

    這篇文章主要介紹了python正則-re的用法詳解,文中給大家提到了正則中的修飾符以及它的功能,需要的朋友可以參考下
    2019-07-07
  • Django如何實(shí)現(xiàn)網(wǎng)站注冊用戶郵箱驗(yàn)證功能

    Django如何實(shí)現(xiàn)網(wǎng)站注冊用戶郵箱驗(yàn)證功能

    這篇文章主要介紹了Django如何實(shí)現(xiàn)網(wǎng)站注冊用戶郵箱驗(yàn)證功能,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2019-08-08
  • Python實(shí)現(xiàn)將DNA序列存儲為tfr文件并讀取流程介紹

    Python實(shí)現(xiàn)將DNA序列存儲為tfr文件并讀取流程介紹

    為什么要在實(shí)驗(yàn)過程中存儲文件,因?yàn)橛行┧惴ǖ膬?nèi)容存在一些重復(fù)計算的步驟,這些步驟往往消耗很大一部分時間,在有大量參數(shù)的情況時,需要在多次不同參數(shù)的情況下重復(fù)試驗(yàn),因此可以考慮將一些不涉及參數(shù)運(yùn)算的部分結(jié)果存入文件中
    2022-09-09
  • Tensorflow?2.1完成對MPG回歸預(yù)測詳解

    Tensorflow?2.1完成對MPG回歸預(yù)測詳解

    這篇文章主要為大家介紹了Tensorflow?2.1完成對MPG回歸預(yù)測詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-11-11
  • python對html代碼進(jìn)行escape編碼的方法

    python對html代碼進(jìn)行escape編碼的方法

    這篇文章主要介紹了python對html代碼進(jìn)行escape編碼的方法,涉及Python中escape方法的使用技巧,非常具有實(shí)用價值,需要的朋友可以參考下
    2015-05-05
  • Python使用apscheduler模塊設(shè)置定時任務(wù)的實(shí)現(xiàn)

    Python使用apscheduler模塊設(shè)置定時任務(wù)的實(shí)現(xiàn)

    本文主要介紹了Python使用apscheduler模塊設(shè)置定時任務(wù)的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2022-05-05
  • Python讀寫/追加excel文件Demo分享

    Python讀寫/追加excel文件Demo分享

    今天小編就為大家分享一篇Python讀寫/追加excel文件Demo,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-05-05
  • Python實(shí)現(xiàn)簡單線性插值去馬賽克算法代碼示例

    Python實(shí)現(xiàn)簡單線性插值去馬賽克算法代碼示例

    去馬賽克是圖像處理中的一項技術(shù),用于從單色彩濾光片陣列(CFA)圖像恢復(fù)全彩圖像,本文介紹了一種基于簡單線性插值的去馬賽克算法,并展示了如何將MATLAB代碼轉(zhuǎn)換為Python代碼,需要的朋友可以參考下
    2024-10-10
  • Python判斷回文鏈表的方法

    Python判斷回文鏈表的方法

    這篇文章主要介紹了Python判斷回文鏈表,本文通過實(shí)例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2022-01-01
  • python plotly畫柱狀圖代碼實(shí)例

    python plotly畫柱狀圖代碼實(shí)例

    這篇文章主要介紹了python plotly畫柱狀圖代碼實(shí)例,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2019-12-12

最新評論