淺談pytorch中的dropout的概率p
更新時間：2021年05月27日 10:57:52 作者：小可愛123
這篇文章主要介紹了淺談pytorch中的dropout的概率p，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
最近需要訓練一個模型，在優(yōu)化模型時用了dropout函數(shù)，為了減少過擬合。
訓練的時候用dropout，測試的時候不用dropout。剛開始以為p是保留神經元的比率，訓練設置0.5，測試設置1，loss根本沒減小過，全設置成1也是一樣的效果，后來就考慮到是不是p設置錯了。
上網一搜，果然是的?。?！p的含義理解錯了！不是保留的，而是不保留的！
具體的代碼為：
x2 = F.dropout(x1, p)
x1是上一層網絡的輸出，p是需要刪除的神經元的比例。
當p=0時，保留全部神經元更新。當p=1時，神經元輸出的值都為0。
補充：Pytorch--Dropout筆記
dropout常常用于抑制過擬合，pytorch也提供了很方便的函數(shù)。但是經常不知道dropout的參數(shù)p是什么意思。
在TensorFlow中p叫做keep_prob,就一直以為pytorch中的p應該就是保留節(jié)點數(shù)的比例，但是實驗結果發(fā)現(xiàn)反了，實際上表示的是不保留節(jié)點數(shù)的比例。
看下面的例子：
a = torch.randn(10,1)
>>> tensor([[ 0.0684],
[-0.2395],
[ 0.0785],
[-0.3815],
[-0.6080],
[-0.1690],
[ 1.0285],
[ 1.1213],
[ 0.5261],
[ 1.1664]])
p=0.5
torch.nn.Dropout(0.5)(a)
>>> tensor([[ 0.0000],
[-0.0000],
[ 0.0000],
[-0.7631],
[-0.0000],
[-0.0000],
[ 0.0000],
[ 0.0000],
[ 1.0521],
[ 2.3328]])
p=0
torch.nn.Dropout(0)(a)
>>> tensor([[ 0.0684],
[-0.2395],
[ 0.0785],
[-0.3815],
[-0.6080],
[-0.1690],
[ 1.0285],
[ 1.1213],
[ 0.5261],
[ 1.1664]])
p=1
torch.nn.Dropout(0)(a)
>>> tensor([[0.],
[-0.],
[0.],
[-0.],
[-0.],
[-0.],
[0.],
[0.],
[0.],
[0.]])
以上為個人經驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了jupyter修改文件名方式(TensorFlow)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04
通過正則的規(guī)則匹配到的信息都是一個單獨的字符存到輸出結果中的，如何更夠根據字符串中的詞組進行匹配呢？因此本文將帶大家學習一下正則表達式中的量詞符號與組的概念，感興趣的可以了解一下2022-04-04
這篇文章主要介紹了解決cuda和pytorch不兼容的問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-03-03
在本篇文章里小編給大家分享了關于python文件編寫好后如何實踐的相關內容，需要的朋友們可以參考下。2020-07-07
這篇文章主要介紹了python編碼操作,包括編碼類型、格式、轉碼等,并結合實例分析了相關操作技巧與注意事項,需要的朋友可以參考下2016-07-07
Python+Pandas實現(xiàn)數(shù)據透視表
對于數(shù)據透視表，相信對于Excel比較熟悉的小伙伴都知道如何使用它。本文將利用Python Pandas實現(xiàn)數(shù)據透視表功能，感興趣的可以學習一下2022-06-06
這篇文章主要介紹了Python全局變量用法,結合實例形式分析了Python中全局變量的定義、使用方法與相關注意事項,需要的朋友可以參考下2016-07-07
本篇文章主要介紹了初探TensorFLow從文件讀取圖片的四種方式，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-02-02
這篇文章主要介紹了python批量處理txt文件的實例代碼，代碼簡單易懂，非常不錯，具有一定的參考借鑒價值,需要的朋友可以參考下2020-01-01
這篇文章主要介紹了python解壓rar加密文件過程詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-07-07