欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

淺談pytorch torch.backends.cudnn設(shè)置作用

 更新時間:2020年02月20日 10:49:55   作者:慢行厚積  
今天小編就為大家分享一篇淺談pytorch torch.backends.cudnn設(shè)置作用,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧

cuDNN使用非確定性算法,并且可以使用torch.backends.cudnn.enabled = False來進(jìn)行禁用

如果設(shè)置為torch.backends.cudnn.enabled =True,說明設(shè)置為使用使用非確定性算法

然后再設(shè)置:

torch.backends.cudnn.benchmark = true

那么cuDNN使用的非確定性算法就會自動尋找最適合當(dāng)前配置的高效算法,來達(dá)到優(yōu)化運行效率的問題

一般來講,應(yīng)該遵循以下準(zhǔn)則:

如果網(wǎng)絡(luò)的輸入數(shù)據(jù)維度或類型上變化不大,設(shè)置  torch.backends.cudnn.benchmark = true  可以增加運行效率;

如果網(wǎng)絡(luò)的輸入數(shù)據(jù)在每次 iteration 都變化的話,會導(dǎo)致 cnDNN 每次都會去尋找一遍最優(yōu)配置,這樣反而會降低運行效率。

所以我們經(jīng)常看見在代碼開始出兩者同時設(shè)置:

torch.backends.cudnn.enabled = True
torch.backends.cudnn.benchmark = True

以上這篇淺談pytorch torch.backends.cudnn設(shè)置作用就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關(guān)文章

最新評論