淺談pytorch torch.backends.cudnn設(shè)置作用
cuDNN使用非確定性算法,并且可以使用torch.backends.cudnn.enabled = False來進(jìn)行禁用
如果設(shè)置為torch.backends.cudnn.enabled =True,說明設(shè)置為使用使用非確定性算法
然后再設(shè)置:
torch.backends.cudnn.benchmark = true
那么cuDNN使用的非確定性算法就會自動尋找最適合當(dāng)前配置的高效算法,來達(dá)到優(yōu)化運行效率的問題
一般來講,應(yīng)該遵循以下準(zhǔn)則:
如果網(wǎng)絡(luò)的輸入數(shù)據(jù)維度或類型上變化不大,設(shè)置 torch.backends.cudnn.benchmark = true 可以增加運行效率;
如果網(wǎng)絡(luò)的輸入數(shù)據(jù)在每次 iteration 都變化的話,會導(dǎo)致 cnDNN 每次都會去尋找一遍最優(yōu)配置,這樣反而會降低運行效率。
所以我們經(jīng)常看見在代碼開始出兩者同時設(shè)置:
torch.backends.cudnn.enabled = True
torch.backends.cudnn.benchmark = True
以上這篇淺談pytorch torch.backends.cudnn設(shè)置作用就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
pycharm2022.1最新永久激活碼破解補(bǔ)丁一鍵安裝教程免費分享(2022持續(xù)更新)
更新到Pycharm 2022.2.x版,pycharm2022.2最新可用永久激活碼分享(持續(xù)更新),pycharm激活補(bǔ)丁一鍵安裝簡單方便,無需手動修改文件,兼容蘋果MAC,linux,Windows系統(tǒng)2022-07-07VPS CENTOS 上配置python,mysql,nginx,uwsgi,django的方法詳解
這篇文章主要介紹了VPS CENTOS 上配置python,mysql,nginx,uwsgi,django的方法,較為詳細(xì)的分析了VPS CENTOS 上配置python,mysql,nginx,uwsgi,django的具體步驟、相關(guān)命令與操作注意事項,需要的朋友可以參考下2019-07-07python3?字符串str和bytes相互轉(zhuǎn)換
這篇文章主要介紹了python3?字符串str和bytes相互轉(zhuǎn)換,在文件傳輸過程中,通常使用bytes格式的數(shù)據(jù)流,而代碼中通常用str類型,因此str和bytes的相互轉(zhuǎn)換就尤為重要,下文詳細(xì)介紹需要的小伙伴可以參考一下2022-03-03Python基于whois模塊簡單識別網(wǎng)站域名及所有者的方法
這篇文章主要介紹了Python基于whois模塊簡單識別網(wǎng)站域名及所有者的方法,簡單分析了Python whois模塊的安裝及使用相關(guān)操作技巧,需要的朋友可以參考下2018-04-04pytorch簡單實現(xiàn)神經(jīng)網(wǎng)絡(luò)功能
這篇文章主要介紹了pytorch簡單實現(xiàn)神經(jīng)網(wǎng)絡(luò),本文通過實例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2022-09-09Python?flask?框架使用flask-login?模塊的詳細(xì)過程
Flask-Login?是一個?Flask?模塊,可以為?Flask?應(yīng)用程序提供用戶登錄功能,這篇文章主要介紹了Python?flask?框架使用?flask-login?模塊,需要的朋友可以參考下2023-01-01python pickle存儲、讀取大數(shù)據(jù)量列表、字典數(shù)據(jù)的方法
pickle模塊實現(xiàn)了用于序列化和反序列化python對象結(jié)構(gòu)的二進(jìn)制協(xié)議。這篇文章主要介紹了python pickle存儲、讀取大數(shù)據(jù)量列表、字典的數(shù)據(jù),需要的朋友可以參考下2019-07-07python?實現(xiàn)dcmtk關(guān)聯(lián)pacs功能推送下拉影像(推薦)
這篇文章主要介紹了python?實現(xiàn)dcmtk關(guān)聯(lián)pacs功能?推送下拉影像,包含dcmtk關(guān)聯(lián)pacs技術(shù)筆記等相關(guān)知識,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2022-10-10