pytorch 限制GPU使用效率詳解(計(jì)算效率)
問(wèn)題
用過(guò) tensorflow 的人都知道， tf 可以限制程序在 GPU 中的使用效率，但 pytorch 中沒(méi)有這個(gè)操作。
思路
于是我想到了一個(gè)代替方法，玩過(guò)單片機(jī)點(diǎn)燈的同學(xué)都知道，燈的亮度是靠占空比實(shí)現(xiàn)的，這實(shí)際上也是計(jì)算機(jī)的運(yùn)行原理。 那我們是不是也可以通過(guò)增加 GPU 不工作的時(shí)間，進(jìn)而降低 GPU 的使用效率 ？
主要代碼
import time ... rest_time = 0.15 ... for _ in range( XXX ): ... outputs = all_GPU_operations( data_set ) # 假設(shè)所有的GPU運(yùn)算都在這里 time.sleep( rest_time ) # 讓顯卡休息一會(huì)再進(jìn)行下個(gè)循環(huán)的使用 ... ...
這樣子 GPU 的使用效率就可以減小了。
rest_time 的越大 GPU 使用率越低，rest_time 的越小 GPU 使用率越高。
缺點(diǎn)是很難直接控制 GPU 的具體使用率，rest_time 得自己調(diào)試后確定。
補(bǔ)充知識(shí)：深度學(xué)習(xí)PyTorch，TensorFlow中GPU利用率較低,使用率周期性變化的問(wèn)題
在用tensorflow訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí),發(fā)現(xiàn)訓(xùn)練迭代的速度時(shí)而快時(shí)而慢,監(jiān)督的GPU使用率也是周期性變化,通過(guò)了解,發(fā)現(xiàn)原因是:
GPU在等待CPU讀取,預(yù)處理,并傳輸數(shù)據(jù)過(guò)來(lái),因此要提高GPU的使用率,降低GPU的等待時(shí)間,需要加快CPU的處理速度.
在PYTORCH中的解決方案是用torch.utils.data.DataLoader,用num_workers設(shè)置線程數(shù):
torch.utils.data.DataLoader(image_datasets[x], batch_size=batch_size, shuffle=True, num_workers=8, pin_memory=True)
在tensorflow中的解決方案是用tf.data.Dataset.map(num_parallel_calls=8)中的num_parallel_calls設(shè)置讀取數(shù)據(jù)的線程數(shù):
用 tf.data讀取數(shù)據(jù), tf.data.Dataset中有一個(gè)map函數(shù),它有個(gè)num_parallel_calls參數(shù),可以控制CPU的線程,加快數(shù)據(jù)的讀取速度,一般將線程設(shè)置為8效果最好.
以上這篇pytorch 限制GPU使用效率詳解(計(jì)算效率)就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python繪制計(jì)算機(jī)CPU占有率變化的折線圖
這篇文章主要為大家詳細(xì)介紹了Python繪制計(jì)算機(jī)CPU占有率變化的折線圖，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-03-03
在python中實(shí)現(xiàn)求輸出1-3+5-7+9-......101的和
這篇文章主要介紹了在python中實(shí)現(xiàn)求輸出1-3+5-7+9-......101的和，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-04-04
這篇文章主要介紹了Django REST 異常處理詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-07-07
這篇文章主要給大家分享Python?Flask?+?Redis?程序的練習(xí)，準(zhǔn)備一個(gè)Python文件，名字為?app.py?提供一個(gè)web服務(wù)，可以訪問(wèn)地址，返回一個(gè)Hello?Container?World!并且記錄訪問(wèn)的次數(shù)，下面來(lái)看看有趣的練習(xí)過(guò)程吧2022-01-01
python實(shí)現(xiàn)文件批量編碼轉(zhuǎn)換及注意事項(xiàng)
本文通過(guò)實(shí)例代碼給大家介紹了python實(shí)現(xiàn)文件批量編碼轉(zhuǎn)換及注意事項(xiàng)，非常不錯(cuò)，具有一定的參考借鑒價(jià)值，需要的朋友參考下吧2019-10-10
Python中openpyxl實(shí)現(xiàn)vlookup函數(shù)的實(shí)例
在本篇文章里小編給大家整理的是關(guān)于Python中openpyxl實(shí)現(xiàn)vlookup函數(shù)的實(shí)例內(nèi)容，有興趣的朋友們可以學(xué)習(xí)參考下。2020-10-10
eclipse創(chuàng)建python項(xiàng)目步驟詳解
在本篇內(nèi)容里小編給大家分享了關(guān)于eclipse創(chuàng)建python項(xiàng)目的具體步驟和方法，需要的朋友們跟著學(xué)習(xí)下。2019-05-05
這篇文章主要給大家介紹了關(guān)于python中時(shí)間模塊的基本使用的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用python具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-05-05
pandas通過(guò)字典生成dataframe的方法步驟
這篇文章主要介紹了pandas通過(guò)字典生成dataframe的方法步驟，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
python詞云庫(kù)wordcloud的使用方法與實(shí)例詳解
這篇文章主要介紹了python詞云庫(kù)wordcloud的使用方法與實(shí)例詳解,需要的朋友可以參考下2020-02-02