pytorch 限制GPU使用效率詳解(計算效率)
問題
用過 tensorflow 的人都知道， tf 可以限制程序在 GPU 中的使用效率，但 pytorch 中沒有這個操作。
思路
于是我想到了一個代替方法，玩過單片機(jī)點燈的同學(xué)都知道，燈的亮度是靠占空比實現(xiàn)的，這實際上也是計算機(jī)的運行原理。 那我們是不是也可以通過增加 GPU 不工作的時間，進(jìn)而降低 GPU 的使用效率 ？
主要代碼
import time ... rest_time = 0.15 ... for _ in range( XXX ): ... outputs = all_GPU_operations( data_set ) # 假設(shè)所有的GPU運算都在這里 time.sleep( rest_time ) # 讓顯卡休息一會再進(jìn)行下個循環(huán)的使用 ... ...
這樣子 GPU 的使用效率就可以減小了。
rest_time 的越大 GPU 使用率越低，rest_time 的越小 GPU 使用率越高。
缺點是很難直接控制 GPU 的具體使用率，rest_time 得自己調(diào)試后確定。
補(bǔ)充知識：深度學(xué)習(xí)PyTorch，TensorFlow中GPU利用率較低,使用率周期性變化的問題
在用tensorflow訓(xùn)練神經(jīng)網(wǎng)絡(luò)時,發(fā)現(xiàn)訓(xùn)練迭代的速度時而快時而慢,監(jiān)督的GPU使用率也是周期性變化,通過了解,發(fā)現(xiàn)原因是:
GPU在等待CPU讀取,預(yù)處理,并傳輸數(shù)據(jù)過來,因此要提高GPU的使用率,降低GPU的等待時間,需要加快CPU的處理速度.
在PYTORCH中的解決方案是用torch.utils.data.DataLoader,用num_workers設(shè)置線程數(shù):
torch.utils.data.DataLoader(image_datasets[x], batch_size=batch_size, shuffle=True, num_workers=8, pin_memory=True)
在tensorflow中的解決方案是用tf.data.Dataset.map(num_parallel_calls=8)中的num_parallel_calls設(shè)置讀取數(shù)據(jù)的線程數(shù):
用 tf.data讀取數(shù)據(jù), tf.data.Dataset中有一個map函數(shù),它有個num_parallel_calls參數(shù),可以控制CPU的線程,加快數(shù)據(jù)的讀取速度,一般將線程設(shè)置為8效果最好.
以上這篇pytorch 限制GPU使用效率詳解(計算效率)就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了Python繪制計算機(jī)CPU占有率變化的折線圖，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-03-03
在python中實現(xiàn)求輸出1-3+5-7+9-......101的和
這篇文章主要介紹了在python中實現(xiàn)求輸出1-3+5-7+9-......101的和，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04
這篇文章主要介紹了Django REST 異常處理詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-07-07
這篇文章主要給大家分享Python?Flask?+?Redis?程序的練習(xí)，準(zhǔn)備一個Python文件，名字為?app.py?提供一個web服務(wù)，可以訪問地址，返回一個Hello?Container?World!并且記錄訪問的次數(shù)，下面來看看有趣的練習(xí)過程吧2022-01-01
python實現(xiàn)文件批量編碼轉(zhuǎn)換及注意事項
本文通過實例代碼給大家介紹了python實現(xiàn)文件批量編碼轉(zhuǎn)換及注意事項，非常不錯，具有一定的參考借鑒價值，需要的朋友參考下吧2019-10-10
Python中openpyxl實現(xiàn)vlookup函數(shù)的實例
在本篇文章里小編給大家整理的是關(guān)于Python中openpyxl實現(xiàn)vlookup函數(shù)的實例內(nèi)容，有興趣的朋友們可以學(xué)習(xí)參考下。2020-10-10
在本篇內(nèi)容里小編給大家分享了關(guān)于eclipse創(chuàng)建python項目的具體步驟和方法，需要的朋友們跟著學(xué)習(xí)下。2019-05-05
這篇文章主要給大家介紹了關(guān)于python中時間模塊的基本使用的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家學(xué)習(xí)或者使用python具有一定的參考學(xué)習(xí)價值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-05-05
這篇文章主要介紹了pandas通過字典生成dataframe的方法步驟，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
這篇文章主要介紹了python詞云庫wordcloud的使用方法與實例詳解,需要的朋友可以參考下2020-02-02