pytorch多GPU并行運(yùn)算的實(shí)現(xiàn)
更新時(shí)間：2019年09月27日 11:45:14 作者：FelixCoder
這篇文章主要介紹了pytorch多GPU并行運(yùn)算的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
Pytorch多GPU運(yùn)行
設(shè)置可用GPU環(huán)境變量。例如，使用0號(hào)和1號(hào)GPU'
os.environ["CUDA_VISIBLE_DEVICES"] = '0,1'
設(shè)置模型參數(shù)放置到多個(gè)GPU上。在pytorch1.0之后的版本中，多GPU運(yùn)行變得十分方便，先將模型的參數(shù)設(shè)置并行
if torch.cuda.device_count() > 1:
print("Let's use", torch.cuda.device_count(), "GPUs!")
model = nn.DataParallel(model)
將模型參數(shù)設(shè)置使用GPU運(yùn)行
if torch.cuda.is_available():
model.cuda()
踩坑記錄
在訓(xùn)練中，需要使用驗(yàn)證集/測(cè)試集對(duì)目前的準(zhǔn)確率進(jìn)行測(cè)試，驗(yàn)證集/測(cè)試集的加載也會(huì)占用部分顯存，所以在訓(xùn)練開始時(shí)，不要將所有顯存都幾乎占滿，稍微留一些顯存給訓(xùn)練過程中的測(cè)試環(huán)節(jié)
pytorch并行后，假設(shè)batchsize設(shè)置為64，表示每張并行使用的GPU都使用batchsize=64來計(jì)算（單張卡使用時(shí)，使用batchsize=64比較合適時(shí)，多張卡并行時(shí)，batchsize仍為64比較合適，而不是64*并行卡數(shù)）。
參考
https://www.zhihu.com/question/67726969
以上就是本文的全部內(nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了python判斷字符串是否包含子字符串的方法,實(shí)例分析了Python中的in與find方法來實(shí)現(xiàn)這一功能,非常具有實(shí)用價(jià)值,需要的朋友可以參考下2015-03-03
python實(shí)現(xiàn)百度OCR圖片識(shí)別過程解析
這篇文章主要介紹了python實(shí)現(xiàn)百度OCR圖片識(shí)別過程解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-01-01
快速進(jìn)修Python指南之面向?qū)ο蟾呒?jí)篇
這篇文章主要為大家介紹了Java開發(fā)者如何快速進(jìn)修Python指南之面向?qū)ο蟾呒?jí)使用示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-12-12
詳解Pytorch自動(dòng)求導(dǎo)機(jī)制
自動(dòng)求導(dǎo)是一種計(jì)算梯度的技術(shù)，它允許我們?cè)诙x模型時(shí)不需要手動(dòng)推導(dǎo)梯度計(jì)算公式，PyTorch 提供了自動(dòng)求導(dǎo)的功能，使得梯度的計(jì)算變得非常簡單和高效，這篇文章主要介紹了Pytorch自動(dòng)求導(dǎo)機(jī)制詳解,需要的朋友可以參考下2023-07-07
這篇文章主要介紹了Hadoop中的Python框架的使用指南,Hadoop一般使用復(fù)雜的Java操作,但通過該框架使得Python腳本操作Hadoop成為了可能,需要的朋友可以參考下2015-04-04
這篇文章主要為大家介紹了pydantic進(jìn)階用法示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-03-03
這篇文章主要介紹了keras 自定義loss層+接受輸入實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-06-06
這篇文章主要介紹了Python爬蟲之requests基礎(chǔ)用法詳解,雖然Python的標(biāo)準(zhǔn)庫中urllib模塊已經(jīng)包含了平常我們使用的大多數(shù)功能,但是它的API使用起來讓人感覺不太友好,而requests庫使用更簡潔方便,需要的朋友可以參考下2023-10-10
這篇文章主要介紹了python中print輸出有空格的解決方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-02-02
Python 批量合并多個(gè)txt文件的實(shí)例講解
今天小編就為大家分享一篇Python 批量合并多個(gè)txt文件的實(shí)例講解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-05-05