關(guān)于CUDA out of memory的解決方案

更新時(shí)間：2023年02月03日 14:53:32 作者：蘿卜牛腩

這篇文章主要介紹了關(guān)于CUDA out of memory的解決方案，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教

1 問題描述

很多時(shí)候，我們?cè)陂_始進(jìn)行深度學(xué)習(xí)訓(xùn)練的時(shí)候，經(jīng)常出現(xiàn)存儲(chǔ)不夠的信息，

諸如這樣：

你可能會(huì)認(rèn)為是自己的顯卡顯存不夠，那就再掏錢去買個(gè)更大的顯卡吧。

我的顯卡是titan xp 12g顯存。

其實(shí)對(duì)于絕大多數(shù)的網(wǎng)絡(luò)都是夠用的，那么這個(gè)問題該如何解決哪？

2 問題的解決

1 如果你的顯存真的比較小

我的顯卡是titan xp12g顯存，舉個(gè)例子我在訓(xùn)練模型時(shí)，設(shè)置的batch_size==16,也就是說，我可以同時(shí)處理16副圖，我占用的顯存是5.82個(gè)g，如果你的顯存比我的小，或者你處理其他的圖片占用的更大，那么，怎

么辦哪？

你可以：

修改：batch_size==4

請(qǐng)盡量還是選用2的n次方來設(shè)置參數(shù)。這是深度學(xué)習(xí)二進(jìn)制的本質(zhì)。

修改后，你的顯存占用會(huì)從5.82g降到0.81g，就算你的顯存比較小，總有一天，你會(huì)滿足自己的需求。

2 如果你的cpu比較差

我使用的是2017年的thinkpad x1carobon筆記本，外界顯卡塢帶titan xp顯卡。

我的cpu是i7-7600，已經(jīng)過了幾年了，并不好，但說不定你比我的cpu更差，那么怎么辦哪？

你可以：

修改：workers==1

很多模型訓(xùn)練的時(shí)候，默認(rèn)的線程也就是workers==8，也許你的cpu無法承受8線程同時(shí)訓(xùn)練，那么你可以把這個(gè)并行線程數(shù)降下來，例如我上面的，將線程數(shù)降為1，那么又可以愉快的玩耍了，但是，你能承受本來我有i7的cpu，本來我有12g的顯存，卻不能完全使用，還要承受八倍奉還么??！

3 一個(gè)隱藏的設(shè)置

這個(gè)發(fā)現(xiàn)，我尚未在其他csdn的博客上見到過，或者我沒搜到。

應(yīng)該有很多像我一樣的偏執(zhí)狂。天天盯著存儲(chǔ)看，c盤沒多一點(diǎn)點(diǎn)，就開始刪除垃圾，刪除緩存，刪除windows更新備份，刪除windows注銷文件（2個(gè)g），刪除windows系統(tǒng)補(bǔ)丁，刪除c盤之外其他盤的虛擬內(nèi)存，后者把虛擬內(nèi)存轉(zhuǎn)移到其他盤！因?yàn)椋覀兊腸盤真的不堪重負(fù)。。。

后面有時(shí)間，我再談?wù)勅绾谓oc盤自由加容吧。

可能，就像我一樣，我舉個(gè)例子，我把項(xiàng)目放在了F盤，那么我把除c盤之外，其他盤的虛擬緩存給刪掉了，導(dǎo)致F盤的虛擬內(nèi)存為0，也會(huì)出現(xiàn)這個(gè)問題。

那么，該怎么辦哪？

你可以：