解決pytorch load huge dataset(大數(shù)據(jù)加載)
問題
最近用pytorch做實(shí)驗(yàn)時(shí),遇到加載大量數(shù)據(jù)的問題。實(shí)驗(yàn)數(shù)據(jù)大小在400Gb,而本身機(jī)器的memory只有256Gb,顯然無法將數(shù)據(jù)一次全部load到memory。
解決方法
首先自定義一個(gè)MyDataset繼承torch.utils.data.Dataset,然后將MyDataset的對(duì)象feed in torch.utils.data.DataLoader()即可。
MyDataset在__init__中聲明一個(gè)文件對(duì)象,然后在__getitem__中緩慢讀取數(shù)據(jù),這樣就不會(huì)一次把所有數(shù)據(jù)加載到內(nèi)存中了。訓(xùn)練數(shù)據(jù)存放在train.txt中,每一行是一條數(shù)據(jù)記錄。
import torch.utils.data as Data from tqdm import tqdm class MyDataset(Data.Dataset): def __init__(self,filepath): number = 0 with open(filepath,"r") as f: # 獲得訓(xùn)練數(shù)據(jù)的總行數(shù) for _ in tqdm(f,desc="load training dataset"): number+=1 self.number = number self.fopen = open(filepath,'r') def __len__(self): return self.number def __getitem__(self,index): line = self.fopen.__next__() # 自定義transform()對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理 data = transform(line) return data train_dataset = MyDataset(filepath = "train.txt") training_data = Data.DataLoader(dataset=train_dataset, batch_size=32,num_workers=1)
注意
1、num_workers只能設(shè)置為1。因?yàn)镸yDataset初始化時(shí)只有一個(gè)文件對(duì)象,在dataloader時(shí)num_workers=1只用一個(gè)線程去操作文件對(duì)象讀取數(shù)據(jù)。如果num_workers>1, 會(huì)出錯(cuò),多個(gè)線程同時(shí)操作同一個(gè)文件對(duì)象,得到的數(shù)據(jù)并不是你想要的。
2、每一個(gè)epoch結(jié)束以后,需要重新聲明train_dataset和training_data。因?yàn)橐粋€(gè)epoch結(jié)束以后,文件對(duì)象已經(jīng)指向文件末尾,下一個(gè)epoch取數(shù)據(jù)時(shí),什么也得不到。
3、因?yàn)檫@里__getitem__()只是順序的從文件中取出一行,而與index無關(guān),那么在DataLoader時(shí),即使參數(shù)shuffle指定為True,得到的數(shù)據(jù)依然是順序的,即該方法無法shuffle數(shù)據(jù)。
補(bǔ)充:Pytorch加載自己的數(shù)據(jù)集(使用DataLoader讀取Dataset)
1. 我們經(jīng)常可以看到Pytorch加載數(shù)據(jù)集會(huì)用到官方整理好的數(shù)據(jù)集
很多時(shí)候我們需要加載自己的數(shù)據(jù)集,這時(shí)候我們需要使用Dataset和DataLoader
Dataset:是被封裝進(jìn)DataLoader里,實(shí)現(xiàn)該方法封裝自己的數(shù)據(jù)和標(biāo)簽。
DataLoader:被封裝入DataLoaderIter里,實(shí)現(xiàn)該方法達(dá)到數(shù)據(jù)的劃分。
2.Dataset
閱讀源碼后,我們可以指導(dǎo),繼承該方法必須實(shí)現(xiàn)兩個(gè)方法:
_getitem_()
_len_()
因此,在實(shí)現(xiàn)過程中我們測(cè)試如下:
import torch import numpy as np # 定義GetLoader類,繼承Dataset方法,并重寫__getitem__()和__len__()方法 class GetLoader(torch.utils.data.Dataset): # 初始化函數(shù),得到數(shù)據(jù) def __init__(self, data_root, data_label): self.data = data_root self.label = data_label # index是根據(jù)batchsize劃分?jǐn)?shù)據(jù)后得到的索引,最后將data和對(duì)應(yīng)的labels進(jìn)行一起返回 def __getitem__(self, index): data = self.data[index] labels = self.label[index] return data, labels # 該函數(shù)返回?cái)?shù)據(jù)大小長(zhǎng)度,目的是DataLoader方便劃分,如果不知道大小,DataLoader會(huì)一臉懵逼 def __len__(self): return len(self.data) # 隨機(jī)生成數(shù)據(jù),大小為10 * 20列 source_data = np.random.rand(10, 20) # 隨機(jī)生成標(biāo)簽,大小為10 * 1列 source_label = np.random.randint(0,2,(10, 1)) # 通過GetLoader將數(shù)據(jù)進(jìn)行加載,返回Dataset對(duì)象,包含data和labels torch_data = GetLoader(source_data, source_label)
3.DataLoader
提供對(duì)Dataset的操作,操作如下:
torch.utils.data.DataLoader(dataset,batch_size,shuffle,drop_last,num_workers)
參數(shù)含義如下:
dataset: 加載torch.utils.data.Dataset對(duì)象數(shù)據(jù)
batch_size: 每個(gè)batch的大小
shuffle:是否對(duì)數(shù)據(jù)進(jìn)行打亂
drop_last:是否對(duì)無法整除的最后一個(gè)datasize進(jìn)行丟棄
num_workers:表示加載的時(shí)候子進(jìn)程數(shù)
因此,在實(shí)現(xiàn)過程中我們測(cè)試如下(緊跟上述用例):
from torch.utils.data import DataLoader # 讀取數(shù)據(jù) datas = DataLoader(torch_data, batch_size=6, shuffle=True, drop_last=False, num_workers=2)
此時(shí),我們的數(shù)據(jù)已經(jīng)加載完畢了,只需要在訓(xùn)練過程中使用即可。
4.查看數(shù)據(jù)
我們可以通過迭代器(enumerate)進(jìn)行輸出數(shù)據(jù),測(cè)試如下:
for i, data in enumerate(datas): # i表示第幾個(gè)batch, data表示該batch對(duì)應(yīng)的數(shù)據(jù),包含data和對(duì)應(yīng)的labels print("第 {} 個(gè)Batch \n{}".format(i, data))
輸出結(jié)果如下圖:
結(jié)果說明:由于數(shù)據(jù)的是10個(gè),batchsize大小為6,且drop_last=False,因此第一個(gè)大小為6,第二個(gè)為4。每一個(gè)batch中包含data和對(duì)應(yīng)的labels。
當(dāng)我們想取出data和對(duì)應(yīng)的labels時(shí)候,只需要用下表就可以啦,測(cè)試如下:
# 表示輸出數(shù)據(jù) print(data[0]) # 表示輸出標(biāo)簽 print(data[1])
結(jié)果如圖:
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
python中前綴運(yùn)算符 *和 **的用法示例詳解
這篇文章主要介紹了python中前綴運(yùn)算符 *和 **的用法,本文通過實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友參考下吧2020-05-05python自動(dòng)化神器pyautogui使用步驟
這篇文章主要給大家介紹了關(guān)于python自動(dòng)化神器pyautogui使用步驟的相關(guān)資料,在Python當(dāng)中不僅代碼簡(jiǎn)單,而且有著非常豐富的模塊,pyautogui就可以稱之為自動(dòng)化操作的"神器",需要的朋友可以參考下2023-07-07PyQt5 文本輸入框自動(dòng)補(bǔ)全QLineEdit的實(shí)現(xiàn)示例
這篇文章主要介紹了PyQt5 文本輸入框自動(dòng)補(bǔ)全QLineEdit的實(shí)現(xiàn)示例,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-05-05vscode中配置jupyter的詳細(xì)步驟(徹底解決Failed?to?start?the?Kernel問題)
自從vscode出了支持jupyter?notebook的功能之后,我就再也沒有傻傻的用瀏覽器開過jupyter(問就是vscode好看),下面這篇文章主要給大家介紹了關(guān)于vscode中配置jupyter(徹底解決Failed?to?start?the?Kernel問題)的相關(guān)資料,需要的朋友可以參考下2022-12-12Python截圖的五個(gè)方法實(shí)例總結(jié)
學(xué)習(xí)一門語言最好的方法便是實(shí)踐,想要拿Python寫一個(gè)截圖工具,下面這篇文章主要給大家介紹了關(guān)于Python截圖的五個(gè)方法,文中通過圖文介紹的非常詳細(xì),需要的朋友可以參考下2022-12-12