欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Pytorch如何加載自己的數(shù)據(jù)集(使用DataLoader讀取Dataset)

 更新時(shí)間：2022年12月14日 14:25:41   作者：l8947943  
這篇文章主要介紹了Pytorch如何加載自己的數(shù)據(jù)集(使用DataLoader讀取Dataset)問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教

1.Pytorch加載數(shù)據(jù)集會(huì)用到官方整理好的數(shù)據(jù)集

很多時(shí)候我們需要加載自己的數(shù)據(jù)集，這時(shí)候我們需要使用Dataset和DataLoader

  • Dataset：是被封裝進(jìn)DataLoader里，實(shí)現(xiàn)該方法封裝自己的數(shù)據(jù)和標(biāo)簽。
  • DataLoader：被封裝入DataLoaderIter里，實(shí)現(xiàn)該方法達(dá)到數(shù)據(jù)的劃分。

2.Dataset

閱讀源碼后，我們可以指導(dǎo)，繼承該方法必須實(shí)現(xiàn)兩個(gè)方法：

  • _getitem_()
  • _len_()

因此，在實(shí)現(xiàn)過程中我們測(cè)試如下：

import torch
import numpy as np

# 定義GetLoader類，繼承Dataset方法，并重寫__getitem__()和__len__()方法
class GetLoader(torch.utils.data.Dataset):
	# 初始化函數(shù)，得到數(shù)據(jù)
    def __init__(self, data_root, data_label):
        self.data = data_root
        self.label = data_label
    # index是根據(jù)batchsize劃分?jǐn)?shù)據(jù)后得到的索引，最后將data和對(duì)應(yīng)的labels進(jìn)行一起返回
    def __getitem__(self, index):
        data = self.data[index]
        labels = self.label[index]
        return data, labels
    # 該函數(shù)返回?cái)?shù)據(jù)大小長度，目的是DataLoader方便劃分，如果不知道大小，DataLoader會(huì)一臉懵逼
    def __len__(self):
        return len(self.data)

# 隨機(jī)生成數(shù)據(jù)，大小為10 * 20列
source_data = np.random.rand(10, 20)
# 隨機(jī)生成標(biāo)簽，大小為10 * 1列
source_label = np.random.randint(0,2,(10, 1))
# 通過GetLoader將數(shù)據(jù)進(jìn)行加載，返回Dataset對(duì)象，包含data和labels
torch_data = GetLoader(source_data, source_label)

3.DataLoader

提供對(duì)Dataset的操作，操作如下：

torch.utils.data.DataLoader(dataset,batch_size,shuffle,drop_last，num_workers)

參數(shù)含義如下：

  • dataset：加載torch.utils.data.Dataset對(duì)象數(shù)據(jù)
  • batch_size：每個(gè)batch的大小
  • shuffle：是否對(duì)數(shù)據(jù)進(jìn)行打亂
  • drop_last：是否對(duì)無法整除的最后一個(gè)datasize進(jìn)行丟棄
  • num_workers：表示加載的時(shí)候子進(jìn)程數(shù)

因此，在實(shí)現(xiàn)過程中我們測(cè)試如下（緊跟上述用例）：

from torch.utils.data import DataLoader

# 讀取數(shù)據(jù)
datas = DataLoader(torch_data, batch_size=6, shuffle=True, drop_last=False, num_workers=2)

此時(shí)，我們的數(shù)據(jù)已經(jīng)加載完畢了，只需要在訓(xùn)練過程中使用即可。

4.查看數(shù)據(jù)

我們可以通過迭代器（enumerate）進(jìn)行輸出數(shù)據(jù)，測(cè)試如下：

for i, data in enumerate(datas):
	# i表示第幾個(gè)batch， data表示該batch對(duì)應(yīng)的數(shù)據(jù)，包含data和對(duì)應(yīng)的labels
    print("第 {} 個(gè)Batch \n{}".format(i, data))

輸出結(jié)果如下圖：

結(jié)果說明：由于數(shù)據(jù)的是10個(gè)，batchsize大小為6，且drop_last=False，因此第一個(gè)大小為6，第二個(gè)為4。

每一個(gè)batch中包含data和對(duì)應(yīng)的labels。

當(dāng)我們想取出data和對(duì)應(yīng)的labels時(shí)候，只需要用下表就可以啦，測(cè)試如下：

# 表示輸出數(shù)據(jù)
print(data[0])
# 表示輸出標(biāo)簽
print(data[1])

結(jié)果如圖：

5.總結(jié)

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

相關(guān)文章

最新評(píng)論