欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

pytorch實(shí)現(xiàn)建立自己的數(shù)據(jù)集(以mnist為例)

 更新時(shí)間：2020年01月18日 16:06:16   作者：sjtu_leexx  
今天小編就為大家分享一篇pytorch實(shí)現(xiàn)建立自己的數(shù)據(jù)集(以mnist為例)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧

本文將原始的numpy array數(shù)據(jù)在pytorch下封裝為Dataset類的數(shù)據(jù)集，為后續(xù)深度網(wǎng)絡(luò)訓(xùn)練提供數(shù)據(jù)。

加載并保存圖像信息

首先導(dǎo)入需要的庫，定義各種路徑。

import os
import matplotlib
from keras.datasets import mnist
import numpy as np
from torch.utils.data.dataset import Dataset
from PIL import Image
import scipy.misc

root_path = 'E:/coding_ex/pytorch/Alexnet/data/'
base_path = 'baseset/'
training_path = 'trainingset/'
test_path = 'testset/'

這里將數(shù)據(jù)集分為三類，baseset為所有數(shù)據(jù)（trainingset+testset），trainingset是訓(xùn)練集，testset是測(cè)試集。直接通過keras.dataset加載mnist數(shù)據(jù)集，不能自動(dòng)下載的話可以手動(dòng)下載.npz并保存至相應(yīng)目錄下。

def LoadData(root_path, base_path, training_path, test_path):
  (x_train, y_train), (x_test, y_test) = mnist.load_data()
  x_baseset = np.concatenate((x_train, x_test))
  y_baseset = np.concatenate((y_train, y_test))
  train_num = len(x_train)
  test_num = len(x_test)
  
  #baseset
  file_img = open((os.path.join(root_path, base_path)+'baseset_img.txt'),'w')
  file_label = open((os.path.join(root_path, base_path)+'baseset_label.txt'),'w')
  for i in range(train_num + test_num):
    file_img.write(root_path + base_path + 'img/' + str(i) + '.png\n') #name
    file_label.write(str(y_baseset[i])+'\n') #label
#    scipy.misc.imsave(root_path + base_path + '/img/'+str(i) + '.png', x_baseset[i])
    matplotlib.image.imsave(root_path + base_path + 'img/'+str(i) + '.png', x_baseset[i])
  file_img.close()
  file_label.close()
  
  #trainingset
  file_img = open((os.path.join(root_path, training_path)+'trainingset_img.txt'),'w')
  file_label = open((os.path.join(root_path, training_path)+'trainingset_label.txt'),'w')
  for i in range(train_num):
    file_img.write(root_path + training_path + 'img/' + str(i) + '.png\n') #name
    file_label.write(str(y_train[i])+'\n') #label
#    scipy.misc.imsave(root_path + training_path + '/img/'+str(i) + '.png', x_train[i])
    matplotlib.image.imsave(root_path + training_path + 'img/'+str(i) + '.png', x_train[i])
  file_img.close()
  file_label.close()
  
  #testset
  file_img = open((os.path.join(root_path, test_path)+'testset_img.txt'),'w')
  file_label = open((os.path.join(root_path, test_path)+'testset_label.txt'),'w')
  for i in range(test_num):
    file_img.write(root_path + test_path + 'img/' + str(i) + '.png\n') #name
    file_label.write(str(y_test[i])+'\n') #label
#    scipy.misc.imsave(root_path + test_path + '/img/'+str(i) + '.png', x_test[i])
    matplotlib.image.imsave(root_path + test_path + 'img/'+str(i) + '.png', x_test[i])
  file_img.close()
  file_label.close()

使用這段代碼時(shí)，需要建立相應(yīng)的文件夾及.txt文件，./data文件夾結(jié)構(gòu)如下：

/img文件夾

由于mnist數(shù)據(jù)集其實(shí)是灰度圖，這里用matplotlib保存的圖像是偽彩色圖像。

如果用scipy.misc.imsave的話保存的則是灰度圖像。

xxx_img.txt文件

xxx_img.txt文件中存放的是每張圖像的名字

xxx_label.txt文件

xxx_label.txt文件中存放的是類別標(biāo)記

這里記得保存的時(shí)候一行為一個(gè)圖像信息，便于后續(xù)讀取。

定義自己的Dataset類

pytorch訓(xùn)練數(shù)據(jù)時(shí)需要數(shù)據(jù)集為Dataset類，便于迭代等等，這里將加載保存之后的數(shù)據(jù)封裝成Dataset類，繼承該類需要寫初始化方法（__init__），獲取指定下標(biāo)數(shù)據(jù)的方法__getitem__），獲取數(shù)據(jù)個(gè)數(shù)的方法（__len__）。這里尤其需要注意的是要把label轉(zhuǎn)為LongTensor類型的。

class DataProcessingMnist(Dataset):
  def __init__(self, root_path, imgfile_path, labelfile_path, imgdata_path, transform = None):
    self.root_path = root_path
    self.transform = transform
    self.imagedata_path = imgdata_path
    img_file = open((root_path + imgfile_path),'r')
    self.image_name = [x.strip() for x in img_file]
    img_file.close()
    label_file = open((root_path + labelfile_path), 'r')
    label = [int(x.strip()) for x in label_file]
    label_file.close()
    self.label = torch.LongTensor(label)#這句很重要，一定要把label轉(zhuǎn)為LongTensor類型的
    
  def __getitem__(self, idx):
    image = Image.open(str(self.image_name[idx]))
    image = image.convert('RGB')
    if self.transform is not None:
      image = self.transform(image)
    label = self.label[idx]
    return image, label
  def __len__(self):
    return len(self.image_name)

定義完自己的類之后可以測(cè)試一下。

  LoadData(root_path, base_path, training_path, test_path)
  training_imgfile = training_path + 'trainingset_img.txt'
  training_labelfile = training_path + 'trainingset_label.txt'
  training_imgdata = training_path + 'img/'
  #實(shí)例化一個(gè)類
  dataset = DataProcessingMnist(root_path, training_imgfile, training_labelfile, training_imgdata)

得到圖像名稱

name = dataset.image_name

這里我們可以單獨(dú)輸出某一個(gè)名稱看一下是否有換行符

print(name[0])
>>>'E:/coding_ex/pytorch/Alexnet/data/trainingset/img/0.png'

如果定義類的時(shí)候self.image_name = [x.strip() for x in img_file]這句沒有strip掉，則輸出的值將為'E:/coding_ex/pytorch/Alexnet/data/trainingset/img/0.png\n'

獲取固定下標(biāo)的圖像

im, label = dataset.__getitem__(0)

得到結(jié)果

以上這篇pytorch實(shí)現(xiàn)建立自己的數(shù)據(jù)集(以mnist為例)就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

相關(guān)文章

最新評(píng)論