pytorch深度神經網絡入門準備自己的圖片數(shù)據(jù)
正文
圖片數(shù)據(jù)一般有兩種情況:
1、所有圖片放在一個文件夾內,另外有一個txt文件顯示標簽。
2、不同類別的圖片放在不同的文件夾內,文件夾就是圖片的類別。
針對這兩種不同的情況,數(shù)據(jù)集的準備也不相同,第一種情況可以自定義一個Dataset,第二種情況直接調用torchvision.datasets.ImageFolder來處理。下面分別進行說明:
一、所有圖片放在一個文件夾內
這里以mnist數(shù)據(jù)集的10000個test為例, 我先把test集的10000個圖片保存出來,并生著對應的txt標簽文件。
先在當前目錄創(chuàng)建一個空文件夾mnist_test, 用于保存10000張圖片,接著運行代碼:
import torch
import torchvision
import matplotlib.pyplot as plt
from skimage import io
mnist_test= torchvision.datasets.MNIST(
'./mnist', train=False, download=True
)
print('test set:', len(mnist_test))
f=open('mnist_test.txt','w')
for i,(img,label) in enumerate(mnist_test):
img_path="./mnist_test/"+str(i)+".jpg"
io.imsave(img_path,img)
f.write(img_path+' '+str(label)+'\n')
f.close()經過上面的操作,10000張圖片就保存在mnist_test文件夾里了,并在當前目錄下生成了一個mnist_test.txt的文件,大致如下:

前期工作就裝備好了,接著就進入正題了:
from torchvision import transforms, utils
from torch.utils.data import Dataset, DataLoader
import matplotlib.pyplot as plt
from PIL import Image
def default_loader(path):
return Image.open(path).convert('RGB')
class MyDataset(Dataset):
def __init__(self, txt, transform=None, target_transform=None, loader=default_loader):
fh = open(txt, 'r')
imgs = []
for line in fh:
line = line.strip('\n')
line = line.rstrip()
words = line.split()
imgs.append((words[0],int(words[1])))
self.imgs = imgs
self.transform = transform
self.target_transform = target_transform
self.loader = loader
def __getitem__(self, index):
fn, label = self.imgs[index]
img = self.loader(fn)
if self.transform is not None:
img = self.transform(img)
return img,label
def __len__(self):
return len(self.imgs)
train_data=MyDataset(txt='mnist_test.txt', transform=transforms.ToTensor())
data_loader = DataLoader(train_data, batch_size=100,shuffle=True)
print(len(data_loader))
def show_batch(imgs):
grid = utils.make_grid(imgs)
plt.imshow(grid.numpy().transpose((1, 2, 0)))
plt.title('Batch from dataloader')
for i, (batch_x, batch_y) in enumerate(data_loader):
if(i<4):
print(i, batch_x.size(),batch_y.size())
show_batch(batch_x)
plt.axis('off')
plt.show()自定義了一個MyDataset, 繼承自torch.utils.data.Dataset。然后利用torch.utils.data.DataLoader將整個數(shù)據(jù)集分成多個批次。
二、不同類別的圖片放在不同的文件夾內
同樣先準備數(shù)據(jù),這里以flowers數(shù)據(jù)集為例
提取 鏈接: https://pan.baidu.com/s/1dcAsOOZpUfWNYR77JGXPHA?pwd=mwg6
花總共有五類,分別放在5個文件夾下。大致如下圖:

我的路徑是d:/flowers/.
數(shù)據(jù)準備好了,就開始準備Dataset吧,這里直接調用torchvision里面的ImageFolder
import torch
import torchvision
from torchvision import transforms, utils
import matplotlib.pyplot as plt
img_data = torchvision.datasets.ImageFolder('D:/bnu/database/flower',
transform=transforms.Compose([
transforms.Scale(256),
transforms.CenterCrop(224),
transforms.ToTensor()])
)
print(len(img_data))
data_loader = torch.utils.data.DataLoader(img_data, batch_size=20,shuffle=True)
print(len(data_loader))
def show_batch(imgs):
grid = utils.make_grid(imgs,nrow=5)
plt.imshow(grid.numpy().transpose((1, 2, 0)))
plt.title('Batch from dataloader')
for i, (batch_x, batch_y) in enumerate(data_loader):
if(i<4):
print(i, batch_x.size(), batch_y.size())
show_batch(batch_x)
plt.axis('off')
plt.show()以上就是pytorch深度神經網絡入門準備自己的圖片數(shù)據(jù)的詳細內容,更多關于pytorch圖片數(shù)據(jù)準備的資料請關注腳本之家其它相關文章!
相關文章
python 對給定可迭代集合統(tǒng)計出現(xiàn)頻率,并排序的方法
今天小編就為大家分享一篇python 對給定可迭代集合統(tǒng)計出現(xiàn)頻率,并排序的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10
Python實戰(zhàn)之IQ測試系統(tǒng)的實現(xiàn)
通常,智商測試測驗一個人在數(shù)字、空間、邏輯、詞匯、創(chuàng)造、記憶等方面的能力。本文將利用Python實現(xiàn)一個IQ測試系統(tǒng),感興趣的可以了解一下2022-09-09
OpenCV+Python--RGB轉HSI的實現(xiàn)
今天小編就為大家分享一篇OpenCV+Python--RGB轉HSI的實現(xiàn),具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11

