python實(shí)現(xiàn)將兩個(gè)文件夾合并至另一個(gè)文件夾(制作數(shù)據(jù)集)

更新時(shí)間：2020年04月03日 15:12:52 作者：樸素.無(wú)恙

這篇文章主要介紹了python實(shí)現(xiàn)將兩個(gè)文件夾合并至另一個(gè)文件夾(制作數(shù)據(jù)集)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

此操作目的是為了制作自己的數(shù)據(jù)集，深度學(xué)習(xí)框架進(jìn)行數(shù)據(jù)準(zhǔn)備，此操作步驟包括對(duì)文件夾進(jìn)行操作，將兩個(gè)文件夾合并至另一個(gè)文件夾

該實(shí)例為一個(gè)煤礦工人臉識(shí)別的案例;首先原始數(shù)據(jù)集（簡(jiǎn)化版的數(shù)據(jù)集旨在說(shuō)明數(shù)據(jù)準(zhǔn)備過(guò)程）如下圖所示：

該數(shù)據(jù)集只有三個(gè)人的數(shù)據(jù)，A01代表工人甲的煤礦下的照片，B01代表工人甲下礦前的照片，同理A02、B02代表工人乙的礦下、礦上的照片數(shù)據(jù)。。。

如下圖所示

礦下

礦上

開(kāi)始制作數(shù)據(jù)集：

首先建立訓(xùn)練集（0.7）和測(cè)試集（0.3），即建立一個(gè)空白文件夾

將該文件夾分為四個(gè)小文件夾（空），train代表訓(xùn)練集，val代表測(cè)試集，valb代表礦井下的測(cè)試集，vall代表礦井上的測(cè)試集，注：后邊兩個(gè)測(cè)試集可有可無(wú)

最終制作的數(shù)據(jù)集如下所示：

下面為所有的程序詳解

#導(dǎo)入一些進(jìn)行該操作需要的庫(kù)
import numpy as np
import os
import random
import shutil

path=r'C:\Users\Administrator.SKY-20180518VHY\Desktop\rx\ore'#原始數(shù)據(jù)集的路徑
data=os.listdir(path)
#listdir該操作（[添加鏈接描述](http://www.dbjr.com.cn/article/184106.htm)）在我的上篇文章中有所介紹，此操作能讀取的內(nèi)容為A01、A02、A03、B01、B02、B03這些文件夾
#print(data)

root=path#復(fù)制原始數(shù)據(jù)路徑path

讀取文件夾 A01、A02、A03、存入c列表中B01、B02、B03，將其存入d列表中

c=[]
d=[]#創(chuàng)建兩個(gè)空列表
for i in range(len(data)):
 a=data[i][0]
 if (a=='A'):
  c.append(data[i])
 else:
  d.append(data[i])
#print(d)

導(dǎo)入路徑四個(gè)空文件夾的路徑

train_root='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\myself\\train'
val_root='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\myself\\val'
vall_root='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\myself\\valb'
valb_root='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\myself\\vall'


for i in range(len(c)):
 qqq=os.path.exists(train_root+'/'+c[i][1:])
 if (not qqq):
  os.mkdir(train_root+'/'+c[i][1:])
  qq=os.path.exists(val_root+'/'+c[i][1:])
  if (not qq):
   os.mkdir(val_root+'/'+c[i][1:])
   qq=os.path.exists(vall_root+'/'+c[i][1:])
   if (not qq):
    os.mkdir(vall_root+'/'+c[i][1:])
    qq=os.path.exists(valb_root+'/'+c[i][1:])
    if (not qq):
     os.mkdir(valb_root+'/'+c[i][1:])
#f=[]
#g=[]
aq='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\rx\\ore\\'
train_root1='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\myself\\train\\'
val_root1='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\myself\\val\\'
vall_root1='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\myself\\valb\\'
valb_root1='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\myself\\vall\\'
for i in range(len(c)):
 a=c[i]
 data_0=os.listdir(aq+a)
# f.append(data_0)
# g.append(aq+a)
#print(f)
#print(g) 
 random.shuffle(data_0)#打亂A中數(shù)據(jù)
 for j in range(len(d)):
  b=d[j]
  if(a[1:]==b[1:]):
   data_1=os.listdir(aq+b)
   #print(aq+b);
   random.shuffle(data_1)
   #print(data_1)
   #print(data_0,data_1)
   for z in range(len(data_0)):
    #print(z)
    pic_path=aq+a+'/'+data_0[z]
    
    if z<int(len(data_0)*0.7):
     obj_path=train_root1+a[1:]+'/'+data_0[z]
     
    else:
     obj_path=val_root1+a[1:]+'/'+data_0[z]
     obl_path=vall_root1+a[1:]+'/'+data_0[z]
     shutil.copyfile(pic_path,obl_path)
   #print(len(data_0),len(data_0)*0.7)
    #if (os.path.exists(pic_path)):
    shutil.copyfile(pic_path,obj_path)
   for z in range(len(data_1)):
    pic_path=aq+b+'/'+data_1[z]
    if z<int(len(data_1)*0.7):
     obj_path=train_root1+b[1:]+'/'+data_1[z]
     
    else:
     obj_path=val_root1+b[1:]+'/'+data_1[z]
     obl_path=valb_root1+a[1:]+'/'+data_1[z]
     shutil.copyfile(pic_path,obl_path)
    #if (os.path.exists(pic_path)):
    shutil.copyfile(pic_path,obj_path)#shutil.copyfile( src, dst)

從源src復(fù)制到dst中去。當(dāng)然前提是目標(biāo)地址是具備可寫(xiě)權(quán)限。拋出的異常信息為IOException. 如果當(dāng)前的dst已存在的話就會(huì)被覆蓋掉

將數(shù)據(jù)送入pytorch中，對(duì)數(shù)據(jù)進(jìn)行迭代

from __future__ import print_function, division
import torch
import torch.nn as nn
import torch.optim as optim
from torch.optim import lr_scheduler
import numpy as np
import torchvision
from torchvision import datasets, models, transforms
import matplotlib.pyplot as plt
import time
import os
import copy
import math
import torch.nn.functional as F

D=299

data_transforms = {
 'train': transforms.Compose([
#  transforms.RandomResizedCrop(D),
  transforms.Resize(D),
  transforms.RandomCrop(D),
  transforms.RandomHorizontalFlip(),
  transforms.ToTensor(),
  transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
 ]),
 'val': transforms.Compose([
  transforms.Resize(D),
  transforms.CenterCrop(D),
  transforms.ToTensor(),
  transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
 ]),
}

data_dir = r'C:\Users\Administrator.SKY-20180518VHY\Desktop\myself'
image_datasets = {x: datasets.ImageFolder(os.path.join(data_dir, x),
           data_transforms[x])
     for x in ['train', 'val']}
dataloaders = {x: torch.utils.data.DataLoader(image_datasets[x], batch_size=200,
            shuffle=True, num_workers=4)
    for x in ['train', 'val']}
dataset_sizes = {x: len(image_datasets[x]) for x in ['train', 'val']}
class_names = image_datasets['train'].classes

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
#print(image_datasets['train'][0])
img, label = image_datasets['val'][11] 
print(label)#輸出為2即第三類(lèi)

以上這篇python實(shí)現(xiàn)將兩個(gè)文件夾合并至另一個(gè)文件夾(制作數(shù)據(jù)集)就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: