Comment voulez-vous charger des images dans Pytorch DataLoader?

La pytorch tutoriel pour le chargement de données et de traitement est tout à fait spécifique à un seul exemple, quelqu'un pourrait-il m'aider avec ce que la fonction doit ressembler à un plus générique simple chargement d'images?

Tutoriel: http://pytorch.org/tutorials/beginner/data_loading_tutorial.html

Mes Données:

J'ai le MINST dataset au format jpg dans le dossier suivant de la structure. (Je sais que je peux utiliser la classe dataset, mais c'est simplement pour voir comment charger des images simples en pytorch sans csv ou de fonctions complexes).

Le nom du dossier est l'étiquette et les images sont 28x28 png en niveaux de gris, pas de transformations nécessaires.

data
    train
        0
            3.png
            5.png
            13.png
            23.png
            ...
        1
            3.png
            10.png
            11.png
            ...
        2
            4.png
            13.png
            ...
        3
            8.png
            ...
        4
            ...
        5
            ...
        6
            ...
        7
            ...
        8
            ...
        9
            ...
InformationsquelleAutor Terry | 2018-04-26
  1. 15

    Voici ce que j'ai fait pour pytorch 4.1

    def load_dataset():
    data_path = 'data/train/'
    train_dataset = torchvision.datasets.ImageFolder(
        root=data_path,
        transform=torchvision.transforms.ToTensor()
    )
    train_loader = torch.utils.data.DataLoader(
        train_dataset,
        batch_size=64,
        num_workers=0,
        shuffle=True
    )
    return train_loader

for batch_idx, (data, target) in enumerate(load_dataset()):
    #train network
    InformationsquelleAutor Duane
  2. 8

    Si vous utilisez mnist, il y a déjà un preset dans pytorch via torchvision.

    Vous pourriez faire

    import torch
import torchvision
import torchvision.transforms as transforms
import pandas as pd

transform = transforms.Compose(
[transforms.ToTensor(),
 transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])

mnistTrainSet = torchvision.datasets.MNIST(root='./data', train=True,
                                    download=True, transform=transform)
mnistTrainLoader = torch.utils.data.DataLoader(mnistTrainSet, batch_size=16,
                                      shuffle=True, num_workers=2)

    Si vous voulez généraliser à un répertoire d'images (même importations comme ci-dessus), vous pourriez faire

    class mnistmTrainingDataset(torch.utils.data.Dataset):

    def __init__(self,text_file,root_dir,transform=transformMnistm):
        """
        Args:
            text_file(string): path to text file
            root_dir(string): directory with all train images
        """
        self.name_frame = pd.read_csv(text_file,sep=" ",usecols=range(1))
        self.label_frame = pd.read_csv(text_file,sep=" ",usecols=range(1,2))
        self.root_dir = root_dir
        self.transform = transform

    def __len__(self):
        return len(self.name_frame)

    def __getitem__(self, idx):
        img_name = os.path.join(self.root_dir, self.name_frame.iloc[idx, 0])
        image = Image.open(img_name)
        image = self.transform(image)
        labels = self.label_frame.iloc[idx, 0]
        #labels = labels.reshape(-1, 2)
        sample = {'image': image, 'labels': labels}

        return sample


mnistmTrainSet = mnistmTrainingDataset(text_file ='Downloads/mnist_m/mnist_m_train_labels.txt',
                                   root_dir = 'Downloads/mnist_m/mnist_m_train')

mnistmTrainLoader = torch.utils.data.DataLoader(mnistmTrainSet,batch_size=16,shuffle=True, num_workers=2)

    Vous pouvez parcourir comme:

    for i_batch,sample_batched in enumerate(mnistmTrainLoader,0):
    print("training sample for mnist-m")
    print(i_batch,sample_batched['image'],sample_batched['labels'])

    Il y a des tas de façons de généraliser pytorch pour dataset image de chargement, la méthode que je connaisse est sous-classement torche.utils.les données.dataset

    InformationsquelleAutor Ari K