PyTorch: Verwendung von DataLoaders für benutzerdefinierte Datasets

Ja, das ist möglich. Erstellen Sie einfach die Objekte, die von sich aus, z.B.

import torch.utils.data as data_utils

train = data_utils.TensorDataset(features, targets)
train_loader = data_utils.DataLoader(train, batch_size=50, shuffle=True)

wo features und targets sind Tensoren. features werden 2-D, also eine matrix, wo jede Zeile steht für eine Ausbildung Probe, und die targets 1-D oder 2-D, je nachdem, ob Sie versuchen, vorherzusagen, ein Skalar oder ein Vektor.

Hoffe, das hilft!

BEARBEITEN: Antwort zu @sarthak Frage

Grundsätzlich ja. Wenn Sie ein Objekt erstellen vom Typ TensorDatadann der Konstruktor untersucht werden, ob die ersten Dimensionen des feature-tensor (das heißt eigentlich data_tensor) und die Ziel-tensor (genannt target_tensor) die gleiche Länge haben:

assert data_tensor.size(0) == target_tensor.size(0)

Allerdings, wenn Sie füttern wollen diese Daten in ein neuronales Netz anschließend, dann müssen Sie vorsichtig sein. Während convolution-Schichten arbeiten, auf Daten wie du, (glaube ich) alle anderen Arten von Schichten zu erwarten sein, die Daten in matrix-form. Also, wenn Sie laufen in ein Problem wie dieses, dann eine einfache Lösung wäre, konvertieren Sie Ihre 4D-Datensatz (gegeben als eine Art von tensor, z.B. FloatTensor) in eine matrix mit der Methode view. Für Ihre 5000xnxnx3 dataset, würde dies wie folgt Aussehen:

2d_dataset = 4d_dataset.view(5000, -1)

(Der Wert -1 sagt PyTorch, um herauszufinden, die Länge der zweiten dimension automatisch.)

InformationsquelleAutor der Antwort pho7