TensorFlow crée un dataset à partir d'un tableau numpy

TensorFlow construire une belle façon de stocker les données. C'est par exemple utilisé pour stocker les données MNIST dans l'exemple:

>>> mnist
<tensorflow.examples.tutorials.mnist.input_data.read_data_sets.<locals>.DataSets object at 0x10f930630>

Supposer une d'entrée et de sortie des tableaux numpy.

>>> x = np.random.normal(0,1, (100, 10))
>>> y = np.random.randint(0, 2, 100)

Comment puis-je le transformer en un tf dataset?

Je veux utiliser des fonctions comme next_batch

source d'informationauteur Donbeo | 2015-12-18

  1. 8

    L'objet Dataset n'est qu'une partie de la MNIST tutoriel, n'est pas la principale TensorFlow bibliothèque.

    Vous pouvez voir où il est défini ici:

    GitHub Lien

    Le constructeur accepte les images et les étiquettes argument donc vraisemblablement vous pouvez passer vos propres valeurs.

  2. 0

    Comme une alternative, vous pouvez utiliser la fonction tf.train.batch() créer un traitement de vos données et en même temps d'éliminer l'utilisation de tf.placeholder. Reportez-vous à la documentation pour plus de détails.

    >>> images = tf.constant(X, dtype=tf.float32) # X is a np.array
>>> labels = tf.constant(y, dtype=tf.int32)   # y is a np.array
>>> batch_images, batch_labels = tf.train.batch([images, labels], batch_size=32, capacity=300, enqueue_many=True)
  3. 0

    Récemment, Tensorflow ajouté une fonctionnalité à son dataset api de consommer un tableau numpy. Voir ici pour plus de détails.

    Voici le bout de code que j'ai copié à partir de là:

    # Load the training data into two NumPy arrays, for example using `np.load()`.
with np.load("/var/data/training_data.npy") as data:
  features = data["features"]
  labels = data["labels"]

# Assume that each row of `features` corresponds to the same row as `labels`.
assert features.shape[0] == labels.shape[0]

features_placeholder = tf.placeholder(features.dtype, features.shape)
labels_placeholder = tf.placeholder(labels.dtype, labels.shape)

dataset = tf.data.Dataset.from_tensor_slices((features_placeholder, labels_placeholder))
# [Other transformations on `dataset`...]
dataset = ...
iterator = dataset.make_initializable_iterator()

sess.run(iterator.initializer, feed_dict={features_placeholder: features,
                                          labels_placeholder: labels})