Pourquoi tensorflow utilise la chaîne-dernière commande au lieu de la ligne-majeur?

Dans la plupart des tensorflow tutoriels auteurs utilisent le canal-dernière dimension de la commande, par exemple 

input_layer = tf.reshape(features, [-1, 28, 28, 1])

où le dernier chiffre représente le nombre de canaux (https://www.tensorflow.org/tutorials/layers). Utilisé pour Théano et Numpy (à la fois l'utilisation de C-commande, c'est à dire de la ligne-majeur), je trouve cela gênant. Par ailleurs, après avoir lu la la documentation sur dans-disposition de la mémoire de régimes de tensorflow, je pense que canal-dernière mise en page de causer plus de cache-misses, parce que les circonvolutions sont effectués sur des canaux individuels, tandis que dans le canal-dernière de la commande de ces canaux sont mélangés dans la mémoire linéaire, de manière efficace de réduire le cache par N (où N est le nombre de canaux), ce qui est particulièrement inefficace en 3D et 4D circonvolutions. Suis-je quelque chose de mal?

P. S.

J'ai trouvé un étroitement liées fil (Tensorflow 3 canal de commande de couleur entrées). L'auteur de la accepté de répondre états TF utilise ligne-major par défaut, mais étant donné que tous les tutoriels que j'ai trouvé jusqu'à présent montrent canal-derniere commande je trouve que l'allégation trompeuse.

InformationsquelleAutor Eli Korvigo | 2017-06-27
  1. 18

    Voici l'explication:

    https://www.tensorflow.org/performance/performance_guide#use_nchw_image_data_format

    De l'Image format de données se réfère à la représentation de lots d'images. TensorFlow prend en charge NHWC (TensorFlow par défaut) et NCHW (cuDNN par défaut). N désigne le nombre d'images dans le lot, H désigne le nombre de pixels dans la dimension verticale, W désigne le nombre de pixels dans la dimension horizontale, et C se réfère à l'canaux (par exemple 1 pour le noir et blanc, 3 pour le RVB, etc.) Bien que cuDNN peuvent fonctionner sur les deux formats, il est plus rapide à fonctionner dans son format par défaut.

    La meilleure pratique consiste à construire des modèles qui fonctionnent avec NCHW et NHWC comme il est courant de s'entraîner en utilisant NCHW sur GPU, et ensuite faire l'inférence avec NHWC sur le CPU.

    La très brève histoire de ces deux formats est que TensorFlow démarré à l'aide de NHWC car il était un peu plus rapide que sur les Processeurs. Puis le TensorFlow équipe a découvert que les NCHW de meilleures performances lors de l'utilisation de la carte NVIDIA cuDNN de la bibliothèque. La recommandation actuelle est que les utilisateurs soutenir les deux formats dans leurs modèles. Dans le long terme, nous prévoyons de réécriture de graphes pour faire la commutation entre les formats transparent.

    De plus, de creuser dans le code, nous pouvons voir ici que lorsque l'entrée est au format NHWC, tensorflow convertit pour vous de NCHW.

      if (data_format == FORMAT_NHWC) {
    // Convert the input tensor from NHWC to NCHW.
    TensorShape nchw_shape =
        ShapeFromFormat(FORMAT_NCHW, in_batch, in_rows, in_cols, in_depths);
    if (in_depths > 1) {
      Tensor transformed_input;
      OP_REQUIRES_OK(ctx, ctx->allocate_temp(DataTypeToEnum<T>::value,
                                             nchw_shape, &transformed_input));
      functor::NHWCToNCHW<GPUDevice, T, 4>()(
          ctx->eigen_device<GPUDevice>(),
          const_cast<const Tensor&>(input).tensor<T, 4>(),
          transformed_input.tensor<T, 4>());
      input = transformed_input;
    } else {
      // If depth <= 1, then just reshape.
      CHECK(input.CopyFrom(input, nchw_shape));
    }
  }

    Vous pouvez spécifier le format des données que vous souhaitez utiliser pour chaque opération, mais tensorflow à défaut de ne pas utiliser NCHW mais NHWC, c'est pourquoi même les TF defelopers toujours utiliser NHWC pour éviter de spécifier dans chaque opération, le format

    • Ça veut dire que TF convertit la représentation de la ligne majeure, lorsqu'il envoie les données à un GPU? P. S. je ne suis pas les électeurs.
    • Cette documentation me confond, parce que dans les "Meilleures pratiques" recommander à "Utiliser NCHW de l'image format de données", et pourtant, TF développeurs de ne pas suivre cette recommandation dans leurs propres tutoriels.
    • Ne vous inquiétez pas pour le downvote, il arrive. Toutefois look ici: si le format est NHWC puis tensorflow convertit pour vous de NCHW. Vous pouvez spécifier le format des données que vous souhaitez utiliser pour chaque opération et tensorflow à défaut de ne pas utiliser NCHW mais NHWC, c'est pourquoi même les TF defelopers toujours utiliser NHWC pour éviter de spécifier dans chaque opération, le format
    • Je suppose que, vous pouvez ajouter ce commentaire à la réponse.
    • Fait, bonne idée!
    • J'ai eu une formation d'un modèle sur GPU dans NCHW format. Quand j'ai essayé de lancer ce sur CPU il jeta Default MaxPoolingOp only supports NHWC. [[Node: max_pooling2d/MaxPool = MaxPool[T=DT_FLOAT, data_format="NCHW", ksize=[1, 1, 3, 3], padding="SAME", strides=[1, 1, 2, 2], _device="/job:localhost/replica:0/task:0/device:CPU:0"](initial_conv)]]. Je peux utiliser ce modèle sur GPU mais pas sur CPU, savez-vous comment résoudre ce problème?
    • Vous êtes confronté à ce problème: github.com/tensorflow/tensorflow/issues/2660 . Le maxpool opération que vous avez dans votre graphique a la commande enregistrée dans sa définition et, par conséquent, lorsque vous essayez de modifier l'appareil que vous rencontrez cette erreur. À mon humble avis, vous devez charger le modèle appris sur GPU, effectuez réseau de la chirurgie de changement de la maxpool nœud afin d'utiliser le NHWC format et enregistrer le modèle
    • Je vous remercie pour votre commentaire. Pourriez-vous s'il vous plaît aidez-moi à comprendre comment modifier l'ordre de max pool nœud à NHWC format
    • Définir votre modèle en python. Utilisez un économiseur pour restaurer le modèle à partir du point de contrôle. Définir un nouveau modèle en python, avec la maxpool desidred format de données ( tensorflow.org/api_docs/python/tf/nn/max_pool ). Copiez le poids de l'ancien modèle de la nouvelle. Enregistrer le nouveau modèle. C'est plus ou moins le chemin à parcourir
    • belle précision! Mais l'OP a eu un bon point que NHWC ne semble pas être convivial pour les défauts de cache, comment avez-TF mettre en œuvre pour obtenir des bonnes performances de l'unité centrale de dispositifs bien?
    • Je suis un peu confus quand vous dites "format NHWC, tensorflow convertit pour vous de NCHW." Si tensorflow convertit pour vous, est-ce vraiment important? Est le seul problème de la surcharge de tensorflow la conversion des données de NHWC à HCHW? Aussi, quand vous dites tensorflow convertit pour vous, est-ce la conversion terminée avant d'envoyer les données de carte graphique ou de données est envoyé GPU et puis converti à partir NHWC à NCHW?
    • C'est important parce que la conversion est faite par Tensorlow dans le CPU, avant de l'envoyer au GPU (au moins, à partir de ma compréhension de l'extrait ci-dessus, qui semble utiliser eigen et pas cuda)

    InformationsquelleAutor nessuno
  2. 3

    Votre question est basée sur un malentendu.

    Il n'y a pas de contradiction entre les lignes-major et NHWC. De la ligne des principaux moyens que les plus à droite de l'indice est celle qui cause le plus petit sauts dans la mémoire lorsqu'il a des changements et des modifications dans la plus à gauche de l'indice de provoquer le plus gros sauts. En ligne-majeur, la dernière dimension est contiguë, dans la colonne principale, le premier est. Voir https://en.wikipedia.org/wiki/Row-_and_column-major_order#Address_calculation_in_general pour la façon de calculer les décalages de mémoire pour un nombre quelconque de dimensions.

    Donc, TF mémoire EST aménagé en ligne-major. Les différences dans ordre de l'index sont subtiles (certaines personnes préfèrent même CHWN - voir https://github.com/soumith/convnet-benchmarks/issues/66#issuecomment-155944875). NCHW est populaire parce que c'est ce cudnn fait de mieux. Mais, fondamentalement, chaque commune de la disposition de la mémoire dans le DL de ligne est majeur.

    • Ma confusion vient du fait que dans le canal-dernières représentations fondamentalement, vous obtenez un H x W grille de C-dimensions des vecteurs au lieu de C H x W grilles, à l'aspect plus naturel à la ligne-major des modèles pour moi. En tout cas, merci pour la correction de moi.
    InformationsquelleAutor etarion