Le calcul de la Croix de l'Entropie dans TensorFlow

Je vais avoir un moment difficile avec le calcul de la croix de l'entropie dans tensorflow. En particulier, je suis à l'aide de la fonction:

tf.nn.softmax_cross_entropy_with_logits()

À l'aide de ce qui est en apparence simple code, je ne peux obtenir le retour d'un zéro

import tensorflow as tf
import numpy as np

sess = tf.InteractiveSession()

a = tf.placeholder(tf.float32, shape =[None, 1])
b = tf.placeholder(tf.float32, shape = [None, 1])
sess.run(tf.global_variables_initializer())
c = tf.nn.softmax_cross_entropy_with_logits(
    logits=b, labels=a
).eval(feed_dict={b:np.array([[0.45]]), a:np.array([[0.2]])})
print c

retourne

0

Ma compréhension de la croix de l'entropie comme suit:

H(p,q) = p(x)*log(q(x))

Où p(x) est la vraie probabilité de l'événement x et q(x) est la prédiction de la probabilité de l'événement x.

Il si les deux nombres pour p(x) et q(x) sont utilisés tels que 

0<p(x)<1 AND 0<q(x)<1

il devrait être nulle et la croix de l'entropie. Je m'attends à ce que je suis en utilisant tensorflow de manière incorrecte. Merci d'avance pour toute aide.

  • Ainsi, il est intéressant de noter j'ai eu l'idée d'utiliser de la croix de l'entropie de ce projet: github.com/carpedm20/DCGAN-tensorflow/blob/master/model.py ils utilisent pour déterminer si ou non un échantillon provient d'une vraie distribution. Cependant, il semble qu'un binaire softmax de régression est la même que la régression logistique.
InformationsquelleAutor David Kaftan | 2017-03-01
  1. 12

    Comme ils disent, vous ne pouvez pas orthographier "softmax_cross_entropy_with_logits" sans "softmax". Softmax de [0.45] est [1], et log(1) est 0.

    Mesures de la probabilité d'erreur dans discrètes classification des tâches dans laquelle la
    les classes sont mutuellement exclusifs (chaque entrée est dans exactement une classe). Pour
    exemple, chaque ICRA-10 image est étiqueté avec un seul et unique label: une image
    peut-être d'un chien ou d'un camion, mais pas les deux.

    REMARQUE: Alors que les classes sont mutuellement exclusives, leurs probabilités
    pas besoin d'être. Tout ce qui est nécessaire, c'est que chaque ligne de labels est
    valide distribution de probabilité. Si ils ne le sont pas, le calcul de la
    dégradé sera incorrect.

    Si l'utilisation exclusive labels (où un seul et
    une classe est vrai à un moment), voir sparse_softmax_cross_entropy_with_logits.

    AVERTISSEMENT: Cette op attend non mis à l'échelle logits, puisqu'il effectue une softmax
    sur logits en interne pour plus d'efficacité. N'appelez pas cette op avec l'
    sortie de softmax, car cela permet de produire des résultats incorrects.

    logits et labels doivent avoir la même forme [batch_size, num_classes]
    et de la même dtype (soit float16, float32, ou float64).

    • Aha! Il semble donc que mes problèmes sont causés par une mauvaise compréhension de softmax! Merci pour votre aide!
    • si cela résout votre problème, il serait bon de marquer ce que accepté de répondre. 🙂
    • Merci! Je suis (évidemment) nouveau ici!
    InformationsquelleAutor Don Reba
  2. 15

    En outre de Ne de réponse (+1), cette réponse écrite par mrry susceptibles de vous intéresser, car il donne la formule pour calculer la croix de l'entropie dans TensorFlow:

    Une autre façon d'écrire:

    xent = tf.nn.softmax_cross_entropy_with_logits(logits, labels)

    ...serait:

    softmax = tf.nn.softmax(logits)
xent = -tf.reduce_sum(labels * tf.log(softmax), 1)

    Toutefois, cette alternative serait de (i) moins numériquement stable (depuis
    le softmax peut calculer beaucoup plus grandes valeurs) et (ii) de moins en moins efficace
    (depuis quelques redondant calcul qui se passerait dans le backprop). Pour
    réel utilisations, nous vous recommandons d'utiliser
    tf.nn.softmax_cross_entropy_with_logits().

    • Merci pour le (n-softmax) d'entropie croisée de formule
    InformationsquelleAutor Franck Dernoncourt