Quelle est la signification du mot logits dans TensorFlow?

Logits est surchargé terme qui peut signifier beaucoup de choses différentes:

---

En Mathématiques, Logit est une fonction que les cartes de probabilités ([0, 1]) à R ((-inf, inf))

Probabilité de 0,5 correspond à un logit de 0. Négatif logit correspondent à des probabilités de moins de 0,5, positif > 0.5.

En ML, il peut être

le vecteur de cru (non normalisée) des prédictions de classification
modèle de produit, qui est normalement ensuite transmis à une normalisation
fonction. Si le modèle de résolution d'un multi-classe de la classification
problème, logits deviennent généralement une entrée à la fonction softmax. L'
softmax fonction génère alors un vecteur de (normalisée) des probabilités
avec une seule valeur pour chaque classe.

Logits aussi parfois faire référence à l'élément-sage inverse de la fonction sigmoïde.

Juste l'ajout de cette précision pour que tous ceux qui défile en bas de cette quantité peut au moins s'il répond juste, car il ya tellement de nombreuses réponses erronées upvoted.

Diansheng de réponse et JakeJ de réponse obtenir la droite.

Une nouvelle réponse posté par Shital Shah est une encore meilleure et plus complète de la réponse.

---

Oui, logit comme une mathématique la fonction dans les statistiques, mais la logit utilisé dans le contexte des réseaux de neurones est différent. Statistiques logit n'a même pas de sens ici.

---

Je ne pouvais pas trouver une définition formelle de n'importe où, mais logit signifie en gros:

Les premières prédictions qui sortent de la dernière couche du réseau de neurones.

1. C'est le tenseur sur lequel vous appliquez le argmax fonction pour obtenir les prédit de classe.

2. C'est le tenseur qui vous alimentez le softmax fonction pour obtenir les probabilités prédites classes.

---

Aussi, à partir d'un tutoriel sur officiel tensorflow site web:

Logits Couche

La dernière couche de notre réseau de neurones est les logits de la couche, qui sera de retour les valeurs brutes de nos prédictions. Nous avons créer une couche dense avec 10 neurones (un pour chaque classe cible de 0 à 9), avec un linéaire d'activation (par défaut):

logits = tf.layers.dense(inputs=dropout, units=10)

---

Si vous êtes encore confus, la situation se présente comme suit:

raw_predictions = neural_net(input_layer)
predicted_class_index_by_raw = argmax(raw_predictions)
probabilities = softmax(raw_predictions)
predicted_class_index_by_prob = argmax(probabilities)

où, predicted_class_index_by_raw et predicted_class_index_by_prob sera égal.

Un autre nom pour raw_predictions dans le code ci-dessus est logit.

---

Comme pour la pourquoi logit... je n'ai aucune idée. Désolé.

[Edit: Voir cette réponse pour l'historique des motivations derrière le terme.]

---

Trivia

Bien que, si vous le souhaitez, vous pouvez appliquer des statistiques logit à probabilities qui sortent de l' softmax fonction.

Si la probabilité d'une certaine classe est p,

Puis le log-odds de cette classe est L = logit(p).

Aussi, la probabilité de cette classe peuvent être récupérés sous forme de p = sigmoid(L), à l'aide de la sigmoïde fonction.

Pas très utile pour calculer la log-odds bien.

Résumé

Dans le contexte de l'apprentissage en profondeur la logits couche signifie que la couche qui se nourrit à softmax (ou d'autres normalisation). La sortie de la softmax sont les probabilités pour la tâche de classification et son entrée est logits couche. Les logits de la couche de produit, en général, les valeurs de -l'infini à +l'infini et la softmax couche transforme les valeurs de 0 à 1.

Contexte Historique

D'où vient ce terme provient de l'? Dans les années 1930 et 40, plusieurs personnes ont essayé de s'adapter de la régression linéaire pour le problème de la prédiction des probabilités. Cependant, la régression linéaire, produit un résultat de -l'infini à +l'infini, tandis que pour les probabilités de notre sortie est de 0 à 1. Une façon de le faire est en quelque sorte de cartographie des probabilités de 0 à 1 à l'infini à +l'infini et ensuite utiliser la régression linéaire, comme d'habitude. Une telle cartographie est la distribution normale cumulative qui a été utilisé par Chester Ittner Bonheur en 1934 et il a appelé ce "probit" modèle, l'abréviation de "probabilité de l'unité". Toutefois cette fonction est gourmand en ressources tout en manquant de certaines des propriétés souhaitables pour le multi-classe de la classification. En 1944, Joseph Berkson utilisé la fonction log(p/(1-p)) pour ce faire, la cartographie et l'a appelé "logit", abréviation de "unité logistique". Le terme de régression logistique dérivées à partir de ce que bien.

La Confusion

Malheureusement le terme logits est abusé dans l'apprentissage en profondeur. De la pure mathématique de la perspective logit est un fonction qui effectue au-dessus de la cartographie. Dans l'apprentissage en profondeur les gens ont commencé à appeler le calque "logits couche" qui alimente en fonction logit. Puis les gens ont commencé à appeler la sortie valeurs de cette couche "logit", créant la confusion avec logit la fonction.

TensorFlow Code

Malheureusement TensorFlow code ajoute encore à la confusion par des noms comme tf.nn.softmax_cross_entropy_with_logits. Qu'est-logits dire par là? Il veut simplement dire que l'entrée de la fonction est censé être la sortie du dernier neurone de la couche, comme décrit ci-dessus. Le _with_logits suffixe est redondant, déroutant et inutile. Les fonctions doivent être nommés sans égard à un tel contexte spécifique parce qu'ils sont tout simplement mathématique opérations qui peuvent être effectuées sur les valeurs dérivées de nombreux autres domaines. En fait TensorFlow a une autre fonction similaire sparse_softmax_cross_entropy où ils heureusement oublié d'ajouter _with_logits suffixe de la création de l'incohérence et l'ajouter à la confusion. PyTorch d'autre part tout simplement les noms de sa fonction sans ce genre de suffixes.

Référence

La Logit/Probit conférence des diapositives est l'une des meilleures ressources pour comprendre logit. J'ai également mis à jour Article de Wikipedia avec certaines des informations ci-dessus.

Ils sont fondamentalement au maximum appris modèle que vous pouvez obtenir à partir du réseau, avant il a été écrasé vers le bas à une seule le nombre de classes qui nous intéresse. Découvrez comment certains chercheurs les utilisent pour former une faible réseau neuronal basé sur ce qu'est un réseau profond a appris: https://arxiv.org/pdf/1312.6184.pdf

C'est un peu comme faire l'apprentissage d'un sujet en détail, vous découvrirez un grand nombre de points mineurs, mais ensuite, dans l'enseignement de l'étudiant, vous essayez de compresser dans le cas le plus simple. Si l'étudiant a essayé d'enseigner, il serait très difficile, mais serait capable de la décrire juste assez bien pour l'utilisation de la langue.

Logits souvent sont les valeurs de Z de la fonction de la couche de sortie en Tensorflow.