Tensorflow: perte de diminuer, mais la précision stable
Mon équipe est la formation de CNN dans Tensorflow pour la classification binaire endommagés/les parties acceptables. Nous avons créé notre code en modifiant la cifar10 exemple de code. Dans ma précédente expérience avec les Réseaux de Neurones, je me suis toujours entraîné jusqu'à ce que la perte a été très proche de 0 (bien en dessous de 1). Cependant, nous sommes en train d'évaluer notre modèle avec un ensemble de validation en cours de formation (sur un autre GPU), et il semble que la précision cessé d'augmenter après environ 6.7 k étapes, alors que la perte est encore en baisse constante, après plus de 40k étapes. Est-ce à cause de surajustement? Doit-on s'attendre à voir un autre pic de précision une fois que la perte est très proche de zéro? Le courant max de précision n'est pas acceptable. Doit-on le tuer et de le garder tuning? Que recommandez-vous? Voici notre code modifié et graphiques du processus de formation.
https://gist.github.com/justineyster/6226535a8ee3f567e759c2ff2ae3776b
La précision et la Perte d'Images
OriginalL'auteur Justin Eyster | 2017-04-19
Vous devez vous connecter pour publier un commentaire.
Une diminution binaire entropie croisée n'implique pas une augmentation de la précision. Considérer l'étiquette 1, les prédictions de 0,2, 0,4 et 0,6 à échéances 1, 2, 3 et classification seuil de 0,5. échéances 1 et 2 produira une diminution de la perte, mais aucune augmentation de la précision.
Vous assurer que votre modèle dispose de la capacité suffisante par le surajustement les données d'apprentissage. Si le modèle est le surajustement les données d'apprentissage, éviter le surajustement en utilisant des techniques de régularisation tels que le décrochage, L1 et L2 de régularisation et de données d'augmentation.
Dernier, confirmer vos données de validation et de formation, les données proviennent de la même distribution.
OriginalL'auteur rafaelvalle
Voici mes suggestions, l'un des problèmes est que votre réseau de commencer à mémoriser les données, oui, vous devriez augmenter la régularisation,
oui le tuer, avec la diminution de la perte pour la formation et avoir la stabilité de la précision pour la validation, cela signifie que la capacité de votre réseau est faible (faible modèle) essayer d'aller plus loin.
tout d'abord appliquer de décrochage des couches, si ça n'a pas de sens, puis ajouter plus de couches et plus d'abandons. essayez également de réduire votre taille de filtre et d'augmenter les canaux.
Nos images n'est qu'un canal (noir et blanc). Pourriez-vous expliquer plus sur l'augmentation de canaux? Aussi, ne vous pense que changer le nombre de filtres permettront d'améliorer la précision? Il est 256 actuellement.
chaque configuration dans les paramètres de réseau sont juste atteindre par essais et erreurs, personne ne peut dire de changer les filtres ou les couches, ou tout peut améliorer vos résultats, vous devriez essayer tous les moyens possibles pour atteindre votre objectif de précision,
OriginalL'auteur Ali Abbasi