Keras Arrêt Précoce

Je suis à l'entraînement du réseau de neurones pour mon projet à l'aide de Keras. Keras a fourni une fonction pour le début de l'arrêt. Pourrais-je savoir quels sont les paramètres qui doivent être respectées afin d'éviter que le réseau de neurones à partir de surajustement en utilisant début de l'arrêt?

InformationsquelleAutor AizuddinAzman | 2017-05-11

122

Arrêt précoce est essentiellement l'arrêt de la formation une fois que votre perte commence à augmenter (ou en d'autres termes de précision de validation commence à diminuer). Selon documents il est utilisé comme suit;
```
keras.callbacks.EarlyStopping(monitor='val_loss',
                              min_delta=0,
                              patience=0,
                              verbose=0, mode='auto')
```
Valeurs dépend de votre mise en œuvre (problème, la taille des lots, etc...) mais en général, pour éviter le surajustement je voudrais utiliser;
1. Surveiller la validation de la perte (besoin d'utiliser de la croix
  la validation ou au moins de train/jeux de test) par la mise en au monitor
  argument pour 'val_loss'.
2. min_delta est un seuil à quantifier si une perte à une certaine époque comme
  une amélioration ou non. Si la différence de perte est en dessous de min_delta, il est quantifiée
  comme aucune amélioration. Mieux vaut laisser à 0 puisque nous sommes intéressés à
  lorsque la perte devient de pire en pire.
3. patience argument représente le nombre d'époques avant de s'arrêter une fois que votre perte commence à augmenter (arrêts d'amélioration).
  Cela dépend de votre application, si vous utilisez de très petits lots
  ou un grand au taux d'apprentissage votre perte zigzag (précision sera plus bruyant) afin de mieux définir une
  grand patience argument. Si vous utilisez de grands lots et un petit
  l'apprentissage des taux votre perte sera plus facile de sorte que vous pouvez utiliser un
  les petits patience argument. De toute façon, je vais le laisser comme 2 je voudrais donc
  donner le modèle plus de chance.
4. verbose décide d'impression, il laisse à la valeur par défaut (0).
5. mode argument dépend de ce que la direction de votre surveillé la quantité
  a (est-il censé être en hausse ou en baisse), puisque nous surveiller la perte, nous pouvons utiliser min. Mais laissons keras
  poignée pour nous et ensemble que pour auto
Je voudrais donc utiliser quelque chose comme cela et expérience en traçant l'erreur de perte avec et sans arrêt précoce.
```
keras.callbacks.EarlyStopping(monitor='val_loss',
                              min_delta=0,
                              patience=2,
                              verbose=0, mode='auto')
```
Pour ambiguïté possible sur la façon dont les rappels de travail, je vais essayer d'expliquer plus. Une fois que vous appelez fit(... callbacks=[es]) sur votre modèle, Keras appels donné rappel des objets prédéterminés fonctions. Ces fonctions peuvent être appelées on_train_begin, on_train_end, on_epoch_begin, on_epoch_end et on_batch_begin, on_batch_end. Arrêt précoce de callback qui est appelée à chaque époque fin, compare le meilleur contrôle de la valeur avec l'actuel et s'arrête si les conditions sont remplies (combien de temps ont passé depuis que l'observation d'un meilleur contrôle de la valeur et de la plus que de la patience argument, la différence entre la dernière valeur est plus grande que min_delta etc..).

Comme indiqué par @BrentFaust dans les commentaires, le modèle de formation se poursuivra jusqu'à Début de l'Arrêt de conditions sont réunies, ou epochs paramètre (par défaut=10) dans fit() est satisfait. La fixation d'un Arrêt Précoce de rappel ne fera pas le modèle à former au-delà de ses epochs paramètre. Afin de l'appelant fit() fonction avec une plus grande epochs valeur serait plus utile d'Arrêt Précoce de rappel.
- je vous remercie, je n'arrive toujours pas à comprendre la définition de min delta, de la documentation , Min Delta est définie comme la variation minimale de surveiller la valeur, mai je sais comment avez-Keras définit Min changement de surveiller la valeur, est-il en se référant à différents entre l'actuel Val-de la perte et de la précédente Val perte?
- à proximité, min_delta est un seuil à savoir si le quantifier la variation de surveiller la valeur comme une amélioration ou pas. Donc oui, si nous donnons monitor = 'val_loss' puis il renvoie à la différence entre le courant de la validation de la perte et de la validation antérieure de la perte. Dans la pratique, si vous donnez min_delta=0.1 une diminution de la validation de la perte (du courant précédent) plus petites que 0,1 serait pas quantifier, ce qui permettrait de stopper la formation (si vous avez patience = 0).
- Est-il sence de diminuer l'apprentissage du taux d'val_loss ne se sont pas améliorées pour n_epochs? et comment peut-il être fait?
- Oui cela a du sens. Il ne serait pas aider avec le surajustement, mais comme vous l'avez dit, si la formation des pertes (ou ne peuvent pas garantir val_loss mais il est utile que si vous utilisez un bon modèle) cesse de les améliorer, en raison peut-être que votre taux d'apprentissage est trop agressif ou de votre perte de fonction n'est pas assez précise pour traverser vers le bas pour une optima etc.. I. E la perte commence à être bruyant ou augmenter. L'apprentissage du taux de désintégration de l'aide avec cela. Vous pouvez utiliser decay paramètre sur votre optimizer ou de l'installation d'un apprentissage du taux de planificateur rappel dans keras.
- Notez que callbacks=[EarlyStopping(patience=2)] n'a aucun effet, sauf si les temps est donné à model.fit(..., epochs=max_epochs).
- bon point, je vais mettre à jour la réponse.
- Je me dois de préciser.. model.fit permettra d'effectuer de nombreuses époques, par défaut. Offrant une EarlyStopping de rappel, avec une patience valeur ne sera pas causer de continuer la formation de passé par défaut du point d'arrêt, à moins que epochs est donné. De cette façon, vous forcer à garder la formation, à moins que le EarlyStopping conditions sont remplies.
- C'est ma compréhension, j'ai écrit la réponse sur l'hypothèse que le modèle est en cours de formation avec au moins 10 temps (comme par défaut). Après votre commentaire, j'ai réalisé qu'il peut être un cas que le programmeur appelle ajustement avec epoch=1 dans une boucle for (pour les différents cas d'utilisation) dans lequel ce rappel serait un échec. Si il existe une ambiguïté dans ma réponse, je vais essayer de le mettre dans une meilleure façon.
- Avec le EarlyStopping rappel, le modèle qui en résulte objet de model.fit retour le meilleur modèle ou celui sur lequel la formation s'est arrêté (finale époque formés)?
- Depuis que j'ai écrit la réponse, le code a changé un peu. Si vous utilisez la dernière version de Keras, vous pouvez utiliser le restore_best_weights argument (pas sur la documentation encore), qui charge le modèle avec le meilleur poids après la formation. Mais, pour vous, je voudrais utiliser les ModelCheckpoint rappel avec save_best_only argument. Vous pouvez vérifier la documentation, il est simple à utiliser, mais vous avez besoin de charger manuellement les meilleurs poids après la formation.
- Bonjour merci pour la suggestion de la restore_best_weights, mais je suis incapable de l'utiliser, " es = EarlyStopping(moniteur='val_acc', min_delta=1e-4, de la patience=patience_,verbose=1,restore_best_weights=True) TypeError: __init__() a obtenu un inattendu argument mot-clé 'restore_best_weights". Des idées? keras 2.2.2, tf, 1.10 quelle est votre version?
- ah désolé mon mal, je n'ai pas réalisé qu'il n'était pas encore sorti. Il semble que la validation ne soit après la dernière Keras version (2.2.2). Il serait probablement être inclus dans la prochaine version, ou vous pouvez l'installer à partir de la source (ce qui pourrait être instable). Je vous conseille d'utiliser ModelCheckpoint callback dans le temps de le dire.
- Oui l'homme. Je suis en mesure d'utiliser cette fonctionnalité déjà par l'installation de keras à partir de la source de github.
InformationsquelleAutor umutto

Vous devez vous connecter pour publier un commentaire.