L'ajout de L1/L2 de régularisation dans PyTorch?
Est-il de toute façon, je peux ajouter simple L1/L2 de régularisation dans PyTorch? Nous pouvons probablement calculer la régularisation de la perte en ajoutant simplement le data_loss
avec le reg_loss
mais est-il une manière explicite, tout le soutien de PyTorch de la bibliothèque de le faire plus facilement, sans avoir à le faire manuellement?
OriginalL'auteur Wasi Ahmad | 2017-03-09
Vous devez vous connecter pour publier un commentaire.
Ceci est présenté dans la documentation pour PyTorch. Jetez un oeil à http://pytorch.org/docs/optim.html#torch.optim.Adagrad. Vous pouvez ajouter L2 perte en utilisant le poids de décroissance du paramètre à l'Optimisation de la fonction.
Ay, la L2 régularisation est mystérieusement ajouté dans l'Optimisation des fonctions parce que la perte de fonctions sont utilisés au cours de l'Optimisation. Vous pouvez trouver à la discussion ici discuss.pytorch.org/t/simple-l2-regularization/139/3
J'ai quelques branches à l'aide de L2 perte, ce n'est donc pas utile. (J'ai différentes perte de fonctions)
OriginalL'auteur Kashyap
Suivants devraient aider pour la régularisation L2:
OriginalL'auteur devil in the detail
Pour la régularisation L2,
Références:
OriginalL'auteur Sherif Ahmad
Apparemment @Ahmad Sherif à l'aide de la
torch.norm
est plus lent que l'approche directe.Sera de sortie:
Sur le single GPU alimenté unité avec 12Gig de RAM.
OriginalL'auteur prosti