ReLu et Dropout dans CNN

Je suis l'étude des Réseaux de Neurones à Convolution. Je suis confus au sujet de certaines couches de CNN.

Concernant ReLu... je sais juste que c'est la somme d'un infini de la fonction logistique, mais ReLu ne veut pas se connecter à toutes les couches supérieures. Pourquoi avons-nous besoin ReLu, et comment ça fonctionne?

Concernant l'Abandon... Comment abandon de travail? J'ai écouté une présentation vidéo de G. Hinton. Il a dit que c'est une stratégie qui ignore la moitié des nœuds, au hasard, lors de la formation du poids, et la moitié du poids lors de la prédiction. Il dit qu'il a été inspiré par les forêts aléatoires et fonctionne exactement le même que le calcul de la moyenne géométrique de ces formés au hasard des modèles.

Cette stratégie est-elle la même que le décrochage?

Quelqu'un peut-il m'aider à résoudre ce problème?

source d'informationauteur user3783676

  1. 19

    ReLu:
    Le redresseur de la fonction est une fonction d'activation f(x) = Max(0, x) qui peut être utilisé par les neurones, tout comme toute autre fonction d'activation, d'un nœud en utilisant le redresseur de l'activation de la fonction est appelée une ReLu nœud. La principale raison pour laquelle il est utilisé, c'est parce que de la façon dont efficacement, il peut être calculé par rapport à la plus classique de l'activation des fonctions comme le sigmoïde et tangente hyperbolique, sans faire de différence significative pour la généralisation de la précision. Le redresseur de fonction d'activation est utilisé à la place d'un linéaire de la fonction d'activation pour ajouter de la non-linéarité du réseau, sinon le réseau ne voulut jamais être en mesure de calculer une fonction linéaire.

    D'abandon:
    Oui, la technique décrite est la même que le décrochage. La raison que de façon aléatoire en ignorant les nœuds est utile, car il empêche les inter-dépendances à l'émergence d'entre les nœuds (I. e. les nœuds de ne pas apprendre des fonctions qui s'appuient sur les valeurs d'entrée d'un autre nœud), cela permet au réseau pour en savoir plus plus robuste de la relation. La mise en œuvre d'abandon a le même effet que la moyenne à partir d'un comité de réseaux, mais le coût est beaucoup moins dans le temps et l'espace de stockage requis.