CBOW c. s. skip-gramme: pourquoi inverser le contexte et les mots cibles?

Dans cette page, il est dit que:

[...] skip-gramme inverse des contextes et des objectifs, et tente de prédire chaque mot de sa cible word [...]

Cependant, en regardant l'ensemble de données d'apprentissage qu'il produit, le contenu de X et de Y la paire semble être interexchangeable, comme ces deux couples (X, Y):

(quick, brown), (brown, quick)

Alors, pourquoi distinguer que beaucoup d'entre contexte et objectifs si c'est la même chose à la fin?

Aussi, faire Udacity Profondes de l'Apprentissage en cours d'exercice sur word2vec, je me demande pourquoi ils semblent faire la différence entre ces deux approches que beaucoup dans ce problème:

Une alternative à sauter-gramme est une autre Word2Vec modèle appelé CBOW Continu (Sac de Mots). Dans le CBOW modèle, au lieu de prévoir un contexte word à partir d'un vecteur de mot, vous le prédire un mot à partir de la somme de toutes les parole des vecteurs dans son contexte. Mettre en œuvre et évaluer un CBOW modèle formés sur le text8 dataset.

Ne serait pas cela donne le même résultat?

InformationsquelleAutor Guillaume Chevalier | 2016-07-10
  1. 51

    Voici mon simpliste et plutôt naïf compréhension de la différence:

    Comme nous le savons, CBOW est d'apprendre à prédire le mot par le contexte. Ou maximiser la probabilité que la cible de mot en regardant le contexte. Et cela arrive à être un problème pour les mots rares. Par exemple, étant donné le contexte yesterday was a really [...] day CBOW modèle va vous dire que la plupart probablement le mot est beautiful ou nice. Des mots comme delightful sera beaucoup moins d'attention de la le modèle, car il est conçu pour prédire le mot le plus vraisemblable. Ce mot sera lissée sur beaucoup d'exemples avec la fréquence des mots.

    D'autre part, la skip-gramme modèle est conçu pour prédire le contexte. Étant donné la parole delightful il faut la comprendre et de nous dire qu'il y a une énorme probabilité que le contexte est yesterday was really [...] day, ou d'un autre contexte. Avec skip-gramme le mot delightful va pas essayer de rivaliser avec le mot beautiful mais au lieu de cela, delightful+context paires seront traitées comme de nouvelles observations.

    Mise à JOUR

    Grâce à @0xF pour le partage de cet article

    Selon Mikolov

    Skip-gramme: fonctionne bien avec une petite quantité de données d'apprentissage, représente bien même rare de mots ou de phrases.

    CBOW: plusieurs fois plus rapide à former que la skip-gramme, un peu plus de précision pour les mots fréquents

    Un plus plus le sujet est trouvé ici:

    Dans le "skip-gram" mode alternative à la "CBOW", plutôt que le calcul de la moyenne
    le contexte des mots, chacun d'eux est utilisé comme une paires de formation exemple. Que
    est, à la place d'un CBOW exemple comme [prévoir "mangé" de
    moyenne('Le', 'chat', 'la', 'souris')], le réseau est présenté avec
    quatre skip-gramme exemples [prévoir "mangé" de "La"], [prédire 'mangé'
    de 'cat'], [prévoir "mangé" de "la"], [prédire 'mangé' de 'souris'].
    (La même fenêtre de réduction se produit, donc la moitié du temps
    juste deux exemples, à la fois proche de mots.)

    • Ce poste quora [quora.com/..., dit-skip-gramme a besoin de moins de données à former que les cbow,tout le contraire de la vue de votre commentaire.Pouvez-vous justifier votre réponse à l'aide de tout document publié ou donc.
    • Merci pour cette remarque! Les explications fournies dans cet article un sens, j'ai donc mis à jour ma réponse.
    InformationsquelleAutor Serhiy
  2. 0

    Il a à voir avec ce qu'est exactement vous êtes le calcul à un moment donné. La différence deviendra plus clair si vous commencez à regarder les modèles qui incorporent un contexte plus large, pour chaque calcul de possibilité.

    Dans skip-gramme, vous êtes calculer le contexte du mot(s) de la parole à la position actuelle dans la phrase; vous êtes "sauter" le mot courant (et potentiellement un peu du contexte) dans votre calcul. Le résultat peut être plus d'un mot (mais pas si votre fenêtre est juste un mot long).

    Dans CBOW, vous êtes calcul de la parole à partir du contexte du mot(s), de sorte que vous n'aurez jamais un mot comme un résultat.

    • La différence est pas encore clair pour moi, la seule chose qui semble changer, c'est la marge des mots près de la fin et de début de phrases: dans un modèle, il y aura plus de mots à l'entrée de la taille ou de la taille de sortie en termes de la façon dont souvent les mêmes mots ont été présentés. Sur un infiniment longue phrase, les deux modèles n'aurait pas que l'inégalité de rembourrage concept que je propose.
    • Comme un exemple, comment un changement dans le modèle de configuration dans le Udacity lien que j'ai envoyé? Il me semble que seul l'échange d'étiquettes avec l'entrée des exemples ferait l'affaire, mais il ne peut pas être vrai, la différence serait si anodin...
    InformationsquelleAutor Clay