Comment trouver le mot le plus proche d'un vecteur à l'aide de word2vec

J'ai commencé à utiliser Word2vec et je me demandais comment pouvons-nous trouver le plus proche de la parole à un vecteur suppose.
J'ai ce vecteur, qui est le vecteur moyen pour un ensemble de vecteurs:

array([-0.00449447, -0.00310097, 0.02421786, ...], dtype=float32)

Est-il simple de trouver les plus similaires mot dans ma formation données à ce vecteur?

Ou la seule solution est de calculer la similarité cosinus entre ce vecteur et les vecteurs de chaque mot dans ma formation de données, puis sélectionnez la plus proche?

Grâce.

OriginalL'auteur sel | 2015-09-24

  1. 33

    Pour gensim mise en œuvre de word2vec il est most_similar() fonction qui vous permet de trouver les mots sémantiquement proches d'un mot donné:

    >>> model.most_similar(positive=['woman', 'king'], negative=['man'])
[('queen', 0.50882536), ...]

    ou à sa représentation vectorielle:

    >>> your_word_vector = array([-0.00449447, -0.00310097, 0.02421786, ...], dtype=float32)
>>> model.most_similar(positive=[your_word_vector], topn=1))

    où topn définit le nombre de résultats retournés.

    Cependant, mon sentiment est que la fonction fait exactement la même chose que vous avez proposé, c'est à dire calcule le cosinus de similarité pour le vecteur donné et chaque autre vecteur dans le dictionnaire (ce qui est tout à fait inefficace...)

    Pouvez-vous expliquer ce qu'est positive et negative paramètre pour most_similar() méthode? J'ai juste commencé à word2vec.
    positive param indique ces mots, qui devrait être similaire pour le mot que vous cherchez. negative - les mots qui doivent être différent de votre mot. most_similar() fonction retourne le mot répondant le mieux à ces critères. Selon la doc les auteurs de word2vec ont montré que le mot vecteurs de capture de certaines régularités linguistiques, par exemple le vecteur des opérations vector('king') - vector('man') + vector('woman') est proche de vector('queen'). C'est la motivation pour l'exemple ci-dessus.

    OriginalL'auteur Nicolas Ivanov

  2. 6

    N'oubliez pas d'ajouter un tableau vide avec des mots négatifs dans most_similar fonction:

    import numpy as np
model_word_vector = np.array( my_vector, dtype='f')
topn = 20;
most_similar_words = model.most_similar( [ model_word_vector ], [], topn)

    OriginalL'auteur Andrew Krizhanovsky

  3. 4

    Sinon, le modèle.wv.similar_by_vector(vecteur, n sup=10, restrict_vocab=None) est également disponible dans les gensim paquet.

    Trouver le top-N la plupart des mots similaires par vecteur.

    Paramètres:

    • vecteur (numpy.array) – Vecteur à partir duquel les similitudes sont calculés.

    • topn ({int, False}, facultatif) – Nombre de haut-N mots similaires pour le retour. Si topn est Faux, similar_by_vector retourne le vecteur de
      scores de similarité.

    • restrict_vocab (int, facultatif) – Facultatif entier qui limite la gamme de vecteurs qui sont recherchés pour la plupart-des valeurs similaires. Pour
      exemple, restrict_vocab=10000 serait seulement de vérifier la première 10000 mot
      vecteurs dans le vocabulaire de l'ordre. (Cela peut être utile que si vous avez
      triés sur le vocabulaire par ordre décroissant de fréquence.)

    Retourne: Séquence de (word, similitude).

    Type de retour: liste de (str, float)

    OriginalL'auteur Moobie