De vérifier la similarité entre deux mots avec NLTK avec Python

J'ai deux listes et je veux vérifier la similitude entre chaque mots dans les deux liste et de trouver le maximum de similitude.Voici mon code,

from nltk.corpus import wordnet

list1 = ['Compare', 'require']
list2 = ['choose', 'copy', 'define', 'duplicate', 'find', 'how', 'identify', 'label', 'list', 'listen', 'locate', 'match', 'memorise', 'name', 'observe', 'omit', 'quote', 'read', 'recall', 'recite', 'recognise', 'record', 'relate', 'remember', 'repeat', 'reproduce', 'retell', 'select', 'show', 'spell', 'state', 'tell', 'trace', 'write']
list = []

for word1 in list1:
    for word2 in list2:
        wordFromList1 = wordnet.synsets(word1)[0]
        wordFromList2 = wordnet.synsets(word2)[0]
        s = wordFromList1.wup_similarity(wordFromList2)
        list.append(s)

print(max(list))

Mais il en résultera une erreur:

wordFromList2 = wordnet.synsets(word2)[0]
        IndexError: list index out of range

Merci de m'aider à résoudre ce problème.

En vous remerciant

InformationsquelleAutor Punuth | 2015-06-14
  1. 11

    Vous obtenez une erreur si un synset liste est vide, et vous essayez d'obtenir l'élément (inexistant) indice zéro. Mais pourquoi seulement vérifier le zéro-ième élément? Si vous voulez tout vérifier, essayer toutes les paires d'éléments retournés synsets. Vous pouvez utiliser itertools.product() pour vous sauver deux pour-boucles:

    from itertools import product
sims = []

for word1, word2 in product(list1, list2):
    syns1 = wordnet.synsets(word1)
    syns2 = wordnet.synsets(word2)
    for sense1, sense2 in product(syns1, syns2):
        d = wordnet.wup_similarity(sense1, sense2)
        sims.append((d, syns1, syns2))

    C'est inefficace parce que le même synsets sont regarda de nouveau et de nouveau, mais il est le plus proche de la logique de votre code. Si vous avez assez de données pour faire de la vitesse d'un problème, vous pouvez l'accélérer en recueillant les synsets pour tous les mots de la list1 et list2 une fois, et de prendre le produit de la synsets.

    >>> allsyns1 = set(ss for word in list1 for ss in wordnet.synsets(word))
>>> allsyns2 = set(ss for word in list2 for ss in wordnet.synsets(word))
>>> best = max((wordnet.wup_similarity(s1, s2) or 0, s1, s2) for s1, s2 in 
        product(allsyns1, allsyns2))
>>> print(best)
(0.9411764705882353, Synset('command.v.02'), Synset('order.v.01'))
    • Le second morceau de code est génial! Pouvez-vous svp me dire comment comparer les synsets de la première liste, avec les mêmes mots de la deuxième liste, sans synsets? J'ai essayé de modifier allsyns2 mais je sentais, je suis assez nouveau à python et désolé de cette ligne de code avec deux boucles est confus pour moi!
    • Je crains que je ne peux pas dire ce que tu veux dire. Merci de développer cela dans une bonne question, y compris des exemples d'entrée & sortie désirée (et tout code que vous pouvez gérer, bien sûr).
    • Ce que je voulais dire, c'est l'une des deux listes est fixe et connu, comme ceci: list1 = ['mot.n.01', 'mot2.v.01'] . Je suis bloqué car je ne savais pas qu'il y a deux fonctions : 'wordnet.synsets(word) " et " wordnet.synset(word)'. J'ai enlevé le " s " comme ceci: set(wordnet.synset(word) pour le mot dans la liste 1) et il a finalement travaillé
    InformationsquelleAutor alexis
  2. 8

    Essayez de vérifier si ces listes sont vides avant de les utiliser ensuite:

    from nltk.corpus import wordnet

list1 = ['Compare', 'require']
list2 = ['choose', 'copy', 'define', 'duplicate', 'find', 'how', 'identify', 'label', 'list', 'listen', 'locate', 'match', 'memorise', 'name', 'observe', 'omit', 'quote', 'read', 'recall', 'recite', 'recognise', 'record', 'relate', 'remember', 'repeat', 'reproduce', 'retell', 'select', 'show', 'spell', 'state', 'tell', 'trace', 'write']
list = []

for word1 in list1:
    for word2 in list2:
        wordFromList1 = wordnet.synsets(word1)
        wordFromList2 = wordnet.synsets(word2)
        if wordFromList1 and wordFromList2: #Thanks to @alexis' note
            s = wordFromList1[0].wup_similarity(wordFromList2[0])
            list.append(s)

print(max(list))
    • Assez sûr que la if len... ligne sera une erreur de syntaxe. Pouvez également tester la if len(blah1) and len(blah2): depuis, il a juste besoin de savoir qu'ils ne sont pas vides. Si un retour à vide à partir de .synsets sont rares, d'autres suggèrent sans doute juste attraper les IndexError.
    • Merci, j'ai corrigé. Concernant les blocs catch - je suis d'accord, mais je pense qu'un mot blah de ne pas avoir de synonymes à l'intérieur d'une deuxième liste est très commun, donc j'ai utilisé si le bloc
    • Certes, je n'ai pas trafiqué avec celui-là, donc je n'étais pas sûr de la façon commune d'un cas où il était. Désolé-je l'ai mis dans un deuxième commentaire réalisé par @punuth, j'ai été la plupart du temps simplement en notant pour leur bénéfice, car ils sont le seul qui sait combien de fois il l'attend dans le vide.
    • Mieux et plus "pythonic": if wordFromList2 and wordFromList2: .... Vide listes sont considérés comme False.
    InformationsquelleAutor omerbp