Comparer la similarité des termes/expressions à l'aide de NLTK?

Je suis en train de comparer les termes/expressions qui serait (ou pas) être reliés sémantiquement - ce ne sont pas des phrases complètes, et pas nécessairement des mots simples; par exemple, -

De "service de réseautage Social" et de "réseau Social" sont clairement fortement lié, mais comment je les quantifier à l'aide de nltk?

Est clair que je suis absent quelque chose que même le code:

w1 = wordnet.synsets('social network')

retourne une liste vide.

Des conseils sur la façon de remédier à cette situation?

essayez de github.com/alvations/pywsd

OriginalL'auteur GG_Python | 2013-06-01

  1. 3

    Il y a quelques mesures de proximité sémantique ou de la similitude, mais ils sont mieux définis pour des mots ou expressions uniques dans wordnet du lexique - pas pour les composés de wordnet est des entrées lexicales, autant que je sache.

    C'est une belle web de mise en œuvre de beaucoup de similitudes wordnet mesures fondées sur le

    Certains plus de lecture sur l'interprétation des composés à l'aide de wordnet similitude (mais pas de l'évaluation de la similarité sur les composés), si vous êtes intéressé:

    Je voudrais aussi regarder des efforts peut-être comme VerbOcean ou ConecptNet:conceptnet5.media.mit.edu/web/c/en/social_network

    OriginalL'auteur arturomp

  2. 2

    Voici une solution que vous pouvez utiliser.

         w1 = wordnet.synsets('social')
     w2 = wordnet.synsets('network')

    w1 et w2 aura un tableau de synsets. Trouver la similitude entre chaque synset de w1 à w2. L'un avec un maximum de similarité de vous donner combiné synset (qui est ce que vous cherchez).

    Voici le code complet

    from nltk.corpus import wordnet
x = 'social'
y = 'network'
xsyn = wordnet.synsets(x)
# xsyn
#[Synset('sociable.n.01'), Synset('social.a.01'), Synset('social.a.02'),   
#Synset('social.a.03'), Synset('social.s.04'), Synset('social.s.05'),   
#Synset('social.s.06')]

ysyn = wordnet.synsets(y)
#ysyn
#[Synset('network.n.01'), Synset('network.n.02'), Synset('net.n.06'), 
#Synset('network.n.04'), Synset('network.n.05'), Synset('network.v.01')]

xlen = len(xsyn)
ylen = len(ysyn)

import numpy
simindex = numpy.zeros( (xlen,ylen) )

def relative_matrix(asyn,bsyn,simindex): # find similarity between asyn & bsyn

    I = -1
    J = -1

    for asyn_element in asyn:
        I += 1

        cb = wordnet.synset(asyn_element.name)
        J = -1
        for bsyn_element in bsyn:
            J += 1
            ib = wordnet.synset(bsyn_element.name)
            if not cb.pos == ib.pos: # compare nn , vv not nv or an
                continue
            score = cb.wup_similarity(ib)
            r = cb.path_similarity(ib)
            if simindex [I,J] < score:
                simindex [I,J] = score

 relative_matrix(xsyn,ysyn,simindex)
 print simindex
'''
array([[ 0.46153846,  0.125     ,  0.13333333,  0.125     ,  0.125     ,
     0.        ],
   [ 0.        ,  0.        ,  0.        ,  0.        ,  0.        ,
     0.        ],
   [ 0.        ,  0.        ,  0.        ,  0.        ,  0.        ,
     0.        ],
   [ 0.        ,  0.        ,  0.        ,  0.        ,  0.        ,
     0.        ],
   [ 0.        ,  0.        ,  0.        ,  0.        ,  0.        ,
     0.        ],
   [ 0.        ,  0.        ,  0.        ,  0.        ,  0.        ,
     0.        ],
   [ 0.        ,  0.        ,  0.        ,  0.        ,  0.        ,
     0.        ]])
'''
#xsyn[0].definition
#'a party of people assembled to promote sociability and communal activity'
#ysyn[0].definition
#'an interconnected system of things or people'

    Si vous voyez simindex[0,0] est la valeur max 0.46153846 donc xsyn[0] et ysyn[0] semble être le mieux décrire w1 = wordnet.synsets('social network') vous pouvez le voir avec la définition.

    OriginalL'auteur Somum

  3. 1

    https://www.mashape.com/amtera/esa-semantic-relatedness

    C'est une API web pour calculer la proximité sémantique entre deux mots ou des extraits de textes..

    OriginalL'auteur Leo

  4. 1
    import difflib

sm = difflib.SequenceMatcher(None)

sm.set_seq2('Social network')
#SequenceMatcher computes and caches detailed information
#about the second sequence, so if you want to compare one
#sequence against many sequences, use set_seq2() to set
#the commonly used sequence once and call set_seq1()
#repeatedly, once for each of the other sequences.
# (the doc)

for x in ('Social networking service',
          'Social working service',
          'Social ocean',
          'Atlantic ocean',
          'Atlantic and arctic oceans'):
    sm.set_seq1(x)
    print x,sm.ratio()

    résultat

    Social networking service 0.717948717949
Social working service 0.611111111111
Social ocean 0.615384615385
Atlantic ocean 0.214285714286
Atlantic and arctic oceans 0.15
    difflib mesures de similarité de chaînes, mais la question demande de calculer la similarité sémantique

    OriginalL'auteur eyquem

  5. 1

    Peut-être que tu aurais besoin d'un WSD module qui permettrait le retour d'un wordnet Synset objet de NLTK. Si oui, vous pouvez prendre un coup d'oeil à ceci: https://github.com/alvations/pywsd

    $ wget https://github.com/alvations/pywsd/archive/master.zip
$ unzip master.zip
$ cd pywsd/
$ ls
baseline.py  cosine.py  lesk.py  README.md  similarity.py  test_wsd.py
$ python
>>> from similarity import max_similarity
>>> sent = 'I went to the bank to deposit my money'
>>> sim_choice = "lin" # Using Lin's (1998) similarity measure.
>>> print "Context:", sent
>>> print "Similarity:", sim_choice 
>>> answer = max_similarity(sent, 'bank', sim_choice)
>>> print "Sense:", answer
>>> print "Definition", answer.definition

    [out]:

    Context: I went to the bank to deposit my money
Similarity: lch
Sense: Synset('bank.n.09')
Definition a building in which the business of banking transacted

    OriginalL'auteur alvas