NLTK Marquer des mots espagnols en utilisant un corpus

Je suis en train d'apprendre comment tag espagnol mots à l'aide de NLTK.

De la nltk livreIl est assez facile de balise de mots anglais à l'aide de leur exemple. Parce que je suis nouveau à nltk et de tous les traitement de la langue, je suis assez confus sur la façon de proceeed.

J'ai téléchargé le cess_esp corpus. Est-il un moyen de spécifier un corpus nltk.pos_tag. J'ai regardé la pos_tag de la documentation et de ne pas le voir tout ce qui a suggéré que je pouvais. Je me sens comme je suis absent quelques concepts clés. Dois-je marquer manuellement les mots dans mon texte contre le cess_esp corpus? (manuellement je veux marquer ma sentance et de l'exécuter à nouveau le corpus) Ou suis-je à côté de la marque entièrement. Merci

source d'informationauteur dm03514

nltk python

15

Vous devez d'abord lire l'étiquette phrase à partir d'un corpus. NLTK fournit une interface agréable pour pas s'embêter avec des formats différents pour les différents corps; vous pouvez simplement importer le corpus utiliser le corpus fonctions de l'objet pour accéder aux données. Voir http://nltk.googlecode.com/svn/trunk/nltk_data/index.xml .

Ensuite, vous avez à choisir votre choix de tagger et de former les tagger. Il y a plus de fantaisie options, mais vous pouvez commencer avec la N-gramme taggeurs.

Ensuite, vous pouvez utiliser le marqueur pour repérer la phrase que vous voulez. Voici un exemple de code:
```
from nltk.corpus import cess_esp as cess
from nltk import UnigramTagger as ut
from nltk import BigramTagger as bt

# Read the corpus into a list, 
# each entry in the list is one sentence.
cess_sents = cess.tagged_sents()

# Train the unigram tagger
uni_tag = ut(cess_sents)

sentence = "Hola , esta foo bar ."

# Tagger reads a list of tokens.
uni_tag.tag(sentence.split(" "))

# Split corpus into training and testing set.
train = int(len(cess_sents)*90/100) # 90%

# Train a bigram tagger with only training data.
bi_tag = bt(cess_sents[:train])

# Evaluates on testing data remaining 10%
bi_tag.evaluate(cess_sents[train+1:])

# Using the tagger.
bi_tag.tag(sentence.split(" "))
```
La formation d'un tagger sur un large corpus peut prendre un temps considérable. Au lieu de former un marqueur à chaque fois que nous avons besoin, c'est pratique pour enregistrer une formation de tagger dans un fichier pour une utilisation ultérieure.

Veuillez jeter un oeil à Stockage des Taggeurs section dans http://nltk.googlecode.com/svn/trunk/doc/book/ch05.html

Donné le tutoriel dans la réponse précédente, voici une plus approche orientée objet de spaghettis tagger: https://github.com/alvations/spaghetti-tagger

#-*- coding: utf8 -*-
from nltk import UnigramTagger as ut
from nltk import BigramTagger as bt
from cPickle import dump,load
def loadtagger(taggerfilename):
infile = open(taggerfilename,'rb')
tagger = load(infile); infile.close()
return tagger
def traintag(corpusname, corpus):
# Function to save tagger.
def savetagger(tagfilename,tagger):
outfile = open(tagfilename, 'wb')
dump(tagger,outfile,-1); outfile.close()
return
# Training UnigramTagger.
uni_tag = ut(corpus)
savetagger(corpusname+'_unigram.tagger',uni_tag)
# Training BigramTagger.
bi_tag = bt(corpus)
savetagger(corpusname+'_bigram.tagger',bi_tag)
print "Tagger trained with",corpusname,"using" +\
"UnigramTagger and BigramTagger."
return
# Function to unchunk corpus.
def unchunk(corpus):
nomwe_corpus = []
for i in corpus:
nomwe = " ".join([j[0].replace("_"," ") for j in i])
nomwe_corpus.append(nomwe.split())
return nomwe_corpus
class cesstag():
def __init__(self,mwe=True):
self.mwe = mwe
# Train tagger if it's used for the first time.
try:
loadtagger('cess_unigram.tagger').tag(['estoy'])
loadtagger('cess_bigram.tagger').tag(['estoy'])
except IOError:
print "*** First-time use of cess tagger ***"
print "Training tagger ..."
from nltk.corpus import cess_esp as cess
cess_sents = cess.tagged_sents()
traintag('cess',cess_sents)
# Trains the tagger with no MWE.
cess_nomwe = unchunk(cess.tagged_sents())
tagged_cess_nomwe = batch_pos_tag(cess_nomwe)
traintag('cess_nomwe',tagged_cess_nomwe)
print
# Load tagger.
if self.mwe == True:
self.uni = loadtagger('cess_unigram.tagger')
self.bi = loadtagger('cess_bigram.tagger')
elif self.mwe == False:
self.uni = loadtagger('cess_nomwe_unigram.tagger')
self.bi = loadtagger('cess_nomwe_bigram.tagger')
def pos_tag(tokens, mmwe=True):
tagger = cesstag(mmwe)
return tagger.uni.tag(tokens)
def batch_pos_tag(sentences, mmwe=True):
tagger = cesstag(mmwe)
return tagger.uni.batch_tag(sentences)
tagger = cesstag()
print tagger.uni.tag('Mi colega me ayuda a programar cosas .'.split())

Le script suivant vous donne une méthode rapide pour obtenir un "sac de mots" en espagnol phrases. Notez que si vous voulez le faire correctement, vous devez marquer les phrases avant de balise, de sorte 'religiosas." doit être séparé en deux jetons "religiosas','.'

#-*- coding: utf8 -*-
# about the tagger: http://nlp.stanford.edu/software/tagger.shtml 
# about the tagset: nlp.lsi.upc.edu/freeling/doc/tagsets/tagset-es.html
import nltk
from nltk.tag.stanford import POSTagger
spanish_postagger = POSTagger('models/spanish.tagger', 'stanford-postagger.jar', encoding='utf8')
sentences = ['El copal se usa principalmente para sahumar en distintas ocasiones como lo son las fiestas religiosas.','Las flores, hojas y frutos se usan para aliviar la tos y también se emplea como sedante.']
for sent in sentences:
words = sent.split()
tagged_words = spanish_postagger.tag(words)
nouns = []
for (word, tag) in tagged_words:
print(word+' '+tag).encode('utf8')
if isNoun(tag): nouns.append(word)
print(nouns)

Donne:

El da0000
copal nc0s000
se p0000000
usa vmip000
principalmente rg
para sp000
sahumar vmn0000
en sp000
distintas di0000
ocasiones nc0p000
como cs
lo pp000000
son vsip000
las da0000
fiestas nc0p000
religiosas. np00000
[u'copal', u'ocasiones', u'fiestas', u'religiosas.']
Las da0000
flores, np00000
hojas nc0p000
y cc
frutos nc0p000
se p0000000
usan vmip000
para sp000
aliviar vmn0000
la da0000
tos nc0s000
y cc
también rg
se p0000000
emplea vmip000
como cs
sedante. nc0s000
[u'flores,', u'hojas', u'frutos', u'tos', u'sedante.']

Vous devez vous connecter pour publier un commentaire.