La lemmatisation java

De Chris réponse quant à la Standford Lemmatizer est grand! Absolument magnifique. Il a même inclus un pointeur vers le fichier jar, de sorte que je n'avais pas à google pour elle.

Mais l'une de ses lignes de code a une erreur de syntaxe (il a en quelque sorte changé la fin de la fermeture de parenthèses et de point-virgule à la ligne qui commence par "lemmes.ajouter...), et il a oublié d'inclure les importations.

Autant que la NoSuchMethodError erreur, elle est habituellement causée par cette méthode n'étant pas rendues publiques statiques, mais si vous regardez le code lui-même (à http://grepcode.com/file/repo1.maven.org/maven2/com.guokr/stan-cn-nlp/0.0.2/edu/stanford/nlp/util/Generics.java?av=h) qui n'est pas le problème. Je soupçonne que le problème est quelque part dans le build path (je suis en utilisant Eclipse Kepler, c'était donc pas de problème de configuration de l'33 fichiers jar que j'utilise dans mon projet).

Voici ma correction mineure de Chris du code, avec un exemple (mes excuses à Evanescence pour massacrer leur parfaite paroles):

import java.util.LinkedList;
import java.util.List;
import java.util.Properties;
import edu.stanford.nlp.ling.CoreAnnotations.LemmaAnnotation;
import edu.stanford.nlp.ling.CoreAnnotations.SentencesAnnotation;
import edu.stanford.nlp.ling.CoreAnnotations.TokensAnnotation;
import edu.stanford.nlp.ling.CoreLabel;
import edu.stanford.nlp.pipeline.Annotation;
import edu.stanford.nlp.pipeline.StanfordCoreNLP;
import edu.stanford.nlp.util.CoreMap;
public class StanfordLemmatizer {
protected StanfordCoreNLP pipeline;
public StanfordLemmatizer() {
//Create StanfordCoreNLP object properties, with POS tagging
//(required for lemmatization), and lemmatization
Properties props;
props = new Properties();
props.put("annotators", "tokenize, ssplit, pos, lemma");
/*
* This is a pipeline that takes in a string and returns various analyzed linguistic forms. 
* The String is tokenized via a tokenizer (such as PTBTokenizerAnnotator), 
* and then other sequence model style annotation can be used to add things like lemmas, 
* POS tags, and named entities. These are returned as a list of CoreLabels. 
* Other analysis components build and store parse trees, dependency graphs, etc. 
* 
* This class is designed to apply multiple Annotators to an Annotation. 
* The idea is that you first build up the pipeline by adding Annotators, 
* and then you take the objects you wish to annotate and pass them in and 
* get in return a fully annotated object.
* 
*  StanfordCoreNLP loads a lot of models, so you probably
*  only want to do this once per execution
*/
this.pipeline = new StanfordCoreNLP(props);
}
public List<String> lemmatize(String documentText)
{
List<String> lemmas = new LinkedList<String>();
//Create an empty Annotation just with the given text
Annotation document = new Annotation(documentText);
//run all Annotators on this text
this.pipeline.annotate(document);
//Iterate over all of the sentences found
List<CoreMap> sentences = document.get(SentencesAnnotation.class);
for(CoreMap sentence: sentences) {
//Iterate over all tokens in a sentence
for (CoreLabel token: sentence.get(TokensAnnotation.class)) {
//Retrieve and add the lemma for each word into the
//list of lemmas
lemmas.add(token.get(LemmaAnnotation.class));
}
}
return lemmas;
}
public static void main(String[] args) {
System.out.println("Starting Stanford Lemmatizer");
String text = "How could you be seeing into my eyes like open doors? \n"+
"You led me down into my core where I've became so numb \n"+
"Without a soul my spirit's sleeping somewhere cold \n"+
"Until you find it there and led it back home \n"+
"You woke me up inside \n"+
"Called my name and saved me from the dark \n"+
"You have bidden my blood and it ran \n"+
"Before I would become undone \n"+
"You saved me from the nothing I've almost become \n"+
"You were bringing me to life \n"+
"Now that I knew what I'm without \n"+
"You can've just left me \n"+
"You breathed into me and made me real \n"+
"Frozen inside without your touch \n"+
"Without your love, darling \n"+
"Only you are the life among the dead \n"+
"I've been living a lie, there's nothing inside \n"+
"You were bringing me to life.";
StanfordLemmatizer slem = new StanfordLemmatizer();
System.out.println(slem.lemmatize(text));
}
}

Voici mes résultats (j'ai été très impressionné; il avait pris un "s" comme "est" (parfois), et n'a presque tout le reste parfaitement):

Départ De Stanford Lemmatizer

L'ajout de l'annotation de marquer

L'ajout de l'annotation de ssplit

L'ajout de l'annotation de pos

Lecture POS tagger modèle de edu/stanford/pnl/modèles/pos tagger/anglais-left3words/anglais-left3words-distsim.tagger ... fait [1,7 s].

L'ajout de l'annotateur lemme

[comment faire, pourriez, vous, d'être, de voir, dans, mon, oeil, comme, ouvert, porte, ?, vous, le plomb, le je, le bas, dans, mon, cœur, où, je l', avoir, devenir, donc, engourdie, sans que, un, âme, mon esprit, s', le sommeil, quelque part, le froid, jusqu'à ce que, vous, trouver, elle, il, et, de plomb, de, retour, maison, vous, réveil, I,, intérieur, appeler, mon nom, et, d'enregistrer, de je, de, la, la nuit tombée, vous, avez, de l'offre, mon, sang, et, il faut l'exécuter, avant, je, voudrais, devenir, annuler, vous, enregistrer, j', de, la, rien, j', ont, presque, devenir, vous, la, porte, j', de, vie, maintenant, que, je, savoir, ce qui, je, être, sans, vous, pouvez, avoir, juste, quitter, je, vous, respirez, en, I, et, faire, j', réel, congelés, à l'intérieur, sans, vous, le toucher, sans, vous, de l'amour, ,, chérie, seulement, vous, la, la, vie, entre la, la, mort, I, avoir, être, de vivre, de un, le mensonge, ,,, il, rien, à l'intérieur, vous, la, porte, j', de, vie, .]

Il y a un JNI pour hunspell, qui est le vérificateur utilisé dans open office et FireFox.
http://hunspell.sourceforge.net/