Hadoop Java Erreur : Exception in thread “main” java.lang.NoClassDefFoundError: nombre de mots (nom incorrect: org/myorg/nombre de mots)

Je suis nouveau sur hadoop. J'ai suivi le maichel-noll tutoriel pour configurer hadoop dans un seul nœud.J'ai essayé de courir WordCount programme. C'est le code que j'ai utilisé:

import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class WordCount {
public static class TokenizerMapper
extends Mapper<Object, Text, Text, IntWritable>{
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(Object key, Text value, Context context
) throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}
public static class IntSumReducer
extends Reducer<Text,IntWritable,Text,IntWritable> {
private IntWritable result = new IntWritable();
public void reduce(Text key, Iterable<IntWritable> values,
Context context
) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = Job.getInstance(conf, "WordCount");
job.setJarByClass(WordCount.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}

C'est ce que j'obtiens quand j'essaie de l'exécuter.

hduser@aswin-HP-Pavilion-15-Notebook-PC:/usr/local/hadoop$ bin/hadoop jar wc.jar WordCount /home/hduser/gutenberg /home/hduser/gutenberg-output/sample.txt
Exception in thread "main" java.lang.NoClassDefFoundError: WordCount (wrong name: org/myorg/WordCount)
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:788)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:447)
at java.net.URLClassLoader.access$100(URLClassLoader.java:71)
at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:411)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:270)
at org.apache.hadoop.util.RunJar.main(RunJar.java:205)

Quelqu'un peut s'il vous plaît aider moi.
Mon chemin de classe :

hduser@aswin-HP-Pavilion-15-Notebook-PC:/usr/local/hadoop$ hadoop classpath
/usr/local/hadoop/etc/hadoop:/usr/local/hadoop/share/hadoop/common/lib/*:/usr/local/hadoop/share/hadoop/common/*:/usr/local/hadoop/share/hadoop/hdfs:/usr/local/hadoop/share/hadoop/hdfs/lib/*:/usr/local/hadoop/share/hadoop/hdfs/*:/usr/local/hadoop/share/hadoop/yarn/lib/*:/usr/local/hadoop/share/hadoop/yarn/*:/usr/local/hadoop/share/hadoop/mapreduce/lib/*:/usr/local/hadoop/share/hadoop/mapreduce/*:/usr/lib/jvm/java-7-openjdk-i386/lib/tools.jar:/usr/local/hadoop/contrib/capacity-scheduler/*.jar
Vous êtes Pilote manquant de classe (bien qu'il soit combiné avec un réducteur qui est une mauvaise pratique). Btw avez-vous ce jar dans le classpath?
Ont ajouté le chemin de classe dans la question. Dois-je placer le fichier jar dans un des dossier ci-dessus.
Pas de le placer dans le même répertoire où vous exécutez votre mapred ou de le placer dans le répertoire lib de où hadoop libs se trouve.
J'ai essayé de le placer dans le répertoire lib et aussi share/lib/mapreduce. Toujours la même erreur.
viens juste de voir cette "org/myorg" vous êtes à l'aide de paquet donc utiliser org.myorg.Nombre de mots de sorte que votre commande est: bin/hadoop jar wc.jar org.myorg.Nombre de mots /home/hduser/gutenberg /home/hduser/gutenberg-output/sample.txt

OriginalL'auteur Aswin Alagappan | 2014-11-02

  1. 4

    essayer cela,

    import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.FileInputFormat;
import org.apache.hadoop.mapred.FileOutputFormat;
import org.apache.hadoop.mapred.JobClient;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapred.MapReduceBase;
import org.apache.hadoop.mapred.Mapper;
import org.apache.hadoop.mapred.OutputCollector;
import org.apache.hadoop.mapred.Reducer;
import org.apache.hadoop.mapred.Reporter;
import org.apache.hadoop.mapred.TextInputFormat;
import org.apache.hadoop.mapred.TextOutputFormat;
public class WordCount {
public static class Map extends MapReduceBase implements
Mapper<LongWritable, Text, Text, IntWritable> {
@Override
public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter)
throws IOException {
String line = value.toString();
StringTokenizer tokenizer = new StringTokenizer(line);
while (tokenizer.hasMoreTokens()) {
value.set(tokenizer.nextToken());
output.collect(value, new IntWritable(1));
}
}
}
public static class Reduce extends MapReduceBase implements
Reducer<Text, IntWritable, Text, IntWritable> {
@Override
public void reduce(Text key, Iterator<IntWritable> values,
OutputCollector<Text, IntWritable> output, Reporter reporter)
throws IOException {
int sum = 0;
while (values.hasNext()) {
sum += values.next().get();
}
output.collect(key, new IntWritable(sum));
}
}
public static void main(String[] args) throws Exception {
JobConf conf = new JobConf(WordCount.class);
conf.setJobName("wordcount");
conf.setOutputKeyClass(Text.class);
conf.setOutputValueClass(IntWritable.class);
conf.setMapperClass(Map.class);
conf.setReducerClass(Reduce.class);
conf.setInputFormat(TextInputFormat.class);
conf.setOutputFormat(TextOutputFormat.class);
FileInputFormat.setInputPaths(conf, new Path(args[0]));
FileOutputFormat.setOutputPath(conf, new Path(args[1]));
JobClient.runJob(conf);
}
}

    puis de lancer la commande

    bin/hadoop jar WordCount.jar WordCount /hdfs_Input_filename /output_filename

    si votre code est dans le paquet particulier, alors vous devez mentionner nom du package avec le nom de classe

    bin/hadoop jar WordCount.jar PakageName.WordCount /hdfs_Input_filename /output_filename
    Je reçois le même Pas de classe def trouvé d'erreur. Btw, c'est comment j'ai compiler et créer jar. Est-ce rite : $ bin/hadoop com.soleil.outils.javac.Principal WordCount.java $ jar cf wc.jar nombre de mots*.classe
    Quel est le problème avec votre code, votre programme est en particulier l'emballage ou le package par défaut dans eclipse???
    Il suffit de regarder ma solution. Je sais que je suis folle 😀 . Merci beaucoup. J'ai utilisé votre code. 🙂
    votre réponse est manquant, l'explication des raisons pour lesquelles le ci-dessus ne fonctionne pas OU pourquoi votre solution fonctionne!
    pouvez-vous suggérer quelques bons tutoriels pour mapreduce?

    OriginalL'auteur Kishore

  2. 0

    Vous êtes à l'aide de paquet dans votre classe. Si votre commande doit être

    bin/hadoop jar wc.jar org.myorg.WordCount /home/hduser/gutenberg /home/hduser/gutenberg-output/sample.txt
    Je reçois une classe ne trouve pas exception à la règle. Exception in thread "main" java.lang.ClassNotFoundException: org.myorg.Nombre de mots

    OriginalL'auteur SMA

  3. 0

    Cela peut paraître fou. J'ai ajouté package org.myorg; à mon code et compilé à nouveau. J'ai placé les fichiers de classe dans org/myorg dossier et créé le fichier jar de les utiliser. Ensuite, j'ai couru à l'aide de la jar wc.jar org.myorg.WordCount commande et il s'est exécuté avec succès. Ce serait sympa si quelqu'un pouvait m'expliquer comment il fait, couru 😀 . De toute façon, merci beaucoup de m'aider les gars.

    OriginalL'auteur Aswin Alagappan

  4. 0

    Je pense que vous avez fait une erreur ici :

    /usr/local/hadoop$ bin/hadoop jar wc.jar WordCount /home/hduser/gutenberg /home/hduser/gutenberg-output/sample.txt

    veuillez le modifier :

    /usr/local/hadoop$ bin/hadoop jar wc.jar org.myorg.WordCount /home/hduser/gutenberg /home/hduser/gutenberg-output/sample.txt

    qui devrait fonctionner.

    @Aswin Alagappan
    : La raison est
    un fichier jar cotains par votre chemin. La JVM ne trouvez pas votre classe dans le fichier jar becase il est dans la "pot\org\myorg" chemin. Comprendre?

    OriginalL'auteur Norman Bai

  5. 0

    essayer incluant explicitement les classes imbriquées(c'est à dire TokenizerMapper et IntSumReducer) dans le fichier jar. Voici comment j'ai fait:

    jar cvf WordCount.jar WordCount.class WordCount\$TokenizerMapper.class WordCount\$IntSumReducer.class

    OriginalL'auteur r2d2oid