Classe Pas Trouvé Exception dans Mapreduce wordcount travail

je suis en train d'exécuter une tâche wordcount dans hadoop.mais toujours une classe ne trouve pas exception à la règle.Je suis annonce la classe que j'ai écrit et de la commande que j'utilise pour exécuter le travail

import java.io.IOException;
import java.util.*;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
public class WordCount {
public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String line = value.toString();
StringTokenizer tokenizer = new StringTokenizer(line);
while (tokenizer.hasMoreTokens()) {
word.set(tokenizer.nextToken());
context.write(word, one);
}
}
} 
public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {
public void reduce(Text key, Iterable<IntWritable> values, Context context) 
throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
context.write(key, new IntWritable(sum));
}
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = new Job(conf, "WordCount");
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
job.setMapperClass(Map.class);
job.setReducerClass(Reduce.class);
job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
job.waitForCompletion(true);
job.setJarByClass(WordCount.class);
}
}

l'wordcount.jar est exporté dans mon dossier téléchargements
Et c'est la commande que j'utilise pour exécuter le travail

   jeet@jeet-Vostro-2520:~/Downloads$ hadoop jar wordcount.jar org.gamma.WordCount /user/jeet/getty/gettysburg.txt /user/jeet/getty/out

dans ce cas, mon travail de mapreduce est commencé, mais il se termine dans le milieu du processus.Impression à l'exception de l'arbre.

 14/01/27 13:16:02 WARN mapred.JobClient: Use GenericOptionsParser for parsing the   arguments. Applications should implement Tool for the same.
14/01/27 13:16:02 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
14/01/27 13:16:02 INFO input.FileInputFormat: Total input paths to process : 1
14/01/27 13:16:02 INFO util.NativeCodeLoader: Loaded the native-hadoop library
14/01/27 13:16:02 WARN snappy.LoadSnappy: Snappy native library not loaded
14/01/27 13:16:03 INFO mapred.JobClient: Running job: job_201401271247_0001
14/01/27 13:16:04 INFO mapred.JobClient:  map 0% reduce 0%
14/01/27 13:16:11 INFO mapred.JobClient: Task Id : attempt_201401271247_0001_m_000000_0,     Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: org.gamma.WordCount$Map
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:849)
at org.apache.hadoop.mapreduce.JobContext.getMapperClass(JobContext.java:199)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:719)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.lang.ClassNotFoundException: org.gamma.WordCount$Map
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:270)
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:802)
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:847)
... 8 more
14/01/27 13:16:16 INFO mapred.JobClient: Task Id : attempt_201401271247_0001_m_000000_1,   Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: org.gamma.WordCount$Map
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:849)
at org.apache.hadoop.mapreduce.JobContext.getMapperClass(JobContext.java:199)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:719)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at   org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.lang.ClassNotFoundException: org.gamma.WordCount$Map
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:270)
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:802)
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:847)
... 8 more
14/01/27 13:16:20 INFO mapred.JobClient: Task Id : attempt_201401271247_0001_m_000000_2, Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: org.gamma.WordCount$Map
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:849)
at org.apache.hadoop.mapreduce.JobContext.getMapperClass(JobContext.java:199)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:719)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.lang.ClassNotFoundException: org.gamma.WordCount$Map
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:270)
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:802)
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:847)
... 8 more
14/01/27 13:16:26 INFO mapred.JobClient: Job complete: job_201401271247_0001
14/01/27 13:16:26 INFO mapred.JobClient: Counters: 7
14/01/27 13:16:26 INFO mapred.JobClient:   Job Counters 
14/01/27 13:16:26 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=20953
14/01/27 13:16:26 INFO mapred.JobClient:     Total time spent by all reduces waiting    after reserving slots (ms)=0
14/01/27 13:16:26 INFO mapred.JobClient:     Total time spent by all maps waiting    after reserving slots (ms)=0
14/01/27 13:16:26 INFO mapred.JobClient:     Launched map tasks=4
14/01/27 13:16:26 INFO mapred.JobClient:     Data-local map tasks=4
14/01/27 13:16:26 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=0
14/01/27 13:16:26 INFO mapred.JobClient:     Failed map tasks=1
somebody please please help i think i am very close of it

Si vous utilisez eclipse, cliquez sur Link with Editor bouton sur le panneau de gauche et cliquez ensuite sur le Wordcount exception dans la console. Il va vous montrer où la classe est en fait liée.
Quelle commande avez-vous utilisé pour générer le pot?
j'utilise eclipse pour générer le pot
pouvez-vous veuillez donner la liste de vos wordcount.jar en utilisant jar -tf wordcount.jar

OriginalL'auteur lucifer | 2014-01-27

22

Essayez d'ajouter ce
```
Job job = new Job(conf, "wordcount");
job.setJarByClass(WordCount.class);
```
C'. Si vous ne définissez pas le POT, puis Hadoop ne sait pas laquelle des classes/code à mettre dans le cache distribué. Réglage de la JAR est requis si vous vous attendez à distribuer le code pour vous.

OriginalL'auteur KT_admin
4

J'ai aussi eu le même problème et résolu en supprimant même WordCount.class fichier dans le même répertoire à partir de là où je suis à l'exécution de mon pot. Dirait qu'il prend la classe à côté du pot. Essayez

Merci, a travaillé pour moi.

OriginalL'auteur Nagaraj Vittal
3

Je suppose que c' :

14/01/27 13:16:02 WARN mapred.JobClient: No job jar file set. User classes may not be found. See JobConf(Class) or JobConf#setJar(String).

J'ai eu le même message d'erreur lors de l'utilisation de CDH4.6 et il s'est résolu après la résolution de l'avertissement ci-dessus.

Quelle a été votre correctif pour l'avertissement?
Je crois que je l'ai résolu avec: emploi.setJar("MyWordCount.jar"); au lieu de "setJarByClass"
oui, JobConf#setJar(String)
Merci. Cela m'a vraiment aidé.

OriginalL'auteur Thamme Gowda
1

Vous devez ajouter cette méthode

travail.setJarByClass(WordCount.class);

avant d'appeler la méthode

travail.waitForCompletion(true);

Comme suit:

travail.setJarByClass(WordCount.class);

travail.waitForCompletion(true);

OriginalL'auteur Kalu
0

essayer job.setJar("wordcount.jar");, où wordcount.jar le fichier jar est que vous allez pour le package.
Cette méthode fonctionne pour moi, mais PAS setJarByClass!

Juste pour ajouter, au contraire, setJarByClass a fonctionné pour moi. setJar m'a donné l'erreur java.lang.NoSuchMethod erreur. Je pense que c'est quelque chose à voir avec la version hadoop. La version que je suis en cours d'exécution est ancienne, 1.2.1.

OriginalL'auteur Think Recursively
0

Utiliser Le code ci-dessous pour résoudre ce Problème.
travail.setJarByClass(DriverClass.class);

OriginalL'auteur Kumar Basapuram
0

travail.setJarByClass(WordCount.class);
travail.waitForCompletion(true);

Ce serait une meilleure réponse si elle comprenait une explication avec le code.

OriginalL'auteur Victor

Si MapReduce programme de traitement en parallèle. Mappeur, Combiner et Réducteur de classe a de la séquence de flux. Attendre la fin de chaque flux dépend de l'autre classe si besoin job.waitForCompletion(true); Mais Il doit définir d'entrée et de sortie de chemin avant de commencer à Mapper, Combiner et Réducteur de classe. Référence

Modifier votre code comme ceci:

 public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = new Job(conf, "WordCount");
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
job.setJarByClass(WordCount.class);
job.waitForCompletion(true);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
job.setMapperClass(Map.class);
job.setReducerClass(Reduce.class);
job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class);
}

J'espère que cela fonctionne.

OriginalL'auteur ǨÅVËĔŊ RĀǞĴĄŅ

-1

J'ai eu ce travail à l'aide de JobConf#setJar(String)

OriginalL'auteur vickyi

Vous devez vous connecter pour publier un commentaire.