Hadoop Mapreduce Erreur de chemin d'Entrée n'existe pas: hdfs://localhost:54310/utilisateur/hduser/entrée"

J'ai installé hadoop 2.6 de Linux Ubuntu 15.04 et de son bon fonctionnement. Mais, quand je suis en cours d'exécution d'un test de l'échantillon de mapreduce programme, ses donner le message d'erreur suivant:

org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:54310/user/hduser/input.

De bien vouloir m'aider. Ci-dessous les détails de l'erreur.

hduser@krishadoop:/usr/local/hadoop/sbin$ hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount input output
Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar 
15/08/24 15:22:37 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/08/24 15:22:38 INFO Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.session-id
15/08/24 15:22:38 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
15/08/24 15:22:39 INFO mapreduce.JobSubmitter: Cleaning up the staging area file:/app/hadoop/tmp/mapred/staging/hduser1122930879/.staging/job_local1122930879_0001
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:54310/user/hduser/input
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:321)
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:264)
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:385)
    at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:597)
    at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:614)
    at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:492)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1296)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1293)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1293)
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1314)
    at org.apache.hadoop.examples.WordCount.main(WordCount.java:87)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:71)
    at org.apache.hadoop.util.ProgramDriver.run(ProgramDriver.java:144)
    at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:74)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

OriginalL'auteur kan1969 | 2015-08-24

5

Semble comme vous l'avez mentionné un mauvais chemin d'entrée. Hadoop est à la recherche d'un chemin d'entrée à /user/hduser/input. Hadoop suit également unix comme la structure de l'arbre. Si vous avez simplement mentionner un répertoire input il sera pris comme /user/{username}/input.
```
hadoop fs -mkdir -p /user/hduser/input

hadoop fs -put <datafile>  /user/hduser/input
```
quel devrait être le <fichier>?
<fichier> est le fichier que vous souhaitez charger dans hdfs
<fichier> chemin d'accès Absolu du fichier.

OriginalL'auteur Amal G Jose
4

Si vous voyez ce chemin d'accès (fichier) physiquement et le problème persiste, vous pouvez avoir confondu avec le système de fichiers local et Hadoop Distributed File System(HDFS). Afin d'exécuter ce map-reduce, ce fichier doit être situé dans HDFS (localisation seulement à l'intérieur du système de fichiers local ne sera pas le faire.).

Vous pouvez importer les fichiers locaux de système de fichiers dans HDFS par cette commande.
```
hadoop fs -put <local_file_path> <HDFS_diresctory> 
```
Vous confirmer que le fichier que vous avez importé existe dans HDFS par cette commande.
```
hadoop fs -ls <HDFS_path>
```
Il est utilisé lors de la commande HDFS modèle. grunt> pig-x mapreduce

OriginalL'auteur Supun Wijerathne
1

Vous devez créer et télécharger votre entrée avant l'exécution de votre travail hadoop. Par exemple, si vous avez besoin de télécharger input.txt fichier, vous devez effectuer les opérations suivantes:
```
$HADOOP_HOME/bin/hdfs dfs -mkdir /user/hduser/input
$HADOOP_HOME/bin/hdfs dfs -copyFromLocal $HADOOP_HOME/input.txt /user/hduser/input/input.txt
```
La première ligne crée le répertoire, et l'autre de télécharger votre fichier d'entrée dans hdfs (hadoop fylesystem).

OriginalL'auteur chomp
1

Vous avez besoin pour commencer Cochon en mode local et pas de nœud de cluster:

pig-x local

Il est utilisé lorsque nous utilisons localmode. si nous ne pas exécuter cette commande, il donnera l'erreur fichier introuvable...

OriginalL'auteur Walker Rowe
0

Lorsque vous compilez un fichier jar à l'aide d'entrée et de sortie de fichier/répertoire, vous devriez assurez-vous que le fichier d'entrée est déjà créé(dans le chemin d'accès spécifié) et du fichier de sortie n'existe pas.

Si vous voulez donner un fichier texte en tant que fichier d'entrée, la première copie d'un fichier texte à partir d'un fichier local système hdfs et le compiler en utilisant les commandes suivantes
```
hadoop fs -copyFromLocal /input.txt /user/hduser/input.txt
/usr/local/hadoop/sbin$ yarn jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /user/hduser/input.txt /output
```
/input.txt peut être remplacé par l'adresse de n'importe quel fichier texte.

OriginalL'auteur Shravanya
0

Programme n'est pas en mesure de trouver les Hadoop chemin d'accès pour les entrées. Il est à la recherche dans le système local plutôt que des fichiers Hadoop du DFS.

Ce problème disparaît lorsque votre programme est capable de localiser le HDFS emplacement. Nous devons laisser le programme comprendre le HDFS emplacement donné dans le fichier de configuration. Pour ce faire, ajoutez ces lignes dans le code de votre programme.
```
Configuration conf = new Configuration();

conf.addResource(new Path("/usr/local/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml"));
conf.addResource(new Path("/usr/local/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml"));
```
OriginalL'auteur rajakanthan ramalingam
0
1. vous devez créer le répertoire dans HDFS:
  par exemple, "hadoop fs -mkdir /input_dir"
2. Puis lorsque vous exécutez votre programme MapReduce. Il faut indiquer le chemin d'accès absolu du répertoire d'entrée, de sorte que le format doit être:
  
  hadoop jar jarFileName.jar className /input_dir /outputdir droit
Voici mal parce que c'est le chemin relatif
hadoop jar jarFileName.jar className input_dir outputdir mal

OriginalL'auteur Zhihui Shao
-2

Si vous trouvez /bin/bash: /bin/java: No such file or directory dans le journal, réglage JAVA_HOME dans etc/hadoop/hadoop-env.sh

OriginalL'auteur user1900344

Vous devez vous connecter pour publier un commentaire.