Réglage externe des pots de hadoop classpath

Votre pot est manquante sur le nœud de cartes de course. Vous devez ajouter dans le cache pour le rendre disponible. Essayez :

DistributedCache.addFileToClassPath(new Path("pathToJar"), conf);

Pas sûr de la version de DistributedCache était obsolète, mais à partir de Hadoop 2.2.0 ultérieur, vous pouvez utiliser :

job.addFileToClassPath(new Path("pathToJar")); 

OriginalL'auteur blackSmith

Si vous ajoutez l'externe POT aux Hadoop classpath alors de son mieux pour copier votre POT à l'un des répertoires existants que hadoop est en train de regarder. Sur la ligne de commande, exécutez la commande "hadoop classpath" et ensuite trouver un dossier et copiez votre fichier jar à cet emplacement et hadoop va ramasser les dépendances à partir de là. Cela ne marchera pas avec CloudEra, etc que vous ne pouvez pas avoir droit en lecture/écriture pour copier des fichiers à la hadoop classpath dossiers.

Ressemble-vous essayé le LIBJARs option, avez-vous modifier votre chauffeur classe implémente l'interface de l'OUTIL? Assurez-vous d'abord que vous modifiez votre classe du pilote, comme indiqué ci-dessous:

    public class myDriverClass extends Configured implements Tool {

      public static void main(String[] args) throws Exception {
         int res = ToolRunner.run(new Configuration(), new myDriverClass(), args);
         System.exit(res);
      }

      public int run(String[] args) throws Exception
      {

        //Configuration processed by ToolRunner 
        Configuration conf = getConf();
        Job job = new Job(conf, "My Job");

        ...
        ...

        return job.waitForCompletion(true) ? 0 : 1;
      }
    }

Maintenant modifier votre "hadoop pot de commande comme indiqué ci-dessous:

hadoop jar YourApplication.jar [myDriverClass] args -libjars path/to/jar/file

Maintenant permet de comprendre ce qui se passe en dessous. Fondamentalement, nous sommes la manipulation de la nouvelle arguments de ligne de commande par la mise en œuvre de la L'Interface de l'OUTIL. ToolRunner est utilisé pour exécuter les classes implémentant l'interface de l'Outil. Il fonctionne en conjonction avec GenericOptionsParser pour analyser le générique hadoop arguments de ligne de commande et modifie la Configuration de l'Outil.

Au sein de notre Main() nous appelons ToolRunner.run(new Configuration(), new myDriverClass(), args) - cela va de l'Outil par Outil.exécuter(String[]), après l'analyse avec le générique arguments. Il utilise la Configuration donnée, ou en construit un, si c'est nul et puis définit l'Outil de configuration avec la version éventuellement modifiée de la conf.

Maintenant dans la méthode run, quand nous appelons getConf() nous obtenons la version modifiée de la Configuration. Donc, assurez-vous que vous avez la ligne ci-dessous dans votre code. Si vous mettez en œuvre tout le reste et font encore l'utilisation de la Configuration conf = new Configuration(), rien ne fonctionnerait.

Configuration conf = getConf();

OriginalL'auteur Isaiah4110

J'ai trouvé une solution très simple à ce problème:
connexion en tant que root :

cd /usr/lib
trouver . -nom "opencsv.jar"

Ramasser les locatin du fichier. Dans mon cas >je l'ai trouvé sous /usr/lib/ruche/lib/opencsv*.jar

Maintenant soumettre la commande

hadoop classpath

Le résultat montre que le direcory où hadoop recherches jar fichiers.
Ramasser un répertoire et copier opencsv*jar dans le dossier.

Dans mon cas, cela a fonctionné.

OriginalL'auteur user5856557