Peut hadoop prendre l'entrée de plusieurs répertoires et des fichiers

Que j'ai mis le fileinputFormat que hadoop d'entrée.
Le arg[0]+"/*/*/*" dit correspondent à aucun des fichiers.

ce que je veux, c'est de lire à partir de plusieurs fichiers comme:

Directory1 
---Directory11 
---Directory111 
--f1.txt 
--f2.txt 
---Annuaire12 
Directory2 
---Directory21

est-il possible dans Hadoop?
Merci!

InformationsquelleAutor JudyJiang | 2013-05-08
  1. 4

    Vous pouvez prendre l'entrée de plusieurs répertoires et fichiers à l'aide de la ***** l'opérateur. Le plus probable, c'est parce que la "arg[0]" l'argument n'est pas valable et par conséquent, il n'est pas de trouver les fichiers.

    Comme alternative, vous pouvez également utiliser InputFormat.addInputPath ou si vous avez besoin de séparer les formats ou les mappeurs de la MultipleInputs classe peut être utilisée.

    Exemple de base de l'ajout d'un chemin

    FileInputFormat.addInputPath(job, myInputPath);

    Voici un exemple de MultipleInputs 

    MultipleInputs.addInputPath(job, inputPath1, TextInputFormat.class, MyMapper.class);
MultipleInputs.addInputPath(job, inputPath2, TextInputFormat.class, MyOtherMapper.class);

    Cette autre question est également très similaire et a de bonnes réponses, Hadoop afin de réduire de plusieurs formats d'entrée.

    • Va donc lire à partir de la plusieurs dossiers dans un dossier et, récursivement, le nombre de fichiers dans chaque sous-dossier??
    • Je me trompais, et mise à jour de ma réponse, pour en tenir compte. Je devine votre "arg[0]" est erroné. où en êtes-vous à l'aide de ça? si c'est la ligne de commande, vous pourriez avoir besoin $arg[0], si c'est à partir de code que vous devez utiliser le multipleinputs approche
    • C'est dans mon code java. J'ai utilisé FileInputFormat.setInputPaths(conf, nouveau Chemin(args[0]); c'est le args[0] et quelque chose d'après ce que je devrais remplacer les multiples répertoires de la partie?
    • pouvez-vous assurez-vous que ces fichiers sont là à partir de votre arg[0] direction. hadoop hdfs -ls /mon/chemin/vers/fichiers
    • oui, Il y a dans mon hadoop arg[0] direction. et.. mon arg[0] chemin d'accès est:/utilisateur/XXX/hadoopin et le dossier racine de ces dossiers imbriqués et les fichiers e-mails. lorsque j'ai utilisé le code arg[0] + "/*/*/*/" il propose /utilisateur/XXX/hadoopin/e-mail/email11 et ne correspond pas à n'importe quel fichier...
    • par la voie. peut javax.mail utilisé pour lire en texte brut?
    • arg[0] + "/*/*/*/" doit être " arg[0]+"/*/*/*", - ne correspondent à aucune des fichiers? et je crois javax.le courrier peut être utilisé, mais je ne sais pas vraiment
    • Merci! Votre solution est toujours aussi utile!

    InformationsquelleAutor greedybuddha