chemin d'accès au fichier dans hdfs

Je veux lire le fichier à partir du Système de Fichiers Hadoop.

Afin d'atteindre le chemin d'accès correct au fichier, j'ai besoin de nom d'hôte et l'adresse de port de la hdfs.

donc finalement mon chemin d'accès du fichier ressemblera à quelque chose comme 

Path path = new Path("hdfs://123.23.12.4344:9000/user/filename.txt")

Maintenant, je veux savoir pour extraire le nom d'hôte = "123.23.12.4344" & port: 9000?

Fondamentalement, je veux accéder au système de fichiers sur Amazon EMR mais, lorsque j'utilise 

 système de fichiers (fs = système de fichiers.get(getConf ());

- je obtenir 

 
Vous avez probablement appelé système de fichiers.get(conf) lorsque vous devriez avoir appelé système de fichiers.get(uri, conf) pour obtenir un système de fichiers supportant votre chemin

J'ai donc décidé d'utiliser l'URI. (Je dois utiliser l'URI), mais je ne suis pas sûr de savoir comment accéder à l'URI.

OriginalL'auteur Varun Gupta | 2012-11-27

  1. 15

    Vous pouvez utiliser l'une des deux façons de résoudre votre erreur.

    1.

    String infile = "file.txt";
Path ofile = new Path(infile);
FileSystem fs = ofile.getFileSystem(getConf());

    2.

    Configuration conf = getConf();
System.out.println("fs.default.name : - " + conf.get("fs.default.name"));
//It prints uri  as : hdfs://10.214.15.165:9000 or something
String uri = conf.get("fs.default.name");
FileSystem fs = FileSystem.get(uri,getConf());
    Merci pour cette! Il a contribué à, pouvez-vous expliquer pourquoi il en est?
    Hadoop est un système de fichiers de l'usine. Il crée le bon système de fichiers basé sur le schéma d'URI, et peut-être l'autorité de la partie de l'URI. Vous pouvez voir si vous ouvrez un fichier sur file://, s3:// ou hdfs:// vous auriez besoin d'un système de fichiers différent pour chacun. C'est pourquoi vous devez inclure l'URI
    fs.par défaut.le nom est obsolète, chaque lecteur de cette question doit utiliser des fs.defaultFS à la place.

    OriginalL'auteur AnujKu