Pourquoi Le Système De Fichiers Hadoop.la méthode get a besoin de savoir URI complète et pas seulement le schéma

Est-il possible d'utiliser une instance de système de fichiers Hadoop créé à partir d'un valide hdfs url à être utilisée à nouveau pour la lecture et l'écriture différents hdfs url.J'ai essayé les

String url1 = "hdfs://localhost:54310/file1.txt";
String url2 = "hdfs://localhost:54310/file2.txt";
String url3 = "hdfs://localhost:54310/file3.txt";

//Creating filesystem using url1
FileSystem fileSystem = FileSystem.get(URI.create(url1), conf);

//Using same filesystem with url2 and url3  
InputStream in = fileSystem.open(new Path(url2));
OutputStream out = fileSystem.create(new Path(url3));

Cela fonctionne.Mais sera-ce la cause d'autres problèmes.

InformationsquelleAutor aruns | 2012-10-31
  1. 8

    Vous pouvez certainement créer un seul FileSystem avec votre projet et votre adresse, puis l'obtenir via la FileSystem.

    Configuration conf = new Configuration();
conf.set("fs.default.name","hdfs://localhost:54310");
FileSystem fs = FileSystem.get(conf);
InputStream is = fs.open(new Path("/file1.txt"));
    InformationsquelleAutor Thomas Jungblut
  2. 0

    Pour les différents dfs chemins, les méthodes créer/ouvrir échouera. Regarder org.apache.hadoop.fs.Système de fichiers#checkPath méthode.

    InformationsquelleAutor octo