hadoop Pas de système de fichiers pour le système de fichier

C'est un cas typique de maven-assembly plugin casser des choses.

Pourquoi cela nous est arrivé

Différents Pots (hadoop-commons pour LocalFileSystem, hadoop-hdfs pour DistributedFileSystem) contiennent chacune un autre fichier appelé org.apache.hadoop.fs.FileSystem dans leur META-INFO/services répertoire. Ce fichier répertorie les canonique noms de classe du système de fichiers implémentations ils veulent déclarer (Ce qui est appelé un Fournisseur de Service d'Interface implémentée via java.util.ServiceLoader, voir org.apache.hadoop.FileSystem ligne 2622).

Lorsque nous utilisons maven-assembly-plugin, il fusionne tous nos Pots dans un, et tous les META-INFO/services/org.apache.hadoop.fs.FileSystem écraser les uns les autres. Un seul de ces fichiers reste (la dernière qui a été ajouté). Dans ce cas, le FileSystem liste de hadoop-commons remplace la liste de hadoop-hdfs, donc DistributedFileSystem n'était plus déclaré.

Comment nous l'avons fixé

Après le chargement de la configuration Hadoop, mais juste avant de faire quelque chose FileSystemliés, nous appelons cela:

    hadoopConfig.set("fs.hdfs.impl", 
        org.apache.hadoop.hdfs.DistributedFileSystem.class.getName()
    );
    hadoopConfig.set("fs.file.impl",
        org.apache.hadoop.fs.LocalFileSystem.class.getName()
    );

Mise à jour: le corriger corriger

Il a été porté à mon attention par krookedking qu'il y a une configuration à base de manière à rendre le maven-assembly utiliser une version fusionnée de tous les FileSystem services de déclarations, découvrez sa réponse ci-dessous.

Pour l'enregistrement, il en est encore ainsi dans hadoop 2.4.0. Tellement frustrant...

J'ai été en mesure de suivre les instructions de ce lien: http://grokbase.com/t/cloudera/scm-users/1288xszz7r/no-filesystem-for-scheme-hdfs

J'ai ajouté ce qui suit à mon core-site.xml et cela a fonctionné:

<property>
   <name>fs.file.impl</name>
   <value>org.apache.hadoop.fs.LocalFileSystem</value>
   <description>The FileSystem for file: uris.</description>
</property>

<property>
   <name>fs.hdfs.impl</name>
   <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
   <description>The FileSystem for hdfs: uris.</description>
</property>

grâce david_p,scala

conf.set("fs.hdfs.impl", classOf[org.apache.hadoop.hdfs.DistributedFileSystem].getName);
conf.set("fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName);

ou

<property>
 <name>fs.hdfs.impl</name>
 <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
</property>

En supposant que vous utilisez mvn et de la distribution cloudera hadoop. Je suis en utilisant cdh4.6 et l'ajout de ces dépendances ont travaillé pour moi.Je pense que vous devriez vérifier les versions de hadoop et mvn dépendances.

<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-core</artifactId>
        <version>2.0.0-mr1-cdh4.6.0</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.0.0-cdh4.6.0</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.0.0-cdh4.6.0</version>
    </dependency>

n'oubliez pas d'ajouter cloudera mvn référentiel.

<repository>
        <id>cloudera</id>
        <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>

Je suppose que vous générer l'exemple de l'aide de maven.

Veuillez vérifier le contenu de la JARRE que vous essayez d'exécuter. Surtout META-INFO/services répertoire, fichier org.apache.hadoop.fs.FileSystem. Il devrait y avoir une liste de filsystem classes d'implémentation. Vérifier la ligne de org.apache.hadoop.hdfs.DistributedFileSystem est présent dans la liste pour HDFS et org.apache.hadoop.fs.LocalFileSystem pour le système de fichiers local.

Si c'est le cas, vous devez remplacer les visées de ressources lors de la compilation.

Autre possibilité est que vous simplement n'avez pas hadoop-hdfs.jar dans votre classpath, mais cela a une probabilité faible. Habituellement, si vous avez la bonne hadoop-client dépendance qu'elle n'est pas une option.

Il m'a fallu quelque temps pour comprendre à fixer à partir des réponses, à cause de mon newbieness. C'est ce que j'ai trouvé, si quelqu'un d'autre a besoin d'aide dès le début:

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

object MyObject {
  def main(args: Array[String]): Unit = {

    val mySparkConf = new SparkConf().setAppName("SparkApp").setMaster("local[*]").set("spark.executor.memory","5g");
    val sc = new SparkContext(mySparkConf)

    val conf = sc.hadoopConfiguration

    conf.set("fs.hdfs.impl", classOf[org.apache.hadoop.hdfs.DistributedFileSystem].getName)
    conf.set("fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName)

Je suis en utilisant Étincelle 2.1

Et j'ai cette partie dans mon build.sbt

assemblyMergeStrategy in assembly := {
  case PathList("META-INF", xs @ _*) => MergeStrategy.discard
  case x => MergeStrategy.first
}

Pour SBT utilisation ci-dessous mergeStrategy dans la construction.sbt

mergeStrategy in assembly <<= (mergeStrategy in assembly) { (old) => {
    case PathList("META-INF", "services", "org.apache.hadoop.fs.FileSystem") => MergeStrategy.filterDistinctLines
    case s => old(s)
  }
}

J'ai connu le même problème. J'ai trouvé deux solutions:
(1) Éditer le fichier jar manuellement:

Ouvrir le fichier jar avec WinRar (ou d'autres outils similaires). Aller à la Méta-info > les services , et de modifier "org.apache.hadoop.fs.Système de fichiers" en ajoutant:

org.apache.hadoop.fs.LocalFileSystem

(2) de Changer l'ordre de mes dépendances suivre

<dependencies>
<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-hdfs</artifactId>
  <version>3.2.1</version>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-common</artifactId>
  <version>3.2.1</version>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-mapreduce-client-core</artifactId>
  <version>3.2.1</version>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-client</artifactId>
  <version>3.2.1</version>
</dependency>



</dependencies>

Je suis aussi tombée sur des questions semblables.
Ajouté core-site.xml et hdfs-site.xml comme les ressources de la conf (objet)

Configuration conf = new Configuration(true);    
conf.addResource(new Path("<path to>/core-site.xml"));
conf.addResource(new Path("<path to>/hdfs-site.xml"));

Également édité des conflits de version dans pom.xml. (par exemple, Si elle est configurée version d'hadoop est 2.8.1, mais dans pom.xml fichier, des dépendances a la version 2.7.1, puis changement de 2.8.1)
Exécuter Maven installer de nouveau.

Cela a résolu d'erreur pour moi.