IOException: le système de fichiers fermé exception lors de l'exécution de oozie de flux de travail

Nous sommes de l'exécution d'un flux de travail dans oozie.
Il contient deux actions: la première est une carte de réduire l'emploi qui génère des fichiers dans la sf et le second est un travail qui doit copier les données dans les fichiers d'une base de données.

Les deux parties sont fait avec succès mais oozie déclenche une exception à la fin qui marque comme un échec du processus.

C'est l'exception:

2014-05-20 17:29:32,242 ERROR org.apache.hadoop.security.UserGroupInformation:   PriviledgedActionException as:lpinsight (auth:SIMPLE) cause:java.io.IOException: Filesystem   closed
2014-05-20 17:29:32,243 WARN org.apache.hadoop.mapred.Child: Error running child
java.io.IOException: Filesystem closed
    at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:565)
    at org.apache.hadoop.hdfs.DFSInputStream.close(DFSInputStream.java:589)
    at java.io.FilterInputStream.close(FilterInputStream.java:155)
    at org.apache.hadoop.util.LineReader.close(LineReader.java:149)
    at org.apache.hadoop.mapred.LineRecordReader.close(LineRecordReader.java:243)
    at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.close(MapTask.java:222)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:421)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:332)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:268)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at   org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
    at org.apache.hadoop.mapred.Child.main(Child.java:262)

2014-05-20 17:29:32,256 INFO org.apache.hadoop.mapred.Tâche: Runnning de nettoyage pour la tâche

Une idée ?

OriginalL'auteur user3660070 | 2014-05-21

  1. 8

    Utiliser le dessous de la configuration lors de l'accès du système de fichiers.

    Configuration conf = new Configuration();
conf.setBoolean("fs.hdfs.impl.disable.cache", true);
FileSystem fileSystem = FileSystem.get(conf);
    un peu bref et manquant de raisonnement 🙂

    OriginalL'auteur NelsonPaul

  2. 2

    J'avais rencontré un problème similaire qui a incité java.io.IOException: Filesystem closed. Enfin, j'ai trouvé, j'ai fermé le système de fichiers à un autre endroit. Le système de fichiers hadoop API retourne le même objet. Donc, si j'ai fermé un système de fichiers, puis de tous les systèmes de fichiers sont fermés.
    Je reçois la solution de ce réponse

    OriginalL'auteur ryan