Déplacer des fichiers dans Hadoop en utilisant l'API Java?

Je veux déplacer les fichiers dans HDFS à l'aide de l'Api Java. Je ne peux pas trouver un moyen de le faire. Le système de fichiers de classe ne semble vouloir autoriser le déplacement vers et depuis le système de fichiers local.. mais je veux les garder dans HDFS et de les déplacer.

Me manque quelque chose de fondamental? La seule façon que je peux figure de le faire est de lire à partir du flux d'entrée et de l'écrire... et puis supprimer l'ancienne version (beurk).

grâce

source d'informationauteur Wanderer

  1. 17

    Utilisation Système de fichiers.rename():

    public abstract boolean rename(Path src, Path dst) throws IOException

    Renomme Chemin src Chemin dst. Peut avoir lieu sur local fs ou DFS à distance.

    Paramètres:

    src - chemin d'être renommé

    dst nouveau chemin après avoir renommer

    Retourne:

    true si renommer est réussie

    Jette:

    IOException échec de

  2. 4

    La java.nio.* l'approche peut ne pas fonctionner sur HDFS toujours. Donc trouvé la solution suivante qui fonctionne.

    De déplacer des fichiers d'un répertoire à un autre à l'aide de org.apache.hadoop.fs.FileUtil.copie de l'API

    val fs = FileSystem.get(new Configuration())
        val conf = new org.apache.hadoop.conf.Configuration()
        val srcFs = FileSystem.get(new org.apache.hadoop.conf.Configuration())
        val dstFs = FileSystem.get(new org.apache.hadoop.conf.Configuration())
        val dstPath = new org.apache.hadoop.fs.Path(DEST_FILE_DIR)

        for (file <- fileList) {
          //The 5th parameter indicates whether source should be deleted or not
          FileUtil.copy(srcFs, file, dstFs, dstPath, true, conf)
  3. 1

    Je pense que le FileUtilts replaceFile permettrait également de résoudre le but.
    http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/fs/FileUtil.html#replaceFile(java.io.Filejava.io.Fichier)

  4. 0
    hdfsDirectory="hdfs://srcPath"   
 val conf = new org.apache.hadoop.conf.Configuration()
        val src:Path = new org.apache.hadoop.fs.Path(hdfsDirectory)
        val fs = FileSystem.get(src.toUri,conf)
        val srcPath: Path = new Path("hdfs://srcPath")
        val srcFs =FileSystem.get(srcPath.toUri,conf)
        val dstPath:Path =new Path("hdfs://targetPath/")
        val dstFs =FileSystem.get(dstPath.toUri,conf)
        val exists = fs.exists(new org.apache.hadoop.fs.Path(hdfsDirectory))
        val status:Array[FileStatus] = fs.listStatus(new Path(hdfsDirectory))
        if (status.length>0) {
          status.foreach(x => {
            println("My files: " + x.getPath)
            FileUtil.copy(srcFs, x.getPath, dstFs, dstPath, true, conf)
            println("Files moved !!" +x.getPath)
          }
          )}
        else{
          println("No Files Found !!")
        }