Comment déplacer ou copier le fichier dans HDFS en utilisant l'API JAVA

Je veux copier le fichier dans LE MÊME HDFS ,tout comme la copie de fichiers à partir de HDFS://abc:9000/user/a.txt pour HDFS://abc:9000/utilisateur/123/

Puis-je le faire en utilisant l'API JAVA? Grâce

Vous pouvez rechercher des système de fichiers de l'API.

OriginalL'auteur haochi zhang | 2016-07-01

  1. 13

    FileUtil fournit une méthode pour copier les fichiers.

    Configuration configuration = new Configuration();
configuration.set("fs.defaultFS", "hdfs://abc:9000");
FileSystem filesystem = FileSystem.get(configuration);
FileUtil.copy(filesystem, new Path("src/path"), filesystem, new Path("dst/path"), false, configuration);

    Si vous avez besoin de le copier à un autre cluster, il suffit de faire une nouvelle Configuration et l'installation et la nouvelle FileSystem.

    pour faire "bouger" les fichiers plutôt que de les copier, il suffit de régler le deleteSource paramètre booléen à true

    OriginalL'auteur Serhiy

  2. 0
    If you want to move files from directory it is little bit tricky below code done same task for me !!
val conf = new org.apache.hadoop.conf.Configuration()
    val src:Path = new org.apache.hadoop.fs.Path(hdfsDirectory)
    val fs = FileSystem.get(src.toUri,conf)
    val srcPath: Path = new Path("hdfs://sourcePath/")
    val srcFs =FileSystem.get(srcPath.toUri,conf)
    val dstPath:Path =new Path("hdfs://targetPath/")
    val dstFs =FileSystem.get(dstPath.toUri,conf)
    val exists = fs.exists(new org.apache.hadoop.fs.Path(hdfsDirectory))
    val status:Array[FileStatus] = fs.listStatus(new Path(hdfsDirectory))
    if (status.length>0) {
      status.foreach(x => {
        println("My files: " + x.getPath)
        FileUtil.copy(srcFs, x.getPath, dstFs, dstPath, true, conf)
        println("Files moved !!" +x.getPath)
      }
      )}
    else{
      println("No Files Found !!")
    }

    OriginalL'auteur akshay jain