Hadoop copier un répertoire?

Est-il un HDFS API qui peut copier l'intégralité d'un répertoire local de la SF? J'ai trouvé une API pour la copie de fichiers, mais est-il un pour les répertoires?

InformationsquelleAutor rakeshr | 2011-01-17
  1. 16

    Utiliser le Hadoop FS shell. Plus précisément:

    $ hadoop fs -copyFromLocal /path/to/local hdfs:///path/to/hdfs

    Si vous voulez le faire par programmation, la création de deux systèmes de fichiers (un Local et un HDFS) et l'utilisation le FileUtil classe

    • j'ai besoin de le faire par programmation. pas de la coquille
    • ok, j'ai ajouté la façon de le faire à l'aide de FileUtil.
    • Peut hadoop fs support de copie à partir d'un partage de fichiers? Je n'ai jamais réussi à le faire
    InformationsquelleAutor Spike Gronim
  2. 11

    J'ai essayé de copier depuis le répertoire à l'aide de 

    /hadoop/core/bin/hadoop fs -copyFromLocal /home/grad04/lopez/TPCDSkew//export/hadoop1/lopez/Join/TPCDSkew

    Il m'a donné un message d'erreur indiquant que la Cible est un répertoire . J'ai ensuite modifié pour 

    /hadoop/core/bin/hadoop fs -copyFromLocal /home/grad04/lopez/TPCDSkew/*.* /export/hadoop1/lopez/Join/TPCDSkew

    il fonctionne .

    • C'est en référence à hadoop version 0.20.
    • ce problème a été résolu et cette notation n'est plus nécessaire. Cependant, l'OP n'a pas de spécifier une version hadoop si cette réponse peut encore s'appliquer à d'anciennes versions.
    InformationsquelleAutor LGG
  3. 2

    Dans Hadoop version:

    Hadoop 2.4.0.2.1.1.0-390

    (Et probablement plus tard; je ne l'ai testé cette version spécifique comme c'est celle que j'ai)

    Vous pouvez copier l'ensemble des répertoires de manière récursive, sans mention spéciale à l'aide de copyFromLocal par exemple,:

    hadoop fs -copyFromLocal /path/on/disk /path/on/hdfs

    qui fonctionne même lorsque /path/on/disk est un répertoire contient des sous-répertoires et fichiers.

    InformationsquelleAutor Tommy
  4. 0

    Vous pouvez également utiliser le put commande:

    $ hadoop fs -put /local/path hdfs:/path
    InformationsquelleAutor Crt
  5. -1

    Pour le programmeur, vous pouvez également utiliser copyFromLocalFile. Voici un exemple:

    import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.FileSystem
import org.apache.hadoop.fs.Path

val hdfsConfig = new Configuration
val hdfsURI = "hdfs://127.0.0.1:9000/hdfsData"
val hdfs = FileSystem.get(new URI(hdfsURI), hdfsConfig)

val oriPath = new Path("#your_localpath/customer.csv")
val targetFile = new Path("hdfs://your_hdfspath/customer.csv")
hdfs.copyFromLocalFile(oriPath, targetFile)
    • C'est pour un seul fichier, OP demandé pour un répertoire
    InformationsquelleAutor Haimei