Comment faire pour copier le fichier de HDFS pour le système de fichiers local

Comment faire pour copier le fichier de HDFS pour le système de fichiers local . Il n'y a pas d'emplacement physique d'un fichier dans le fichier , pas même répertoire . comment puis-je déplacé à mon local pour plus de validations.je suis tenté par winscp .

InformationsquelleAutor Surya | 2013-07-24
  1. 212
    1. bin/hadoop fs -get /hdfs/source/path /localfs/destination/path
    2. bin/hadoop fs -copyToLocal /hdfs/source/path /localfs/destination/path
    3. Pointez votre navigateur web pour HDFS WEBUI(namenode_machine:50070), recherchez le fichier que vous avez l'intention de copier, faites défiler la page et cliquez sur télécharger le fichier.
    • parfait tariq , j'ai eu l'il ,Il n'y a pas d'emplacement physique d'un fichier dans le fichier , pas même répertoire . bin/hadoop dfs -ls /utilisation/hadoop/mondossier, je peux afficher le fichier , Depuis j'ai eu l'info que Pour inspecter le fichier, vous pouvez copier à partir de HDFS pour le système de fichiers local , donc je pensais que je peux déplacés de winscp
    • une fois de plus, j'ai besoin de parler de tariq , merci beaucoup pour la contribution du temps et de connaissances . merci beaucoup . u ne de soutien beaucoup , cela donne beaucoup de confiance pour une nouvelle bie comme moi .
    • Je vois. Vous pouvez réellement utiliser hdfs chat de commande si vous souhaitez voir le contenu du fichier ou ouvrir le fichier sur l'interface web. Cela vous évitera de télécharger le fichier local de votre fs. Vous êtes les bienvenus. Et si vous êtes satisfait à 100% avec les réponses à vos questions, vous pouvez les marquer afin que d'autres puissent en bénéficier.. Pas juste celui-ci, mais en général.
    • Juste pour ajouter à mon commentaire lat, si c'est un fichier binaire, le chat ne vous montrent pas le contenu réel. Pour afficher le contenu d'un fichier binaire, vous pouvez utiliser : bin/hadoop fs -texte /chemin/vers/fichier
    • j'ai essayé de marquer ,mais son pas m'accepter pour marquer (cochez la case à droite) @ tariq
    • j'ai essayé d'utiliser le fichier xml , stackoverflow.com/q/17851462/2499617 , a obtenu Diskerror sur l'esclave pouvez vous s'il vous plaît aviser
    • Il semble être un bug(fixe). Voir la réponse.
    • Il y a possibilité de spécifier la modification/date de création des fichiers de votre copie?

    InformationsquelleAutor Tariq
  2. 20

    Dans Hadoop 2.0,

    hdfs dfs -copyToLocal <hdfs_input_file_path> <output_path>

    où,

    • hdfs_input_file_path peut-être obtenu à partir de http://<<name_node_ip>>:50070/explorer.html

    • output_path local est le chemin d'accès du dossier où le fichier doit être copié.

    • vous pouvez également utiliser get en place de copyToLocal.

    InformationsquelleAutor Ani Menon
  3. 14

    Afin de copier des fichiers à partir de HDFS pour le système de fichiers local, la commande suivante peut être exécuté:

    hadoop dfs -copyToLocal <input> <output>

    • <input>: le HDFS chemin d'accès au répertoire (e.g /mydata) que vous souhaitez copier
    • <output>: le chemin d'accès au répertoire de destination (par exemple ~/Documents)
    • Cela ne semble pas fonctionner pour moi. Il dit toujours: <input> fichier non trouvé. Je suis à l'aide de cloudera VM d'instance, qui a cent os 6.4
    • Êtes-vous sûr que le fichier est en fait là-bas? Pouvez-vous parcourir par le biais de hadoop fs -ls ?
    • quelle est la commande pour les autres sens?
    InformationsquelleAutor Shafiq
  4. 5

    vous pouvez accomplir dans ces deux façons.

    1.hadoop fs -get <HDFS file path> <Local system directory path>
2.hadoop fs -copyToLocal <HDFS file path> <Local system directory path>

    Ex:

    Mes fichiers sont situés dans /sourcedata/mydata.txt
    Je veux copier le fichier dans le système de fichiers Local dans cette voie /utilisateur/ravi/mydata

    hadoop fs -get /sourcedata/mydata.txt /user/ravi/mydata/
    InformationsquelleAutor Ramineni Ravi Teja
  5. 1

    Cela a fonctionné pour moi sur ma VM instance de Ubuntu.

    hdfs dfs -copyToLocal [hadoop répertoire] [répertoire local]

    InformationsquelleAutor Zach
  6. 0

    Si votre source "fichier" est divisé entre plusieurs fichiers (peut-être que le résultat de map-reduce) qui vivent dans la même arborescence de répertoire, vous pouvez le copier dans un fichier local avec:

    hadoop fs -getmerge /hdfs/source/dir_root/local/destination
    InformationsquelleAutor Eponymous
  7. -2
    bin/hadoop fs -put /localfs/destination/path /hdfs/source/path
    • hdfs dfs -est une commande de pousser les fichiers de locales FS de HDFS. hdfs dfs -get est la bonne option
    InformationsquelleAutor Hadoop maniac