hadoop copier un fichier local dossier système HDFS
J'ai besoin de copier un dossier du système de fichiers local à HDFS. Je ne pouvais pas trouver un exemple de déplacement d'un dossier(y compris tous ses sous-dossiers) pour HDFS
$ hadoop fs -copyFromLocal /home/ubuntu/Source-Folder-To-Copy HDFS-URI
Vous devez vous connecter pour publier un commentaire.
Vous pourriez essayer:
ou même
Par défaut, les deux
put
etcopyFromLocal
de charger des répertoires de manière récursive pour HDFS.Si vous copiez un dossier local, puis il va copier le dossier avec tous ses sous-dossiers sur HDFS.
Pour la copie d'un dossier de locaux à hdfs, vous pouvez utiliser
ou
ou
ou
Remarque:
Si vous n'êtes pas spécifié hdfs chemin puis copier le dossier sera la copie de hdfs avec le même nom de dossier.
Copier à partir de hdfs locales
localpath
,hdfspath
pourrait utiliser un peu d'amour pour ceux qui sont nouveaux à hadoopEn Bref
Dans détails avec par exemple:
Vérification de la source et de la cible avant de placer les fichiers dans HDFS
Copier des fichiers HDFS à l'aide de
-put
ou-copyFromLocal
commandeVérifier le résultat dans HDFS
Vous pouvez utiliser :
1.LE CHARGEMENT DE DONNÉES À PARTIR D'UN FICHIER LOCAL À HDFS
Syntaxe:$hadoop fs –copyFromLocal
EX: $hadoop fs –copyFromLocal localfile1 HDIR
2. La copie de données à Partir de HDFS Locales
Sys: $hadoop fs –copyToLocal < nouveau nom de fichier>
EX: $hadoop fs –copyToLocal hdfs/filename myunx;
Pour copier un fichier de dossier de locaux à hdfs, vous pouvez la commande ci-dessous
ou
Accédez à votre "/install/hadoop/datanode/bin" dans le dossier ou le chemin d'accès où vous pouvez exécuter vos commandes hadoop:
Pour placer les fichiers dans HDFS:
Format: hadoop fs -mettre "système Local"chemin/nom de fichier.csv "HDFS chemin de destination"
par exemple)./hadoop fs -mettre /opt/csv/charge.csv /utilisateur/charge
Ici de /opt/csv/charge.csv est la source du fichier chemin d'accès de mon système linux.
/utilisateur/de chargement moyen de cluster HDFS chemin de destination dans "hdfs://hacluster/utilisateur/charge"
Pour obtenir les fichiers de HDFS système local:
Format : hadoop fs -get "/HDFSsourcefilepath" "/chemin-local"
par exemple)hadoop fs -get /utilisateur/de charge/un.csv /opt/csv/
Après l'exécution de la commande ci-dessus, un.csv à partir de HDFS sera téléchargé dans /opt/dossier csv en local système linux.
Ce fichiers téléchargés pourrait également être vu à travers HDFS NameNode d'une INTERFACE web.
De ligne de commande -
Hadoop fs -copyFromLocal
Hadoop fs -copyToLocal
Ou vous pouvez également utiliser étincelle système de fichiers de la bibliothèque pour obtenir ou mettre les fichier hdfs.
Espère que cela est utile.