Les fichiers dans s3n://elasticmapreduce/samples/nombre de mots/d'entrée sont publiques, et mis à disposition par Amazon à l'exemple de nombre de mots Hadoop programme. Le meilleur moyen de les récupérer est de
Commencer une nouvelle Amazon Elastic MapReduce Flux de Travail (n'importe laquelle) de l'Amazon Web Services de la console, et assurez-vous que vous gardez le travail vivant avec le Garder en vie option
Une fois l'EC2 machines ont démarré, de trouver les instances EC2 d'Amazon Web Services, console de
ssh dans l'une des running les instances EC2, à l'aide de l'utilisateur hadoop, par exemple ssh -i keypair.pem [email protected]
Obtenir les fichiers dont vous avez besoin, à l'aide de hadoop dfs -copyToLocal s3://elasticmapreduce/samples/wordcount/input/0002 .
sftp les fichiers sur votre système local
Seule l'instance avec le ElasticMapReduce-master a ssh ouvert. Pour obtenir l'ensemble du répertoire, omettez simplement le nom de fichier: hadoop dfs -copyToLocal s3://elasticmapreduce/samples/wordcount/input/ .
Le propriétaire du dossier (le plus probable d'un fichier dans le dossier) doit avoir rendu accessible à un lecteur.
Si c'est le cas, s3n://x/y... est traduite en http://s3.amazonaws.com/x/y...
ou http://x.s3.amazonaws.com/y...
x est le nom du seau.
y... est le chemin wihtin le seau.
Si vous voulez vous assurer que le fichier existe, par exemple, si vous pensez que le nom a été mal orthographié, vous pouvez dans votre navigateur pour l'ouvrir http://s3.amazonaws.com/x
et vous verrez XML décrivant les "fichiers" qui est les objets S3, disponible.
Essayez ceci: http://s3.amazonaws.com/elasticmapreduce
J'ai essayé cela, et il semble que le chemin que vous voulez n'est pas public.
AWS EBS documentation citations s3://elasticmapreduce/samples/nombre de mots d'entrée/de dans un de la "prise en main" des exemples. Mais s3 est différent de s3n, de sorte que l'entrée pourrait être disponible pour EMR, mais pas pour l'accès HTTP.
C'est une solution plus pratique, et au moins à partir d'aujourd'hui, le lien s3.amazonaws.com/elasticmapreduce c'est de travailler et de montrer le résultat d'une "liste de seau" de la demande.
Dans Amazon S3, il n'y a pas de concept de dossiers, un seau-il simplement d'un plat de la collection d'objets. Mais vous pouvez lister tous les fichiers qui vous intéressent dans un navigateur avec l'URL suivante: s3.amazonaws.com/elasticmapreduce?prefix=samples/wordcount/input/
Les fichiers dans s3n://elasticmapreduce/samples/nombre de mots/d'entrée sont publiques, et mis à disposition par Amazon à l'exemple de nombre de mots Hadoop programme. Le meilleur moyen de les récupérer est de
ssh -i keypair.pem [email protected]
hadoop dfs -copyToLocal s3://elasticmapreduce/samples/wordcount/input/0002 .
ElasticMapReduce-master
a ssh ouvert.Pour obtenir l'ensemble du répertoire, omettez simplement le nom de fichier:
hadoop dfs -copyToLocal s3://elasticmapreduce/samples/wordcount/input/ .
OriginalL'auteur Sualeh Fatehi
Le propriétaire du dossier (le plus probable d'un fichier dans le dossier) doit avoir rendu accessible à un lecteur.
Si c'est le cas, s3n://x/y... est traduite en
http://s3.amazonaws.com/x/y...
ou
http://x.s3.amazonaws.com/y...
x est le nom du seau.
y... est le chemin wihtin le seau.
Si vous voulez vous assurer que le fichier existe, par exemple, si vous pensez que le nom a été mal orthographié, vous pouvez dans votre navigateur pour l'ouvrir
http://s3.amazonaws.com/x
et vous verrez XML décrivant les "fichiers" qui est les objets S3, disponible.
Essayez ceci:
http://s3.amazonaws.com/elasticmapreduce
J'ai essayé cela, et il semble que le chemin que vous voulez n'est pas public.
AWS EBS documentation citations s3://elasticmapreduce/samples/nombre de mots d'entrée/de dans un de la "prise en main" des exemples. Mais s3 est différent de s3n, de sorte que l'entrée pourrait être disponible pour EMR, mais pas pour l'accès HTTP.
OriginalL'auteur Michael Kariv
Vous pouvez accéder à wordSplitter.py ici:
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/wordSplitter.py
Vous pouvez accéder aux fichiers d'entrée ici:
OriginalL'auteur circuitry
Dans Amazon S3, il n'y a pas de concept de dossiers, un seau-il simplement d'un plat de la collection d'objets. Mais vous pouvez lister tous les fichiers qui vous intéressent dans un navigateur avec l'URL suivante:
s3.amazonaws.com/elasticmapreduce?prefix=samples/wordcount/input/
Ensuite, vous pouvez les télécharger en précisant le nom complet, par exemple
s3.amazonaws.com/elasticmapreduce/samples/wordcount/input/0001
OriginalL'auteur matthiash