La plus rapide / la meilleure façon de copier des données entre S3, EC2?

J'ai une assez grande quantité de données (~30G, divisé en ~100 fichiers) j'aimerais transfert entre S3 et EC2: quand je lance les instances EC2 je voudrais copier les données à partir de S3 à l'EC2 disques locaux aussi vite que je peux, et quand je suis fait, de traitement, je voudrais copier les résultats à S3.

Je suis à la recherche d'un outil qui va faire un rapide parallèle /copie des données d'avant en arrière. J'ai plusieurs scripts piraté, y compris celui qui fait un travail décent, donc je ne suis pas à la recherche des pointeurs vers les bibliothèques de base; je suis à la recherche de quelque chose de rapide et fiable.

InformationsquelleAutor Parand | 2009-04-14
  1. 1

    Je pense que vous feriez mieux d'utiliser un Elastic Block Store pour stocker vos fichiers au lieu de S3. EBS est semblable à un "drive" sur S3 qui peut être monté dans votre instance EC2, sans avoir à copier les données à chaque fois, ce qui vous permet de persister vos données entre les instances EC2 sans avoir à écrire ou lire à partir de S3 à chaque fois.

    http://aws.amazon.com/ebs/

    • C'est une bonne suggestion. Le seul inconvénient des volumes EBS, c'est qu'ils ne peuvent être montés sur une instance en cours d'exécution dans la même zone de disponibilité comme le volume. E. g. un volume in us-east-1a ne peut pas être utilisé par exemple dans us-east-1b. Donc, si l'on ne peut pas ou préfère ne pas exécuter une instance de la zone (en raison de problèmes, ou tout simplement un manque de capacité) on ne peut pas utiliser le volume.
    • Ce n'est pas la façon dont EBS œuvres. EBS n'est PAS un disque sur S3. EBS ne pas lire/écrire des données sur S3, sauf lors de la création d'un Instantané ou de créer un volume à partir d'un Instantané.
    • Je n'ai pas de sens de dire est un lecteur sur le S3, je voulais dire qu'il était comme un lecteur - si vous souhaitez utiliser S3-comme le stockage dans la façon dont vous voulez utiliser un disque, EBS est un bon ajustement.
    • Comme je le comprends, EBS peut échouer, alors que le s3 a des sauvegardes. Cela peut être une autre chose qui doit être pensé avant de décider d'utiliser EBS au lieu de S3.
    InformationsquelleAutor Adam Hopkinson
  2. 33

    Malheureusement, Adam suggestion ne fonctionne pas comme sa compréhension de l'EBS est mal (même si je voudrais qu'il était juste et souvent pensé moi-même, il doit travailler de cette façon)... comme EBS n'a rien à voir avec le S3, mais il ne vous donnera un "disque externe" pour les instances EC2 qui sont distinctes, mais connectable aux instances. Vous avez encore à faire des copier-coller entre S3 et EC2, même si il n'y a aucun frais de transfert de données entre les deux.

    Vous n'avez pas parlé un système d'exploitation de votre exemple, je ne peux donc pas donner d'informations sur mesure. Le populaire outil de ligne de commande que j'utilise est http://s3tools.org/s3cmd ... il est basé sur le langage Python et donc, selon l'info sur son site web, il devrait fonctionner sur windows ainsi que Linux, bien que je l'utilise TOUT le temps sur Linux. Vous pouvez facilement concocter un rapide script qui utilise ses construit en "sync" de commande qui fonctionne de manière similaire à rsync, et ont déclenché à chaque fois que vous avez terminé le traitement de vos données. Vous pouvez également utiliser la récursivité de vente et d'obtenir des commandes pour obtenir et mettre les données uniquement lorsque cela est nécessaire.

    Il existe des outils graphiques comme la Chicouté Pro qui ont des options de ligne de commande pour Windows qui vous permet de configurer l'horaire des commandes. http://s3tools.org/s3cmd est probablement le plus facile.

    • Bonne réponse, mais peut-être qu'il vaut la peine de noter que s3cmd ne prend pas en charge l'option --delete avec la synchronisation, ce qui signifie que si vous supprimez quelque chose sur la source, il va rester encore sur la destination 🙁
    • J'ai besoin de regarder dans que avec nos scripts de sauvegarde. J'aurais pu jurer il y avait moyen d' --delete travaillé avec sync. Bien que, je ne m'en souviens il faut un certain fandangling pour obtenir juste à droite. Le script m'a sauvé du temps dans de nombreux domaines, de loin, tout de même!
    • Peu en retard de la réponse - ma réponse n'était pas suggérer à l'aide de l'EBS pour copier entre S3 et EC2, mais lieu de la S3. Je vais mettre à jour afin de préciser.
    • Même si cela n'a pas vraiment ajouter à la réponse de ce en particulier la question, il est intéressant de noter que j'ai vérifié nos scripts et la commande sync offre une option --delete pour @golja cependant, la syntaxe correcte est --delete-retiré
    InformationsquelleAutor Tyler
  3. 2

    Maintenant, il y a une commande sync dans AWS outils de ligne de Commande, cela devrait faire l'affaire: http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

    Au démarrage:
    aws s3 sync s3://mybucket /mylocalfolder

    avant l'arrêt:
    aws s3 sync /mylocalfolder s3://mybucket

    Bien sûr, les détails sont toujours un plaisir de travailler par exemple. comment peut-parallèle, il est (et peut vous rendre plus parallèle et est plus rapide que tout goven la nature virtuelle de la totalité de l'installation)

    Btw j'espère que vous êtes encore à travailler sur ce... ou quelqu'un. 😉

    InformationsquelleAutor Gyuri
  4. 1

    Installer s3cmd Paquet comme 

    yum install s3cmd

    ou 

    sudo apt-get install s3cmd

    selon votre système d'exploitation

    puis copier les données avec cette 

    s3cmd get s3://tecadmin/file.txt

    aussi ls pouvez afficher la liste des fichiers.

    pour plus d'detils voir cette

    InformationsquelleAutor Vikas Hardia
  5. 0

    Pour moi, le meilleur est:

    wget http://s3.amazonaws.com/my_bucket/my_folder/my_file.ext

    de PuTTy

    InformationsquelleAutor Cro-Magnon