Meilleure façon de déplacer des fichiers entre S3?

Mise à jour

Comme souligné par alberge (+1), aujourd'hui l'excellent Interface de Ligne de Commande AWS fournit le plus polyvalent approche pour interagir avec (presque) toutes les choses AWS - il pendant ce temps couvre la plupart des services et Api dispose également d' niveau supérieur S3 commandes pour traiter votre cas d'utilisation, en particulier, consultez le AWS CLI de référence pour les S3:

• synchronisation - Synchronisation des répertoires et S3 préfixes. Votre cas est couvert par Exemple 2 (plus fine de l'utilisation avec --exclude, --include et un préfixe de manutention etc. est également disponible):
  

  La suite de la commande sync synchronise les objets sous un préfixe spécifié et un seau pour les objets sous un autre préfixe spécifié et un seau en copiant les objets s3. [...]

  aws s3 sync s3://from_my_bucket s3://to_my_other_bucket
  

Pour être complet, je vais mentionner que le niveau inférieur S3 commandes sont également toujours disponibles via le s3api sous commande, ce qui permettrait de traduire directement toute solution basée sur le SDK AWS CLI avant d'adopter son plus haut niveau de fonctionnalités par la suite.

---

Première Réponse

Le déplacement de fichiers entre le S3 peut être atteint par des moyens de la METTRE l'Objet - Copie de l'API (suivi par SUPPRIMER l'Objet):

Cette mise en œuvre de l'opération crée une copie d'un objet
c'est déjà stockées dans Amazon S3. Une opération de copie est la même
le spectacle d'un OBTENEZ et d'un PUT. L'ajout de l'entête de la requête,
x-amz-copie-source, effectue l'opération de placement copie de l'objet source dans
la destination seau. Source

Il y a des échantillons respectifs pour tous les AWS Sdk disponibles, voir La copie d'Objets en une Seule Opération. Naturellement, un script basé solution serait évidente de premier choix ici, donc Copier un Objet en Utilisant le SDK AWS pour Ruby pourrait être un bon point de départ; si vous préférez Python au lieu de cela, le même effet peut être obtenu via boto ainsi, bien sûr, voir la méthode copy_key() dans boto est S3 documentation de l'API.

PUT Object copie uniquement les fichiers, donc vous devez explicitement supprimer un fichier via DELETE Object encore après le succès de l'opération de copie, mais ce sera juste quelques lignes une fois que l'ensemble de la gestion de scripts le seau et les noms de fichiers est en place (il y a respectifs d'exemples, voir, par exemple,La Suppression D'Un Objet Par Demande).

Pour déplacer/copier à partir d'un seau à l'autre ou le même seau-je utiliser s3cmd outil et fonctionne très bien. Par exemple:

s3cmd cp --recursive s3://bucket1/directory1 s3://bucket2/directory1
s3cmd mv --recursive s3://bucket1/directory1 s3://bucket2/directory1

.NET Exemple comme demandé:

using (client)
{
    var existingObject = client.ListObjects(requestForExisingFile).S3Objects; 
    if (existingObject.Count == 1)
    {
        var requestCopyObject = new CopyObjectRequest()
        {
            SourceBucket = BucketNameProd,
            SourceKey = objectToMerge.Key,
            DestinationBucket = BucketNameDev,
            DestinationKey = newKey
        };
        client.CopyObject(requestCopyObject);
    }
}

avec le client en étant quelque chose comme

var config = new AmazonS3Config { CommunicationProtocol = Protocol.HTTP, ServiceURL = "s3-eu-west-1.amazonaws.com" };
var client = AWSClientFactory.CreateAmazonS3Client(AWSAccessKey, AWSSecretAccessKey, config);

Il pourrait y avoir une meilleure façon, mais c'est juste une rapide code que j'ai écrit pour obtenir certains fichiers transférés.

Pour moi la commande suivante fonctionne simplement:

aws s3 mv s3://bucket/data s3://bucket/old_data --recursive

Fait que récemment je viens d'utiliser le copier+coller action dans AWS s3 interface. Il suffit de naviguer sur les fichiers que vous souhaitez copier, cliquez sur "Actions" -> "Copier", puis naviguer jusqu'à la destination seau et "Actions" -> "Coller"

Il transfère les fichiers assez rapide et il semble comme un moins alambiqué solution qui ne nécessite pas de programmation, ou sur le dessus des solutions comme ça.

Je sais que c'est un vieux thread mais pour d'autres qui y atteindre, ma suggestion est de créer une tâche planifiée pour copier du contenu à partir de la production seau pour le développement one.

Vous pouvez utiliser Si vous utilisez .NET cet article peut vous aider à

http://www.codewithasp.net/2015/03/aws-s3-copy-object-from-one-bucket-or.html