Supprimer Amazon S3?
J'ai été en interaction avec Amazon S3 grâce à S3Fox et je n'arrive pas à supprimer mes seaux. - Je choisir un seau, appuyez sur la touche supprimer, confirmer la suppression dans un popup, et... rien ne se passe. Est-il un autre outil que je devrais utiliser?
- J'ai fini à l'aide de Cyberduck où il y a Windows et une version Mac 🙂
- En utilisant AWS SDK ruby, vous pouvez le faire en 1 commande (seau.supprimer!) docs.aws.amazon.com/AWSRubySDK/latest/frames.html#!AWS.html
Vous devez vous connecter pour publier un commentaire.
Il est enfin possible de supprimer tous les fichiers en une seule fois en utilisant le nouveau Cycle de vie (expiration) des règles de la fonction. Vous pouvez même le faire à partir de la console AWS.
Faites simplement un clic droit sur le seau nom dans la console AWS, sélectionnez "Propriétés", puis dans la ligne d'onglets au bas de la page, sélectionnez "cycle de vie" et "ajouter une règle". Créer une règle de cycle de vie avec le "Préfixe" champ vide (vide signifie que tous les fichiers dans le seau, ou vous pouvez l'installer à la "une" pour supprimer tous les fichiers dont les noms commencent par "a"). Définir les "Jours" du champ à "1". C'est tout. Fait. En supposant que les fichiers sont de plus d'une journée, ils devraient tous être supprimés, vous pouvez ensuite supprimer le seau.
J'ai juste essayé pour la première fois, donc je suis toujours en attente de voir comment rapidement les fichiers supprimés (ce qui n'était pas instantanée, mais sans doute devrait arriver dans les 24 heures) et de savoir si je suis facturé pour une commande de suppression ou de 50 millions de supprimer des commandes... croisons les doigts!
aws cli
une seule commande peut faire récursive suppression de tous les fichiers:aws s3 rm s3://bucket/folder/ --recursive
aws s3 rb s3://bucketname --force
. Il n'était pas instantanée mais la CLI semble relativement rapide pour moi.Rappelez-vous que S3 besoin d'être vide avant qu'ils peuvent être supprimés. La bonne nouvelle est que la plupart 3ème partie outils d'automatisation de ce processus. Si vous rencontrez des problèmes avec S3Fox, je vous recommande d'essayer S3FM pour l'interface graphique ou S3Sync pour la ligne de commande. Amazon a un excellent article décrivant comment utiliser S3Sync. Après la mise en place de vos variables, la clé de commande est
La suppression des seaux avec des lots de fichiers individuels tend à planter beaucoup de S3 outils parce qu'ils essaient d'afficher une liste de tous les fichiers dans le répertoire. Vous avez besoin de trouver un moyen de supprimer les fichiers en lots. Le meilleur outil que j'ai trouvé à cette fin est le Seau à Explorer. Il supprime les fichiers dans un compartiment S3 de 1000 fichiers de morceaux et de ne pas se bloquer lorsque vous essayez d'ouvrir de grands seaux comme s3Fox et S3FM.
J'ai également trouvé quelques scripts que vous pouvez utiliser à cette fin. Je n'ai pas essayé ces scripts encore mais ils ont l'air assez simple.
RUBY
PERL
SOURCE: Tarkblog
Espérons que cette aide!
les versions récentes de s3cmd ont --recursive
par exemple,
http://s3tools.org/kb/item5.htm
Avec s3cmd:
Créer un nouveau répertoire vide
s3cmd sync --delete-retiré empty_directory s3://yourbucket
C'est peut être un bug dans S3Fox, car il est généralement en mesure de supprimer des éléments de manière récursive. Cependant, je ne suis pas sûr si je n'ai jamais essayé de supprimer un ensemble seau et son contenu à la fois.
La JetS3t projet, tel que mentionné par Stu, comprend une IHM Java applet, vous pouvez facilement exécuter dans un navigateur pour gérer votre S3: Cockpit. Il a à la fois des forces et des faiblesses par rapport à S3Fox, mais il ya une bonne chance il va vous aider à composer avec votre gênants seau. S'il vous demandera de supprimer les objets en premier, puis le seau.
Disclaimer: je suis l'auteur de JetS3t et le poste de pilotage
SpaceBlock également le rend simple pour supprimer s3 - clic droit seau, de supprimer, d'attendre de travail pour compléter des transferts en vue, c'est fait.
C'est le libre et l'open source windows s3 front-end, que je maintiens, donc shameless plug alerte etc.
J'ai mis en place seau-détruire, un multi threaded utilitaire qui fait tout ce qu'il faut pour supprimer un seau. J'ai poignée non vide les seaux, ainsi que la version activée seau clés.
Vous pouvez lire le billet de blog ici http://bytecoded.blogspot.com/2011/01/recursive-delete-utility-for-version.html et les instructions ici http://code.google.com/p/bucket-destroy/
J'ai supprimé avec succès avec un seau qui contient double "//" dans le nom de la clé, de version de clé et DeleteMarker clés. Actuellement, je suis en cours d'exécution sur un seau qui contient ~de 40 000 000 jusqu'à présent, j'ai été en mesure de supprimer de 1 200 000 en quelques heures sur la m1.grand. Notez que l'utilitaire est multithread, mais n'a pas (encore) mis en œuvre de brassage (qui sera mise à l'échelle horizontale, lancement de l'utilitaire sur plusieurs machines).
Si vous utilisez amazon console et sur une base d'un temps nécessaire pour effacer un seau: Vous pouvez parcourir à votre seau puis sélectionnez le haut de la touche de défilement vers le bas, puis appuyez sur la touche maj de votre clavier, puis cliquez sur le bas. Il permet de sélectionner tous en entre les, alors vous pouvez faire un clic droit et supprimer.
Si vous avez ruby (et rubygems) installé, installez aws-s3 gem avec
ou
créer un fichier
delete_bucket.rb
:et de l'exécuter:
Depuis
Bucket#delete
retourné exceptions d'expiration beaucoup pour moi, j'ai élargi le script:Je suppose que le plus simple serait d'utiliser S3fm en ligne gratuit gestionnaire de fichiers pour Amazon S3. Pas de logiciels à installer, pas de 3ème sites web de tiers enregistrements. S'exécute directement à partir d'Amazon S3, sécuritaire et pratique.
Il suffit de sélectionner votre seau et appuyez sur la touche supprimer.
Une technique qui peut être utilisée pour éviter ce problème est de mettre tous les objets dans un "dossier" dans le seau, vous permettant simplement de supprimer le dossier, puis aller le long et supprimer le seau. En outre, la s3cmd outil disponible à partir de http://s3tools.org peut être utilisé pour supprimer un seau avec de fichiers:
J'ai bidouillé un script pour le faire à partir de Python, il réussi à enlever mon 9000 objets. Voir cette page:
https://efod.se/blog/archive/2009/08/09/delete-s3-bucket
Un plus plug sans vergogne: je suis fatigué de attente pour HTTP individuelles supprimer demandes lorsque j'ai dû supprimer de 250 000 articles, j'ai donc écrit un script Ruby qui fait multithread et se termine en une fraction du temps:
http://github.com/sfeley/s3nuke/
C'est l'un qui fonctionne beaucoup plus rapidement en Ruby 1.9 raison de la façon dont les fils sont traitées.
C'est un problème difficile. Ma solution est à http://stuff.mit.edu/~jik/software/delete-s3-bucket.pl.txt. Il décrit toutes les choses que j'ai déterminé qui peut aller mal dans un commentaire au dessus. Voici la version actuelle du script (si je l'ai changer, je vais mettre une nouvelle version dans l'URL, mais probablement pas ici).
Je suis l'un des Développeurs membre de l'Équipe de Seau de l'Explorateur de l'Équipe, Nous fournir une autre option pour supprimer Seau comme par les utilisateurs de choix...
1) Suppression Rapide -Cette option permet de supprimer les données à partir d'un seau en morceaux de 1 000.
2) Suppression Permanente-Cette option permet de Supprimer des objets dans la file d'attente.
Comment faire pour supprimer Amazon S3 fichiers et un seau?
Amazon a récemment ajouté une nouvelle fonctionnalité, le "Multi-Suppression de l'Objet", qui permet jusqu'à 1 000 de supprimer les objets à la fois avec une seule demande d'API. Cela devrait permettre une simplification de la procédure de suppression d'un grand nombre de fichiers à partir d'un seau.
La documentation pour la nouvelle fonctionnalité est disponible ici: http://docs.amazonwebservices.com/AmazonS3/latest/dev/DeletingMultipleObjects.html
J'ai toujours fini par utiliser leur API C# et de petits scripts pour ce faire. Je ne sais pas pourquoi S3Fox ne peut pas le faire, mais cette fonctionnalité semble être cassé à l'intérieur de ça pour le moment. Je suis sûr que la plupart des autres S3 outils peuvent le faire aussi bien, si.
Suppression de tous les objets dans le seau premier. Vous pouvez ensuite supprimer le seau lui-même.
Apparemment, on ne peut pas supprimer un seau avec des objets et S3Fox ne pas le faire pour vous.
J'ai eu d'autres petits problèmes avec S3Fox moi-même, comme ceci, et maintenant l'utilisation d'un outil basé sur Java, jets3t qui est plus à l'aise sur les conditions d'erreur. Il doit y en avoir d'autres, trop.
Vous devez assurez-vous que vous avez la bonne écriture de l'ensemble d'autorisations pour le seau, et le seau contient pas d'objets.
Certains outils utiles qui peuvent aider votre suppression: CrossFTP, visualiser et supprimer les seaux comme le client FTP. jets3t Outil comme mentionné ci-dessus.