Comment liste _all_ objets dans le compartiment Amazon S3?

S3Client.ListObjects retour de 1000 objets. Comment récupérer la liste de tous les objets existant à l'aide d'Amazon C# bibliothèque?

InformationsquelleAutor user626528 | 2012-03-29
  1. 60

    Comme indiqué déjà, Amazon S3 exige, en effet,Liste des Clés à l'Aide du kit SDK AWS pour .NET:

    Comme les seaux peuvent contenir un nombre illimité de touches, l'
    résultats complets d'une liste de requêtes peuvent être extrêmement grande. Pour gérer
    grands ensembles de résultats, Amazon S3 utilise la pagination de les diviser en
    de multiples réponses. Chaque liste de clés de réponse renvoie à une page de
    De 1 000 clés avec un indicateur indiquant si la réponse est tronqué.
    Vous envoyer une série de clés des listes de demandes jusqu'à ce que vous avez reçu tous les
    les touches.

    Mentionnés indicateur est le NextMarker bien de la ObjectsResponse Classe - son utilisation est illustrée dans l'exemple complet Liste des Clés à l'Aide du kit SDK AWS pour .NET, avec le fragment étant:

    static AmazonS3 client;
client = Amazon.AWSClientFactory.CreateAmazonS3Client(
                    accessKeyID, secretAccessKeyID);

ListObjectsRequest request = new ListObjectsRequest();
request.BucketName = bucketName;
do
{
   ListObjectsResponse response = client.ListObjects(request);

   //Process response.
   //...

   //If response is truncated, set the marker to get the next 
   //set of keys.
   if (response.IsTruncated)
   {
        request.Marker = response.NextMarker;
   }
   else
   {
        request = null;
   }
} while (request != null);
    • Plus de 2 ans plus tard et toujours la solution parfaite pour moi! Merci 🙂
    • Réponse parfaite ...
    • Votre second lien est cassé maintenant (une Itération à Travers plusieurs pages de Résultats), et peut être trouvé ici: docs.aws.amazon.com/AmazonS3/latest/dev/...
    • Cela fonctionne, mais à l'aide de requête à la fois comme, eh bien, la demande, ET donc la fin de la boucle de la valeur du marqueur (lorsque la valeur null) ne semble pas très bonne pratique. (Pas l'affiche de la faute, c'est ce que l'Amazon docs vous disent de faire.)
    InformationsquelleAutor Steffen Opel
  2. 8

    Être conscient que la réponse ci-dessus n'est pas la bonne API pour les Objets de la Liste: http://docs.aws.amazon.com/AmazonS3/latest/API/v2-RESTBucketGET.html

    L'extrait de code suivant montre à quoi il ressemble avec la nouvelle API:

    using (var s3Client = new AmazonS3Client(Amazon.RegionEndpoint.USEast1))
{
    ListObjectsV2Request request = new ListObjectsV2Request
    {
          BucketName = bucketName,
          MaxKeys = 10
    };
    ListObjectsV2Response response;
    do
    {
         response = await s3Client.ListObjectsV2Async(request);

         //Process response.
         //...

         request.ContinuationToken = response.NextContinuationToken;

    } while (response.IsTruncated);        
}
    • Si vous aimez les boucles infinies, copiez et collez ce code
    InformationsquelleAutor lgrosales
  3. 0

    Selon la documentation, le client utilise la pagination dans le cas que vous décrivez. Selon les documents, vous devez utiliser IsTruncated sur le résultat... si c'est true appel ListObjects de nouveau correctement le programme d'installation Marker pour obtenir la page suivante etc. - cesser de l'appeler quand IsTruncated retourne false.

    InformationsquelleAutor Yahia