Comment puis-je afficher le contenu du répertoire d'un compartiment S3 à l'aide de Python et Boto3?

Je suis en train de la liste de tous les répertoires à l'intérieur d'un compartiment S3 à l'aide de Python et Boto3.

Je suis en utilisant le code suivant:

s3 = session.resource('s3')  # I already have a boto3 Session object
bucket_names = [
    'this/bucket/',
    'that/bucket/'
]
for name in bucket_names:
    bucket = s3.Bucket(name)
    for obj in bucket.objects.all():  # this raises an exception
        # handle obj

Lorsque je l'exécute j'ai le trace de pile d'exception:

File "botolist.py", line 67, in <module>
  for obj in bucket.objects.all():
File "/Library/Python/2.7/site-packages/boto3/resources/collection.py", line 82, in __iter__
  for page in self.pages():
File "/Library/Python/2.7/site-packages/boto3/resources/collection.py", line 165, in pages
  for page in pages:
File "/Library/Python/2.7/site-packages/botocore/paginate.py", line 83, in __iter__
  response = self._make_request(current_kwargs)
File "/Library/Python/2.7/site-packages/botocore/paginate.py", line 155, in _make_request
  return self._method(**current_kwargs)
File "/Library/Python/2.7/site-packages/botocore/client.py", line 270, in _api_call
  return self._make_api_call(operation_name, kwargs)
File "/Library/Python/2.7/site-packages/botocore/client.py", line 335, in _make_api_call
  raise ClientError(parsed_response, operation_name)

botocore.exceptions.ClientError: An error occurred (NoSuchKey) when calling the ListObjects operation: The specified key does not exist.

Est-ce le bon moyen de la liste de répertoires à l'intérieur d'un seau?

Merci beaucoup à l'avance...

OriginalL'auteur Allen Gooch | 2015-09-17

  1. 10

    Alternativement, vous pouvez utiliser boto3.client

    Exemple

    >>> import boto3 
>>> client = boto3.client('s3')
>>> client.list_objects(Bucket='MyBucket')

    list_objects prend également en charge d'autres arguments qui pourraient être requis pour effectuer une itération si le résultat: Seau, Séparateur, EncodingType, Marqueur, MaxKeys, Préfixe

    J'ai essayé, mais toujours obtenir la même ClientError. Une erreur s'est produite (NoSuchKey) lors de l'appel de la ListObjects opération: La clé spécifiée n'existe pas.
    Cette méthode retourne jusqu'à 1000 résultats.

    OriginalL'auteur Vor

  2. 10

    Si vous avez de la session, de créer un client et obtenir le CommonPrefixes des clients list_objects:

    client = session.client('s3', 
                        # region_name='eu-west-1'
                        )

result = client.list_objects(Bucket='MyBucket', Delimiter='/')
for obj in result.get('CommonPrefixes'):
    #handle obj.get('Prefix')

    Il pourrait y avoir beaucoup de dossiers, et vous voudrez peut-être commencer dans un sous-dossier, si. Quelque chose comme cela pourrait poignée:

    def folders(client, bucket, prefix=''):
    paginator = client.get_paginator('list_objects')
    for result in paginator.paginate(Bucket=bucket, Prefix=prefix, Delimiter='/'):
        for prefix in result.get('CommonPrefixes', []):
            yield prefix.get('Prefix')

gen_folders = folders(client, 'MyBucket')
list(gen_folders)

gen_subfolders = folders(client, 'MyBucket', prefix='MySubFolder/')
list(gen_subfolders)
    Cette juste me sauve des tonnes de temps. Merci pour cette fonction.
    hey, amazon!!! ajouter cette fonction, plz!!! Je ne comprends pas pourquoi il ne fait pas partie de la bibliothèque.

    OriginalL'auteur Anne M.

  3. 1

    J'aurais pensé que vous ne pouvez pas avoir une barre oblique dans un seau nom. Vous dites que vous voulez la liste de tous les répertoires à l'intérieur d'un seau, mais votre code tente d'énumérer tous les contenus (pas nécessairement répertoires) dans un certain nombre de segments. Ces seaux probablement n'existent pas (parce qu'ils ont un nom illégal). Ainsi, lorsque vous exécutez

    bucket = s3.Bucket(name)

    seau est probablement nulle, et la liste va échouer.

    OriginalL'auteur Old_Mortality