s3 url - get seau nom et le chemin d'accès

J'ai une variable qui a le aws s3 url

s3://bucket_name/folder1/folder2/file1.json

Je veux obtenir le bucket_name dans une variables et le reste je.e /dossier1/dossier2/fichier1.json dans une autre variable. J'ai essayé les expressions régulières et pourrait obtenir la bucket_name comme ci-dessous, vous ne savez pas si il ya une meilleure façon.

m = re.search('(?<=s3:\/\/)[^\/]+', 's3://bucket_name/folder1/folder2/file1.json')
print(m.group(0))

Comment puis-je obtenir le reste je.e - dossier1/dossier2/fichier1.json ?

J'ai vérifié si il y a un boto3 fonction d'extraire l'bucket_name et de la clé à partir de l'url, mais je ne pouvais pas le trouver.

OriginalL'auteur Lijju Mathew | 2017-03-07

  1. 40

    Depuis qu'il est dans l'URL, vous pouvez utiliser urlparse obtenir de toutes les parties de l'URL.

    >>> from urlparse import urlparse
>>> o = urlparse('s3://bucket_name/folder1/folder2/file1.json')
>>> o
ParseResult(scheme='s3', netloc='bucket_name', path='/folder1/folder2/file1.json', params='', query='', fragment='')
>>> o.netloc
'bucket_name'
>>> o.path
'/folder1/folder2/file1.json'

    Vous pouvez avoir à supprimer le début de slash de la clé comme la réponse suivante suggère. 

    o.path.lstrip('/')

    Avec Python 3 urlparse déménagé à urllib.parse donc de l'utiliser:

    from urllib.parse import urlparse
    Je vous remercie. Génial!!
    Mais attention si votre nom de fichier contient un #, dans ce cas, o.path ne contiennent pas la totalité de la clé. urlparse('s3://bucket_name/file #2.json').path == '/file '

    OriginalL'auteur kichik

  2. 12

    Pour ceux qui comme moi a été d'essayer d'utiliser urlparse pour extraire la clé et un seau afin de créer l'objet avec boto3. Il y a un détail important: supprimer la barre oblique depuis le début de la clé

    from urlparse import urlparse
o = urlparse('s3://bucket_name/folder1/folder2/file1.json')
bucket = o.netloc
key = o.path
boto3.client('s3')
client.put_object(Body='test', Bucket=bucket, Key=key.lstrip('/'))

    Il a fallu un certain temps pour réaliser que parce que boto3 ne lance pas d'exception.

    Merci pour la réponse utile, je pense que vous êtes en utilisant lstrip deux fois si, une fois lors de l'affectation à key et de nouveau lors du passage de key à la put_object méthode. Il n'a probablement pas d'importance, à moins que vos clés ont consécutive de deux barres obliques. C'est sans doute possible avec s3 noms d'objet.
    merci @Davos! retiré supplémentaire lstrip
    la clé est de l'o.chemin d'accès, il n'est pas inclus dans la réponse d'origine.
    Merci @RicardoMayerhofer! Fixe.

    OriginalL'auteur Mikhail Sirotenko

  3. 4

    Une solution qui fonctionne sans urllib ou re (également des poignées de barre oblique):

    def split_s3_path(s3_path):
    path_parts=s3_path.replace("s3://","").split("/")
    bucket=path_parts.pop(0)
    key="/".join(path_parts)
    return bucket, key

    À exécuter:

    bucket, key = split_s3_path("s3://my-bucket/some_folder/another_folder/my_file.txt")

    Retourne:

    bucket: my-bucket
key: some_folder/another_folder/my_file.txt

    OriginalL'auteur mikeviescas

  4. 3

    Si vous voulez le faire avec des expressions régulières, vous pouvez effectuer les opérations suivantes:

    >>> import re
>>> uri = 's3://my-bucket/my-folder/my-object.png'
>>> match = re.match(r's3:\/\/(.+?)\/(.+)', uri)
>>> match.group(1)
'my-bucket'
>>> match.group(2)
'my-folder/my-object.png'

    Ceci a l'avantage que vous pouvez vérifier pour la s3 système plutôt que de laisser quoi que ce soit là.

    OriginalL'auteur Alec Hewitt