Récupérer le fichier S3 comme Objet plutôt que de télécharger absolu chemin d'accès système

J'ai juste commencé à l'apprentissage et à l'aide de S3, de lire les docs. Je n'ai vraiment pas trouver quelque chose à aller chercher le fichier dans un objet au lieu de la télécharger à partir de S3? si cela pouvait être possible, ou il me manque quelque chose?

En fait, je veux éviter d'autres IO après avoir téléchargé le fichier.

Ne GetObject (voir docs.aws.amazon.com/AmazonS3/latest/dev/... ) de l'aide?

OriginalL'auteur Bruce_Wayne | 2016-05-07

  1. 9

    Vous pouvez utiliser StringIO et obtenir un fichier de contenu à partir de S3 à l'aide de get_contents_as_string, comme ceci:

    import pandas as pd
import StringIO
from boto.s3.connection import S3Connection

AWS_KEY = 'XXXXXXDDDDDD'
AWS_SECRET = 'pweqory83743rywiuedq'
aws_connection = S3Connection(AWS_KEY, AWS_SECRET)
bucket = aws_connection.get_bucket('YOUR_BUCKET')

fileName = "test.csv"

content = bucket.get_key(fileName).get_contents_as_string()
reader = pd.read_csv(StringIO.StringIO(content))

    OriginalL'auteur ar-ms

  2. 20

    Vous pourriez être à la recherche pour le get_object() méthode de la boto3 S3 client:

    http://boto3.readthedocs.io/en/latest/reference/services/s3.html#S3.Client.get_object

    Ainsi, vous obtenez une réponse de l'objet dictionnaire avec les membres de l' Body qui est un StreamingBody objet, que vous pouvez utiliser comme un fichier normal et appel .read() méthode. Pour obtenir l'intégralité du contenu de la S3 objet en mémoire que vous feriez quelque chose comme ceci:

    s3_client = boto3.client('s3')
s3_response_object = s3_client.get_object(Bucket=BUCKET_NAME_STRING, Key=FILE_NAME_STRING)
object_content = s3_response_object['Body'].read()

    OriginalL'auteur grepe

  3. 6

    Je préfère cette approche, l'équivalent de une réponse précédente:

    import boto3
s3 = boto3.resource('s3')
def read_s3_contents(bucket_name, key):
    response = s3.Object(bucket_name, key).get()
    return response['Body'].read()

    Mais une autre approche pourrait lire l'objet en StringIO:

    import StringIO
import boto3
s3 = boto3.resource('s3')
def read_s3_contents_with_download(bucket_name, key):
    string_io = StringIO.StringIO()
    s3.Object(bucket_name, key).download_fileobj(string_io)
    return string_io.getvalue()
    Qu'est-ce que return ici? Est-ce qu'une fonction? Pouvez-vous s'il vous plaît poster l'ensemble du travail exemple?
    Salut @Joe, j'ai été en utilisant le return mot-clé ici vaguement à indiquer la chose qu'un programmeur veut. J'ai enveloppé les états dans la définition d'une fonction pour la rendre plus claire.
    Merci. Comment voulez-vous lire PARQUET fichier à partir de S3 dans la variable string_io? J'ai essayé le code ci-dessus et d'avoir d'erreur: TypeError: string argument expected, got 'bytes'.
    Salut @Joe, Python 3 a BytesIO vous pouvez essayer d'utiliser au lieu de StringIO. Si cela se complique pas, vous pourriez avoir besoin pour poser une nouvelle question.

    OriginalL'auteur Carl G