Lire un fichier ligne par ligne, de la S3 en utilisant boto?

J'ai un fichier csv dans S3 et je suis en train de lire l'en-tête de ligne pour obtenir la taille (ces fichiers sont créés par nos utilisateurs afin qu'ils puissent être presque n'importe quelle taille). Est-il un moyen de faire cela en utilisant le nom de boto? J'ai pensé que je pourrais peut-être nous en python BufferedReader, mais je ne peux pas comprendre comment ouvrir un flux à partir d'un S3 clé. Toute suggestion serait génial. Merci!

Serait key.size fonctionne pas pour vous? Retourne la taille de la clé en octets. Si vous voulez l'en-tête, vous pouvez également écouter le premier morceau, comme ceci: stackoverflow.com/a/7625197/786559 .

OriginalL'auteur gignosko | 2015-02-19

  1. 10

    Il semble que boto a un read() fonction qui peut faire cela. Voici un code qui fonctionne pour moi:

    >>> import boto
>>> from boto.s3.key import Key
>>> conn = boto.connect_s3('ap-southeast-2')
>>> bucket = conn.get_bucket('bucket-name')
>>> k = Key(bucket)
>>> k.key = 'filename.txt'
>>> k.open()
>>> k.read(10)
'This text '

    L'appel à read(n) retourne le prochain n octets à partir de l'objet.

    Bien sûr, ce ne sera pas automatiquement de retour "de la ligne d'en-tête", mais vous pourriez l'appeler avec un assez grand nombre de retour de la ligne d'en-tête à un minimum.

    Merci, John. Ce devait être ma solution de secours si je ne pouvais pas trouver un moyen de diffuser le fichier. Je vais juste prendre une supposition à propos de la taille maximale de l'en-tête et aller de là.
    Rotenstein - n'avez-vous pas de fermer le fichier après l'avoir lu()?

    OriginalL'auteur John Rotenstein

  2. 19

    Vous pouvez trouver https://pypi.python.org/pypi/smart_open utile pour votre tâche.

    À partir de la documentation:

    for line in smart_open.smart_open('s3://mybucket/mykey.txt'):
    print line
    c'est tellement plus facile ! Et prend en charge les fichiers gzip par défaut !
    Merci pour le partage!
    Korbakov C'est de me donner une exception TypeError: octets-comme l'objet est nécessaire, ne pas 'str'
    Quel est le coût? Ne vous en fin de téléchargement de l'intégralité du fichier que vous venez de lire quelques lignes?

    OriginalL'auteur Michael Korbakov

  3. 6

    Voici une solution qui transfère les données ligne par ligne:

    from io import TextIOWrapper
from gzip import GzipFile
...

# get StreamingBody from botocore.response
response = s3.get_object(Bucket=bucket, Key=key)
# if gzipped
gzipped = GzipFile(None, 'rb', fileobj=response['Body'])
data = TextIOWrapper(gzipped)

for line in data:
    # process line
    Le gzip exigence n'était pas dans la question initiale, mais c'est exactement ce dont j'avais besoin pour mon cas d'utilisation. Merci!

    OriginalL'auteur kooshywoosh

  4. 4

    Avec boto3 vous pouvez accéder à une crue de flux et de lire ligne par ligne.
    Juste à noter que les flux de données est une propriété privée pour une raison quelconque

    s3 = boto3.resource('s3', aws_access_key_id='xxx', aws_secret_access_key='xxx')
obj = s3.Object('bucket name', 'file key')

obj.get()['Body']._raw_stream.readline() # line 1
obj.get()['Body']._raw_stream.readline() # line 2
obj.get()['Body']._raw_stream.readline() # line 3...
    Il n'a pas de travail. chaque fois qu'il lire la première ligne

    OriginalL'auteur robertzp

  5. 2

    À l'aide de boto3:

    s3 = boto3.resource('s3')
obj = s3.Object(BUCKET, key)
for line in obj.get()['Body']._raw_stream:
    # do something with line

    OriginalL'auteur hansaplast

  6. 0

    Si vous souhaitez lire plusieurs fichiers (ligne par ligne) avec un compartiment spécifique préfixe (c'est à dire, dans un "sous-dossier") vous pouvez le faire:

    s3 = boto3.resource('s3', aws_access_key_id='<key_id>', aws_secret_access_key='<access_key>')

    bucket = s3.Bucket('<bucket_name>')
    for obj in bucket.objects.filter(Prefix='<your prefix>'):
        for line in obj.get()['Body'].read().splitlines():
            print(line.decode('utf-8'))

    Ici les lignes sont octets, donc je suis décodage; mais si elles sont déjà une chaîne, vous pouvez sauter cette.

    OriginalL'auteur oneschilling

  7. 0

    Les plus dynamiques et à faible coût pour lire le fichier est de lire chaque octet jusqu'à ce que vous trouver le nombre de lignes dont vous avez besoin.

    line_count = 0
line_data_bytes = b''

while line_count < 2 :

    incoming = correlate_file_obj['Body'].read(1)
    if incoming == b'\n':
        line_count = line_count + 1

    line_data_bytes = line_data_bytes + incoming

logger.debug("read bytes:")
logger.debug(line_data_bytes)

line_data = line_data_bytes.split(b'\n')

    Vous n'aurez pas besoin de deviner la taille de tête si la taille d'en-tête peut changer, vous ne finirez pas de télécharger l'ensemble du dossier, et vous n'avez pas besoin d'outils 3ème partie. Accordé, vous devez vous assurer que la ligne de délimiteur dans votre fichier est correct et que vous lisez le bon nombre d'octets à trouver.

    OriginalL'auteur KiteCoder