Scan complet de dynamoDb avec boto3

Ma table est d'environ 220 mo avec 250k enregistrements. Je suis d'essayer de tirer de l'ensemble de ces données en python. Je réalise que j'ai besoin d'être un bloc processus de traitement par lots et en boucle, mais je ne suis pas sûr de savoir comment je peux mettre des lots de commencer là où le précédent arrêté.

Est-il un moyen de filtrer mon analyse? De ce que j'ai lu que le filtrage se produit après le chargement et le chargement s'arrête à 1 mo donc je ne pas vraiment être capable de numériser des objets nouveaux.

Toute aide serait appréciée.

import boto3
dynamodb = boto3.resource('dynamodb',
    aws_session_token = aws_session_token,
    aws_access_key_id = aws_access_key_id,
    aws_secret_access_key = aws_secret_access_key,
    region_name = region
    )

table = dynamodb.Table('widgetsTableName')

data = table.scan()

source d'informationauteur CJ_Spaz

  1. 17

    boto3 offre paginators qui traitent tous de la pagination des détails pour vous. Ici est la page de doc pour l'analyse paginator. Fondamentalement, vous pouvez l'utiliser comme ceci:

    import boto3

client = boto3.client('dynamodb')
paginator = client.get_paginator('scan')

for page in paginator.paginate():
    # do something
  2. 16

    Je pense que le Amazon DynamoDB documentation sur le tableau de numérisation répond à votre question.

    En bref, vous aurez besoin de vérifier pour LastEvaluatedKey dans la réponse. Voici un exemple d'utilisation de votre code:

    import boto3
dynamodb = boto3.resource('dynamodb',
                          aws_session_token=aws_session_token,
                          aws_access_key_id=aws_access_key_id,
                          aws_secret_access_key=aws_secret_access_key,
                          region_name=region
)

table = dynamodb.Table('widgetsTableName')

response = table.scan()
data = response['Items']

while 'LastEvaluatedKey' in response:
    response = table.scan(ExclusiveStartKey=response['LastEvaluatedKey'])
    data.extend(response['Items'])
  3. 6

    Aussi Jordan Phillips réponse, voici comment vous pouvez passer un FilterExpression avec la pagination:

    import boto3

client = boto3.client('dynamodb')
paginator = client.get_paginator('scan')
operation_parameters = {
  'TableName': 'foo',
  'FilterExpression': 'bar > :x AND bar < :y',
  'ExpressionAttributeValues': {
    ':x': {'S': '2017-01-31T01:35'},
    ':y': {'S': '2017-01-31T02:08'},
  }
}

page_iterator = paginator.paginate(**operation_parameters)
for page in page_iterator:
    # do something
  4. 5

    Code pour la suppression de dynamodb type de format que @kungphu mentionné.

    import boto3

from boto3.dynamodb.types import TypeDeserializer
from boto3.dynamodb.transform import TransformationInjector

client = boto3.client('dynamodb')
paginator = client.get_paginator('query')
service_model = client._service_model.operation_model('Query')
trans = TransformationInjector(deserializer = TypeDeserializer())
for page in paginator.paginate():
    trans.inject_attribute_value_output(page, service_model)
  5. 0

    S'avère que Boto3 de capture de la "LastEvaluatedKey" dans le cadre de la réponse renvoyée. Ceci peut être utilisé comme point de départ pour une analyse:

    data= table.scan(
   ExclusiveStartKey=data['LastEvaluatedKey']
)

    J'ai l'intention de construire une boucle autour jusqu'à ce que les données retournées n'est le ExclusiveStartKey