Comment Charger des Données dans Amazon Redshift via Python Boto3?

Dans Amazon Redshift Guide De Mise En Route, les données sont extraites à partir d'Amazon S3 et chargé dans un Amazon Redshift Cluster en utilisant SQLWorkbench/J. j'aimerais reproduire les mêmes processus de connexion au cluster et le chargement de l'échantillon de données dans le cluster en utilisant Boto3.

Cependant dans Boto3 de la documentation de Redshift, je suis incapable de trouver une méthode qui me permettrait de télécharger les données dans Amazon Redshift cluster.

J'ai été en mesure de se connecter avec Redshift utilisant Boto3 avec le code suivant:

client = boto3.client('redshift')

Mais je ne suis pas sûr de ce que la méthode qui me permettrait de créer des tables ou le téléchargement de données Amazon Redshift la façon dont c'est fait dans le tutoriel avec SQLWorkbenchJ.

OriginalL'auteur Chris | 2016-01-24

  1. 6

    Revenir à l'étape 4 dans ce tutoriel, vous liés. Voir où il vous montre comment obtenir l'URL du cluster? Vous devez vous connecter à l'URL avec un driver PostgreSQL. AWS Sdk comme Boto3 fournir un accès à l'API AWS. Vous devez vous connecter à Redshift sur un PostgreSQL API, tout comme vous le feriez pour vous connecter à une base de données PostgreSQL sur RDS.

    Merci! Je vais maintenant essayer de comprendre comment utiliser SQLAlchemy au lieu SQLWorkbenchJ, je vais avoir quelques difficultés en utilisant (je peut modifier cette question ou en créer un nouveau).
    Si vous avez une nouvelle question, de créer une nouvelle question. Merci de ne pas modifier une question à poser quelque chose de nouveau.
    Utilisation Aginity établi pour le Redshift pour la connexion au cluster. Il est de bien meilleure INTERFACE utilisateur et les fonctionnalités, et est recommandé par l'AWS gens ainsi.

    OriginalL'auteur Mark B

  2. 17

    Droit, vous devez psycopg2 module Python pour exécuter la commande COPIER.

    Mon code ressemble à ceci:

    import psycopg2
#Amazon Redshift connect string 
conn_string = "dbname='***' port='5439' user='***' password='***' host='mycluster.***.redshift.amazonaws.com'"  
#connect to Redshift (database should be open to the world)
con = psycopg2.connect(conn_string);
sql="""COPY %s FROM '%s' credentials 
      'aws_access_key_id=%s; aws_secret_access_key=%s'
       delimiter '%s' FORMAT CSV %s %s; commit;""" % 
      (to_table, fn, AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY,delim,quote,gzip)

#Here
#  fn - s3://path_to__input_file.gz
#  gzip = 'gzip'

cur = con.cursor()
cur.execute(sql)
con.close()

    J'ai utilisé boto3/psycopg2 à écrire CSV_Loader_For_Redshift

    OriginalL'auteur Alex B