utiliser sqlalchemy pour charger le fichier csv dans une base de données

Je suis en train d'apprendre à programmer en Python. Je tiens à nous de fichiers csv dans une base de données. Est-ce une bonne idée d'utiliser sqlalchemy comme cadre pour insérer les données?

Chaque fichier csv est une table de base de données. Certains de ces fichiers sont des clés étrangères vers d'autres fichiers csv (db tables).

source d'informationauteur alex chan

  1. 22

    Dans le cas où votre fichier CSV est assez grand, en utilisant des INSERTS est très inefficace. Vous devez utiliser un chargement en vrac des mécanismes, qui diffèrent d'une base à l'autre. E. g. dans PostgreSQL, vous devez utiliser la fonction "COPIER à PARTIR de la" méthode:

    with open(csv_file_path, 'r') as f:    
    conn = create_engine('postgresql+psycopg2://...').raw_connection()
    cursor = conn.cursor()
    cmd = 'COPY tbl_name(col1, col2, col3) FROM STDIN WITH (FORMAT CSV, HEADER FALSE)'
    cursor.copy_expert(cmd, f)
    conn.commit()