Python CSV pour SQLite

Je suis la "conversion" d'une grande (~1,6 GO) fichier CSV et l'insertion des champs spécifiques de la CSV dans une base de données SQLite. Mon code ressemble à ceci:

import csv, sqlite3

conn = sqlite3.connect( "path/to/file.db" )
conn.text_factory = str  #bugger 8-bit bytestrings
cur = conn.cur()
cur.execute('CREATE TABLE IF NOT EXISTS mytable (field2 VARCHAR, field4 VARCHAR)')

reader = csv.reader(open(filecsv.txt, "rb"))
for field1, field2, field3, field4, field5 in reader:
  cur.execute('INSERT OR IGNORE INTO mytable (field2, field4) VALUES (?,?)', (field2, field4))

Tout fonctionne comme prévu pour à l'exception... IL en FAUT UNE QUANTITÉ INCROYABLE DE TEMPS POUR traiter. Suis-je le codage de manière incorrecte? Est-il une meilleure façon de parvenir à une meilleure performance et accomplir ce que je suis besoin (il suffit de les convertir quelques champs d'un fichier CSV dans SQLite table)?

**EDIT -- j'ai essayé directement de l'importation du fichier csv dans sqlite, comme l'a suggéré mais il s'avère que mon fichier a des virgules dans les champs (par exemple,"My title, comma"). C'est en créant des erreurs lors de l'importation. Il semble qu'il ya trop de ces événements pour modifier manuellement le fichier...

toutes les autres pensées??**

  • C'est un gros fichier. Combien de temps faut-il prendre?
  • Combien de doublons sont là? Si il y en a beaucoup, il serait probablement plus rapide pour garder un local set de dossiers qui ont déjà été inséré, et de passer l'appel à SQL entièrement pour les doublons.
  • Ici certains MySQL en vrac vitesse de chargement des conseils.
  • Quel système d'exploitation et la version de Python que vous utilisez?
  • "Il semble qu'il ya trop de ces événements pour modifier manuellement le fichier..". Nous allons réfléchir. Trop de modifier manuellement? Si seulement vous aviez un langage de programmation qui vous permettra d'écrire un programme pour reformater un fichier CSV dans un fichier délimité par des tabulations. Les idées de ce que la langue peut être utilisé pour écrire un programme comme celui-ci?
InformationsquelleAutor user735304 | 2011-05-09
  1. 25

    Il est possible d'importer le fichier CSV directement:

    sqlite> .separator ","
sqlite> .import filecsv.txt mytable

    http://www.sqlite.org/cvstrac/wiki?p=ImportingFiles

    • "bla, bla, bla","123" les causes des problèmes... réflexions autour de cela?
    • Ne semble pas comme il y a un moyen intégré de s'échapper par défaut. Aussi, les citations seront littéraux au sein de la chaîne. Il pourrait être judicieux de modifier le texte à l'aide d'un fichier CSV d'analyser et de sortie avec un autre séparateur, mais qui peut aller à l'encontre de l'objectif de l'aide de l'outil d'importation en premier lieu.
    • À essayer: .mode csv au lieu de .séparateur, voir: stackoverflow.com/questions/14947916/import-csv-to-sqlite/...
    InformationsquelleAutor fengb
  2. 21

    Chris est en droit d'utiliser les transactions; diviser les données en morceaux, puis de les stocker.

    "... Sauf si déjà dans une transaction, chaque instruction SQL a une nouvelle transaction a commencé pour elle. C'est très coûteux, car il nécessite la réouverture, l'écriture et la fermeture du fichier journal pour chaque instruction. Ceci peut être évité par emballage de séquences d'instructions SQL avec BEGIN TRANSACTION; et la FIN de la TRANSACTION; les relevés. Cette accélération est également obtenus pour les états qui ne modifient pas la base de données." - Source: http://web.utk.edu/~jplyon/sqlite/SQLite_optimization_FAQ.html

    "... il y a un autre truc que vous pouvez utiliser pour accélérer SQLite: les transactions. Chaque fois que vous avez à faire plusieurs écritures de base de données, les mettre à l'intérieur d'une transaction. Au lieu d'écrire (et de verrouillage) le fichier à chaque fois une écriture de la requête est émise, l'écriture ne sera possible une fois l'opération terminée." - Source: Comment Évolutive est SQLite?

    import csv, sqlite3, time

def chunks(data, rows=10000):
    """ Divides the data into 10000 rows each """

    for i in xrange(0, len(data), rows):
        yield data[i:i+rows]


if __name__ == "__main__":

    t = time.time()

    conn = sqlite3.connect( "path/to/file.db" )
    conn.text_factory = str  #bugger 8-bit bytestrings
    cur = conn.cur()
    cur.execute('CREATE TABLE IF NOT EXISTS mytable (field2 VARCHAR, field4 VARCHAR)')

    csvData = csv.reader(open(filecsv.txt, "rb"))

    divData = chunks(csvData) # divide into 10000 rows each

    for chunk in divData:
        cur.execute('BEGIN TRANSACTION')

        for field1, field2, field3, field4, field5 in chunk:
            cur.execute('INSERT OR IGNORE INTO mytable (field2, field4) VALUES (?,?)', (field2, field4))

        cur.execute('COMMIT')

    print "\n Time Taken: %.3f sec" % (time.time()-t)
    InformationsquelleAutor Sam
  3. 16

    Comme il a été dit (Chris et Sam), transactions améliorer la performance de l'insert.

    S'il vous plaît, laissez-moi vous recommander une autre option, utiliser une suite de Python utilitaires pour travailler avec CSV, csvkit.

    À installer:

    pip install csvkit

    Pour résoudre votre problème

    csvsql --db sqlite:///path/to/file.db --insert --table mytable filecsv.txt
    InformationsquelleAutor migonzalvar
  4. 3

    Essayez d'utiliser les transactions.

    begin    
insert 50,000 rows    
commit

    Qui engage régulièrement des données plutôt qu'une fois par ligne.

    InformationsquelleAutor Chris N