Pickle alternatives

Je suis en train de sérialiser un grand (~10**6 lignes, chacune avec ~20 valeurs) de la liste, pour être utilisé plus tard par moi-même (donc pickle du manque de sécurité n'est pas un sujet de préoccupation).

Chaque ligne de la liste est un tuple de valeurs, de dérivés de la base de données SQL. Jusqu'à présent, j'ai vu datetime.datetime, chaînes de caractères, entiers, et NoneType, mais je pourrais éventuellement avoir à prendre en charge d'autres types de données.

Pour la sérialisation, je l'ai considéré comme cornichon (cPickle), json, et le texte en clair - mais seulement pickle enregistre les informations de type: json ne peut pas sérialiser datetime.datetime, et de texte, a de son des inconvénients évidents.

Cependant, cPickle est assez lent pour les données de ce grand, et je suis à la recherche d'une alternative plus rapide.

Des suggestions?

Merci!

Avez-vous envisagé de dumping sur une base de données SQLite?
En fait - je n'ai pas. Peut-être le plus simple...

OriginalL'auteur Guy Adini | 2012-03-27

  1. 4

    Je pense que vous devriez donner PyTables un coup d'oeil. Il doit être ridiculement rapide, au moins plus rapide que d'utiliser un SGBDR, car il est très laxiste et n'impose pas de tout lire/écrire des restrictions, de plus, vous obtenez une meilleure interface pour la gestion de vos données, au moins par rapport au décapage.

    L'air prometteur. Je vais lui donner un coup de grâce!

    OriginalL'auteur Filip Dupanović

  2. 13

    Cornichon est en fait assez rapide aussi longtemps que vous ne l'utilisez pas (par défaut) protocole ASCII. Assurez-vous de vidage à l'aide de protocol=pickle.HIGHEST_PROTOCOL.

    Il convient de noter que pour python3 le format par défaut est en fait binaires, selon les docs. docs.python.org/3.4/library/pickle.html?highlight=pickle#pickle
    D'un point de vue sémantique meilleure alternative est protocol=pickle.HIGHEST_PROTOCOL
    Merci, @orignal! Mise à jour de protocol=-1.
    comme dans pickle.dump(data, file, protocol=pickle.HIGHEST_PROTOCOL)

    OriginalL'auteur Jake Biesinger

  3. 6

    Protocol buffers sont un flexible, efficace, mécanisme automatique pour l'
    la sérialisation de données structurées – pense XML, mais plus petit, plus rapide, et
    plus simple.

    avantages par rapport à XML:

    • sont plus simples
    • sont 3 à 10 fois plus petits
    • sont de 20 à 100 fois plus rapide
    • sont moins ambigus
    • générer des classes d'accès aux données qui sont plus faciles à utiliser par programme

    https://developers.google.com/protocol-buffers/docs/pythontutorial

    OriginalL'auteur gustavodiazjaimes

  4. 3

    OriginalL'auteur Martin Thoma

  5. 1

    J'ai l'habitude de sérialiser en texte brut (*.csv) parce que j'ai trouvé pour être le plus rapide. Le csv module fonctionne très bien. Voir http://docs.python.org/library/csv.html

    Si vous avez à traiter avec unicode pour vos chaînes, découvrez la UnicodeReader et UnicodeWriter exemples à la fin.

    Si vous sérialiser pour votre propre usage futur, je suppose qu'il suffit de savoir que vous avez le même type de données par colonne csv (par exemple, chaîne sont toujours sur la colonne 2).

    Ce n'est pas si bon pour moi - car il ne conserve pas les informations de type, je boucle sur les données et de les convertir, ce qui est très lente (au moins dans mon application, à l'aide d'une liste de compréhension des interprétations de la liste).

    OriginalL'auteur Bogdan Vasilescu

  6. 1

    Pour des centaines de milliers de simple (jusqu'à JSON-compatible) la complexité des objets Python, j'ai trouvé la meilleure combinaison de la simplicité, de la vitesse et de la taille en combinant:

    Il bat pickle et cPickle options par ordre de grandeur.

    with gzip.open(filename, 'wb') as f:
    ubjson.dump(items, f)


with gzip.open(filename, 'rb') as f:
    return ubjson.load(f)

    OriginalL'auteur Apalala

  7. 0

    Avro semble prometteur et bien conçu mais non encore populaire solution.

    OriginalL'auteur SergeyR