_pickle en python3 ne fonctionne pas pour les grands de l'enregistrement des données

Je suis en train d'appliquer _pickle pour enregistrer des données sur un disque. Mais lors de l'appel de _pickle.dump, j'ai eu une erreur

OverflowError: cannot serialize a bytes object larger than 4 GiB

Est-ce un dur limitation de l'utilisation _pickle? (cPickle pour python2)

InformationsquelleAutor Jake0x32 | 2015-04-17
  1. 58

    Pas plus en Python 3.4, qui a PEP 3154 et Cornichons 4.0

    https://www.python.org/dev/peps/pep-3154/

    Mais vous avez besoin de vous dire que vous souhaitez utiliser la version 4 du protocole:

    https://docs.python.org/3/library/pickle.html

    pickle.dump(d, open("file", 'w'), protocol=4)
    • est-ce une bonne façon d'ouvrir le fichier de cette façon? Je veux dire sans la fermer.
    • Il serait de bonne pratique pour ouvrir le fichier à l'aide d'un "avec" instruction pour s'assurer que le fichier est fermé. Cependant, le nombre de références à l'objet de fichier tombe à zéro dès que l'appel à la saumure.vidage de retours, donc il va rester des déchets collectés tout de suite, et le dossier sera fermé de toute façon.
    InformationsquelleAutor Eric Levieil
  2. 3

    Oui, c'est une limite codée en dur; de save_bytes function:

    else if (size <= 0xffffffffL) {
    //...
}
else {
    PyErr_SetString(PyExc_OverflowError,
                    "cannot serialize a bytes object larger than 4 GiB");
    return -1;          /* string too large */
}

    Le protocole utilise 4 octets à écrire la taille de l'objet sur le disque, ce qui signifie que vous ne pouvez suivre les tailles de jusqu'à 232 == 4GO.

    Si vous pouvez briser la bytes objet en plusieurs objets, chacun inférieure à 4 go, vous pouvez toujours sauvegarder les données d'un cornichon, bien sûr.

    • Merci!!!! est-il possible d'enregistrer des fichiers volumineux sur le disque et de contourner cette limite?
    • pas avec cornichon; c'est une dure limite dans le protocole. Briser votre bytes objet en petits morceaux.
    • Gotcha! Merci!!!!
    • J'ai le même problème en essayant de pickle un classificateur from sklearn.svm import SVC. Comment aurais-je casser l'objet en octets et puis cornichon?
    InformationsquelleAutor Martijn Pieters
  3. 1

    Il y a une grande les réponses ci-dessus pour pourquoi pickle ne fonctionne pas.
    Mais cela ne fonctionne toujours pas pour Python 2.7, ce qui est un problème
    si vous êtes toujours à Python 2.7 et voulez soutenir de grands
    fichiers, en particulier NumPy (tableaux NumPy plus de 4G échec).

    Vous pouvez utiliser OC sérialisation, qui a été mis à jour à travailler pour des données plus
    4Gig. Il y a un Python C module d'Extension disponible à partir de:

    http://www.picklingtools.com/Downloads

    Prendre un coup d'oeil à la Documentation:

    http://www.picklingtools.com/html/faq.html#python-c-extension-modules-new-as-of-picklingtools-1-6-0-and-1-3-3

    Mais, voici un rapide résumé: il y a ocdumps et ocloads, très semblable à
    les achards de décharges et charges::

    from pyocser import ocdumps, ocloads
ser = ocdumps(pyobject)   : Serialize pyobject into string ser
pyobject = ocloads(ser)   : Deserialize from string ser into pyobject

    L'OC de Sérialisation est de 1,5-2 fois plus rapide et fonctionne également avec C++ (si on mélange les langues). Il fonctionne avec tous les types intégrés, mais pas les classes
    (en partie parce qu'il est multi-langue et il est difficile de construire des classes C++
    à partir de Python).

    InformationsquelleAutor rts1