Comment cPickle dump et charger des dictionnaires séparés dans le même fichier?

J'ai un processus qui s'exécute et crée trois dictionnaires: 2 plutôt petit et 1 grand.

Je sais que je peux stocker un dictionnaire comme:

import cPickle as pickle
with open(filename, 'wb') as fp:
  pickle.dump(self.fitResults, fp)

Ce que je voudrais faire est de stocker tous les 3 dictionnaires dans le même fichier, avec la capacité de charge dans les trois dictionnaires séparément à un autre moment. Quelque chose comme

with open(filename, 'rb') as fp:
  dict1, dict2, dict3 = pickle.load(fp)

Ou encore mieux, il suffit de charger les deux premiers dictionnaires, et de le rendre facultatif si à la charge du tiers (grand). Est-ce possible ou dois-je aller à ce sujet d'une manière complètement différente?

source d'informationauteur JBWhitmore

  1. 22

    Sûr, vous avez juste dump chacun séparément, puis de les charger séparément:

    with open(filename,'wb') as fp:
    pickle.dump(dict1,fp)
    pickle.dump(dict2,fp)
    pickle.dump(dict3,fp)

with open(filename,'rb') as fp:
    d1=pickle.load(fp)
    d2=pickle.load(fp)
    d3=pickle.load(fp)

    assurez-vous de vider le grand sur le dernier de sorte que vous pouvez charger les petits sans chargement de la grande première. J'imagine que vous pourriez même être malin et de stocker le fichier des positions où chaque vidage commence dans un en-tête de toutes sortes, et puis vous pourriez demander à cet emplacement avant le chargement (mais qui commence à devenir un peu plus compliqué).

  2. 5

    Je recommande souvent oublié soit module qui vous procure un persistante dictionnaire soutenu par Berkley DB fichier ou un fichier dbm (tel que sélectionné par anydbm). La bd devrait fournir des améliorations de performances (pour votre grand dictionnaire).

    Exemple d'utilisation:

    import shelve
shelf = shelve.open('my_shelf')
>>> shelf
{}
# add your dictionaries (or any pickleable objects)
shelf['dict1'] = dict(a=10, b=20, c=30, l=[10, 20, 30])
shelf['dict2'] = dict(a=100, b=200, c=300, l=[100, 200, 300])
shelf['dict3'] = dict(a=1000, b=2000, c=3000, l=[1000, 2000, 3000])
>>> shelf
{'dict1': {'a': 10, 'c': 30, 'b': 20, 'l': [10, 20, 30]}, 'dict3': {'a': 1000, 'c': 3000, 'b': 2000, 'l': [1000, 2000, 3000]}, 'dict2': {'a': 100, 'c': 300, 'b': 200, 'l': [100, 200, 300]}}
shelf.close()
# then, later
shelf = shelve.open('my_shelf')
>>> shelf
{'dict1': {'a': 10, 'c': 30, 'b': 20, 'l': [10, 20, 30]}, 'dict3': {'a': 1000, 'c': 3000, 'b': 2000, 'l': [1000, 2000, 3000]}, 'dict2': {'a': 100, 'c': 300, 'b': 200, 'l': [100, 200, 300]}}
  3. 3

    Comme mentionné icivous pouvez pickle plusieurs objets dans le même fichier, et de les charger (dans le même ordre):

    f = file(filename, 'wb')
for obj in [dict1, dict2, dict3]:
cPickle.dump(obj, f, protocol=cPickle.HIGHEST_PROTOCOL)
f.close()

    Alors:

    f = file(filename, 'rb')
loaded_objects = []
for i in range(3):
loaded_objects.append(cPickle.load(f))
f.close()

    Vous pouvez enregistrer vos dictionnaires dans un ordre spécifique, de sorte que lors du chargement, vous avez l'option de sélectionner uniquement le préféré.

    Pour l'e.g, si vous stockez des dictionnaires dans l'ordre: smallDict1smallDict2largeDict1

    Vous pouvez charger uniquement les petits en paramètre de la plage appropriée pendant le chargement

    (Ici for i in range(2) ...)