Sauvegarde et chargement de plusieurs objets dans la saumure fichier?

Deux ajouts à Tim Peters a accepté de répondre à.

Première, vous n'avez pas besoin de stocker le nombre d'articles que vous marinés séparément si vous arrêter le chargement quand vous frappez la fin du fichier:

def loadall(filename):
    with open(filename, "rb") as f:
        while True:
            try:
                yield pickle.load(f)
            except EOFError:
                break

items = loadall(myfilename)

Cela suppose que le fichier ne contient que des marinades; si il n'y a rien d'autre là, le générateur va essayer de traiter tout ce qui est là que les cornichons trop, ce qui pourrait être dangereux.

Deuxième, de cette façon, vous n'obtenez pas une liste, mais plutôt un générateur.
Cela va charger qu'un seul élément dans la mémoire, ce qui est utile
si les marchandises sous-évaluées de données est très large-l'une des raisons pourquoi vous pouvez
ont envie de cornichon plusieurs éléments séparément dans la première place.
Vous pouvez toujours effectuer une itération sur items avec un for boucle, comme si il ont été
une liste de.

Je vais donner un orientée objet de démonstration à l'aide de pickle pour stocker et restaurer une ou multi object:

class Worker(object):

    def __init__(self, name, addr):
        self.name = name
        self.addr = addr

    def __str__(self):
        string = u'[<Worker> name:%s addr:%s]' %(self.name, self.addr)
        return string

# output one item
with open('testfile.bin', 'wb') as f:
    w1 = Worker('tom1', 'China')
    pickle.dump(w1, f)

# input one item
with open('testfile.bin', 'rb') as f:
    w1_restore = pickle.load(f)
print 'item: %s' %w1_restore

# output multi items
with open('testfile.bin', 'wb') as f:
    w1 = Worker('tom2', 'China')
    w2 = Worker('tom3', 'China')
    pickle.dump([w1, w2], f)

# input multi items
with open('testfile.bin', 'rb') as f:
    w_list = pickle.load(f)

for w in w_list:
    print 'item-list: %s' %w

de sortie:

item: [<Worker> name:tom1 addr:China]
item-list: [<Worker> name:tom2 addr:China]
item-list: [<Worker> name:tom3 addr:China]

Si vous êtes du dumping de manière itérative, vous auriez à le lire de manière itérative, en tant que bien.

Vous pouvez exécuter une boucle (comme le accepté de répondre à montre) de garder unpickling lignes jusqu'à ce que vous atteignez la fin de fichier (à quel point un EOFError est générée).

data = []
with open("data.pickle", "rb") as f:
    while True:
        try:
            data.append(pickle.load(f))
        except EOFError:
            break

Minimum Vérifiable Exemple

import pickle

# Dumping step
data = [{'a': 1}, {'b': 2}]
with open('test.pkl', 'wb') as f:
    for d in data:
        pickle.dump(d, f)

# Loading step
data2 = []
with open('test.pkl', 'rb') as f:
    while True:
        try:
            data2.append(pickle.load(f))
        except EOFError:
            break

data2
# [{'a': 1}, {'b': 2}]

data == data2
# True

Bien sûr, c'est sous l'hypothèse que les objets doivent être traitées individuellement. Vous pouvez également stocker vos données dans une liste unique de l'objet, puis utilisez un seul cornichon/unpickle appel (pas besoin pour les boucles).

data = [{'a':1}, {'b':2}]  # list of dicts as an example
with open('test.pkl', 'wb') as f:
    pickle.dump(data, f)

with open('test.pkl', 'rb') as f:
    data2 = pickle.load(f)

data2
# [{'a': 1}, {'b': 2}]