Alternatives à la conservation de grandes listes en mémoire (python)

Si vos "chiffres" sont simples suffisant (signés ou non des entiers de 4 octets chacun, ou de flotteurs de 4 ou 8 octets chacun), je recommande la bibliothèque standard tableau module comme le meilleur moyen de garder quelques millions d'entre eux dans la mémoire (le "conseil" de votre "virtual array") avec un fichier binaire (ouvert pour le binaire R/W) sauvegarde le reste de la structure sur le disque. array.array a très vite fromfile et tofile méthodes pour faciliter le déplacement de données d'avant en arrière.

I. e., fondamentalement, en supposant par exemple unsigned long de numéros, quelque chose comme:

import os

# no more than 100 million items in memory at a time
MAXINMEM = int(1e8)

class bigarray(object):
  def __init__(self):
    self.f = open('afile.dat', 'w+')
    self.a = array.array('L')
  def append(self, n):
    self.a.append(n)
    if len(self.a) > MAXINMEM:
      self.a.tofile(self.f)
      del self.a[:]
  def pop(self):
    if not len(self.a):
      try: self.f.seek(-self.a.itemsize * MAXINMEM, os.SEEK_END)
      except IOError: return self.a.pop()  # ensure normal IndexError &c
      try: self.a.fromfile(self.f, MAXINMEM)
      except EOFError: pass
      self.f.seek(-self.a.itemsize * MAXINMEM, os.SEEK_END)
      self.f.truncate()
    return self.a.pop()

Bien sûr, vous pouvez ajouter d'autres méthodes que nécessaire (par exemple, de garder trace de l'ensemble de la longueur, ajouter extendpeu importe), mais si pop et append sont en effet tous vous avez besoin, cela devrait servir.

La réponse est "ça dépend".

De quoi êtes-vous le stockage dans les listes? Les chaînes? entiers? Objets?

À quelle fréquence est la liste écrit à la comparaison avec le fait d'être lu? Sont seulement les éléments ajoutés à la fin, ou peut entrées d'être modifiées ou inséré dans le milieu?

Si vous êtes seulement en ajoutant à la fin et puis l'écriture dans un fichier plat, peut-être la chose la plus simple qui pourrait éventuellement travailler.

Si vous stockez des objets de taille variable tels que des chaînes, alors peut-être garder un index en mémoire le début de chaque chaîne, de sorte que vous pouvez le lire rapidement.

Si vous souhaitez dictionnaire comportement ensuite, regardez la db modules - dbm, gdbm, bsddb, etc.

Si vous voulez un accès aléatoire écrit alors peut-être une base de données SQL peut-être mieux.

Quoi que vous fassiez, en allant sur le disque va être des ordres de grandeur inférieure à celle en mémoire, mais sans savoir comment les données vont être utilisés, il est impossible d'être plus précis.

edit:
À partir de vos exigences de mises à jour, j'irais avec un fichier plat et garder un tampon en mémoire de la dernière de N éléments.

Avez-vous vérifier étagère module python qui est basé sur pickle?

http://docs.python.org/library/shelve.html

Les systèmes d'exploitation modernes va gérer cela pour vous, sans que vous ayez à vous en préoccuper. Il est appelé la mémoire virtuelle.

Vous pouvez essayer blist:
https://pypi.python.org/pypi/blist/

La blist est une baisse-dans le remplacement pour la liste Python de l'offre de meilleures performances lors de la modification de grandes listes.