Est-il une mémoire efficace et rapide pour charger de gros fichiers json en python?

J'ai quelques fichiers json avec 500 MO.
Si j'utilise le "trivial" json.charger pour charger son contenu tout à la fois, il va consommer beaucoup de mémoire.

Est-il un moyen de lire partiellement le fichier? Si c'était un texte, d'un fichier délimité, je serais en mesure de parcourir les lignes. Je suis à la recherche d'analogie à elle.

Des suggestions?
Grâce

  • Le problème, je suis confronté est que j'ai 195 fichiers tels que, pour que et il semble que python garbage collector n'est pas de faire un bon travail. Après le 10ème fichier, je n'ai plus de mémoire. Je suis à l'aide de Python 2.6.4 sur windows 7. J'ai 3 GO de mémoire ram
  • Pourquoi avez-vous besoin de tous les charger dans la mémoire à la fois? Qui semble inefficace.
  • Je n'ai pas à tous les charger à la fois, mais il semble que le garbage collector ne fonctionne pas bien. Il consomme un lor de mémoire après de nombreux fichiers sont fermés. Quand je itérer sur tous les fichiers, l'objet json a toujours le même nom de variable et je suppose que le garbage collector devrait libérer de la mémoire que les autres fichiers occupé. Mais cela n'a tout simplement pas happeb
  • que le garbage collector devrait libérer de la mémoire", Il devrait. Comme il n'a pas, autre chose est erroné.
  • Montre-nous ton code!
  • est-il judicieux?
  • La réponse par @Jim Pivarski doit être accepté par un.
  • stackoverflow.com/questions/10382253/...

InformationsquelleAutor duduklein | 2010-03-08