Comment puis-je utiliser Python pour transformer de MongoDB bsondump en JSON?

J'ai donc une énorme quantité de .bfils à partir d'un MongoDB dump. Je suis à l'aide de bsondump sur la ligne de commande, de la tuyauterie de la sortie comme stdin pour python. Ce succès se convertit en BFILS à 'JSON', mais c'est en fait une chaîne de caractères, et ne semble pas légale JSON.

Par exemple une ligne entrante ressemble à ceci:

{ "_id" : ObjectId( "4d9b642b832a4c4fb2000000" ),
  "acted_at" : Date( 1302014955933 ),
  "created_at" : Date( 1302014955933 ),
  "updated_at" : Date( 1302014955933 ),
  "_platform_id" : 3,
  "guid" : 72106535190265857 }

Qui je pense est Mongo Étendu JSON.

Quand j'ai lu dans une de ces lignes et à faire:

json_line = json.dumps(line)

J'obtiens:

"{ \"_id\" : ObjectId( \"4d9b642b832a4c4fb2000000\" ),
\"acted_at\" : Date( 1302014955933 ),
\"created_at\" : Date( 1302014955933 ),
\"updated_at\" : Date( 1302014955933 ),
\"_platform_id\" : 3,
\"guid\" : 72106535190265857 }\n"

Qui est encore <type 'str'>.

J'ai aussi essayé de

json_line = json.dumps(line, default=json_util.default)

(voir pymongo json_util - détection de spam empêche un troisième lien )
Qui semble sortie le même que dumps ci-dessus. charges donne une erreur:

json_line = json.loads(line, object_hook=json_util.object_hook)
ValueError: No JSON object could be decoded

Alors, comment puis-je transformer la chaîne de TenGen JSON dans parseable JSON?
(le but final est de l'onglet flux de données séparées pour une autre base de données)

Avez-vous regardé bson? pypi.python.org/pypi/bson/0.3.2
Ne rien faire d'autre que de supprimer un Mongo dépendance? Je ne comprends pas comment cela pourrait être mon problème, mais je vais regarder un peu plus.
double possible de Impossible de désérialiser PyMongo ObjectId de JSON
J'ai vu que l'un et essayé d'utiliser l'aide. Mais si vous remarquez, la chaîne de il a le précédent de 'u' en face de '_id' et un intervenant a indiqué que représente une chaîne unicode python
WTH est qui? Le lien renvoie à cette question.
Désolé pour la confusion, @VSG24. Je vais le supprimer.

InformationsquelleAutor Peter Nachbaur | 2012-08-08

15

Ce que vous avez est un vidage de Mongo Étendue de JSON dans TenGen mode (voir ici). Voici quelques façons de le faire:
1. Si vous pouvez vider encore une fois, l'utilisation Stricte mode de sortie par le biais de la MongoDB API REST. Cela devrait vous donner un réel JSON au lieu de ce que vous avez maintenant.
2. Utilisation bson de http://pypi.python.org/pypi/bson/ lire la BFILS vous avez déjà en Python structures de données et ensuite faire tout le traitement vous avez besoin (et éventuellement de la sortie JSON).
3. Utiliser MongoDB liaisons Python pour se connecter à la base de données pour obtenir les données en Python, et puis faire ce que le traitement dont vous avez besoin. (Si nécessaire, vous pouvez configurer un local MongoDB instance et d'importer vos fichiers jetés là-dedans.)
4. Convertir les Mongo Étendu JSON de TenGen mode en mode Strict. Vous pourriez développer un filtre séparé pour le faire (lire à partir de stdin, remplacer TenGen structures Strict des structures, et afficher le résultat sur la sortie standard stdout) ou vous pouvez le faire comme vous le processus de l'entrée.
Voici un exemple d'utilisation de Python et des expressions régulières:
```
import json, re
from bson import json_util

with open("data.tengenjson", "rb") as f:
    # read the entire input; in a real application,
    # you would want to read a chunk at a time
    bsondata = f.read()

    # convert the TenGen JSON to Strict JSON
    # here, I just convert the ObjectId and Date structures,
    # but it's easy to extend to cover all structures listed at
    # http://www.mongodb.org/display/DOCS/Mongo+Extended+JSON
    jsondata = re.sub(r'ObjectId\s*$\s*\"(\S+)\"\s*$',
                      r'{"$oid": ""}',
                      bsondata)
    jsondata = re.sub(r'Date\s*$\s*(\S+)\s*$',
                      r'{"$date": }',
                      jsondata)

    # now we can parse this as JSON, and use MongoDB's object_hook
    # function to get rich Python data structures inside a dictionary
    data = json.loads(jsondata, object_hook=json_util.object_hook)

    # just print the output for demonstration, along with the type
    print(data)
    print(type(data))

    # serialise to JSON and print
    print(json_util.dumps(data))
```
En fonction de votre objectif, l'un d'eux doit être un point de départ raisonnable.
- Oui, je me suis lié à cette extension JSON page dans ma question. J'ai essayé le BFILS bibliothèque et il n'a pas accompli mon objectif. bsondump était la seule chose que je pouvais aller au travail, mais il me donne une chaîne de caractères. Le Dumping ou le rechargement de données ne sont pas des options viables.
- J'ai ajouté une option à ma réponse à montrer comment vous pouvez convertir le TenGen format JSON à de Strictes JSON. Qui plus est, ce que vous aviez en tête?
- Merci de continuer à aider 🙂 maintenant, les charges de travaux. À la fin, je suppose que vous voulez dire json.dumps pas json_util.décharges (ce dernier ne semble pas exister) mais qui ne fonctionne pas. Cependant, je ne suis pas sûr que j'en ai besoin maintenant que j'ai un dict. Cheers!
- Pas de problème, c'était amusant de penser à cela! 🙂 Bizarre, j'ai un bfils.json_util.fonction dump. Mais peut-être qu'il n'existe que dans la branche de développement de la mongo-code python. De toute façon, vous avez le dict, de sorte que vous pouvez faire ce que vous voulez maintenant 😉 Bonne chance!
- Belle approche. regex 🙂
InformationsquelleAutor Fabian Fagerholm

chargement d'un ensemble de bfils document en python de la mémoire est chère.

Si vous voulez le lire, plutôt que de se charger de l'ensemble du dossier et de faire une brassée de tous, vous pouvez essayer cette bibliothèque.

https://github.com/bauman/python-bson-streaming

from bsonstream import KeyValueBSONInput
from sys import argv
for file in argv[1:]:
    f = open(file, 'rb')
    stream = KeyValueBSONInput(fh=f,  fast_string_prematch="somthing") #remove fast string match if not needed
    for id, dict_data in stream:
        if id:
         ...process dict_data...

InformationsquelleAutor bauman.space

6

Vous pouvez convertir les lignes de la bfils fichier comme ceci:
```
>>> import bson
>>> bs = open('file.bson', 'rb').read()
>>> for valid_dict in bson.decode_all( bs ):
....
```
Chaque valid_dict élément sera un python dict que vous pouvez convertir en json.
- Que pour la boucle ne fonctionne pas 🙁 Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/usr/local/lib/python2.7/dist-packages/bson/__init__.py" de ligne, 473, dans decode_all fin = len(data) - 1 TypeError: object of type 'fichier' n'a pas de len()
InformationsquelleAutor Emily S

Vous pouvez enlever les types de données et d'obtenir une stricte json avec la regex:

import json
import re

#This will outputs a iterator that converts each file line into a dict.
def readBsonFile(filename):
    with open(filename, "r") as data_in:
        for line in data_in:
            # convert the TenGen JSON to Strict JSON
            jsondata = re.sub(r'\:\s*\S+\s*\(\s*(\S+)\s*\)',
                              r':',
                              line)

            # parse as JSON
            line_out = json.loads(jsondata)

            yield line_out

InformationsquelleAutor Maviles

Vous devez vous connecter pour publier un commentaire.