L'utilisation de Jackson À Flux Analyser un Tableau d'Objets Json

J'ai un fichier qui contient un tableau json d'objets:

[
{
"test1": "abc"
},
{
"test2": [1, 2, 3]
}
]

Je souhaite utiliser Jackson JsonParser de prendre un inputstream à partir de ce fichier, et à chaque appel .next(), je veux le retour d'un objet à partir de la matrice jusqu'à ce qu'il est à court d'objets ou d'échec.

Est-ce possible?

Cas d'utilisation:
J'ai un gros fichier avec un tableau json rempli d'un grand nombre d'objets avec différents schémas. Je veux obtenir un objet à la fois pour éviter de charger le tout dans la mémoire.

EDIT:

J'ai complètement oublié de le mentionner. Mon entrée est une chaîne qui est ajouté au fil du temps. Il s'accumule lentement json au fil du temps. J'espérais être capable de l'analyser en objet en objet la suppression de l'objet analysé à partir de la chaîne.

Mais je suppose que ce n'est pas grave! Je peux le faire manuellement, aussi longtemps que le jsonParser sera de retour l'index dans la chaîne.

InformationsquelleAutor Programmer9000 | 2014-07-19
  1. 12

    Ce que vous cherchez est appelé Jackson Streaming API. Voici un extrait de code à l'aide de Jackson Streaming API qui pourrait vous aider à obtenir ce dont vous avez besoin.

    JsonFactory factory = new JsonFactory();
JsonParser parser = factory.createJsonParser(new File(yourPathToFile));

JsonToken token = parser.nextToken();
if (token == null) {
    //return or throw exception
}

//the first token is supposed to be the start of array '['
if (!JsonToken.START_ARRAY.equals(token)) {
    //return or throw exception
}

//iterate through the content of the array
while (true) {

    token = parser.nextToken();
    if (!JsonToken.START_OBJECT.equals(token)) {
        break;
    }
    if (token == null) {
        break;
    }

    //parse your objects by means of parser.getXxxValue() and/or other parser's methods

}
    • Juste pour information, maintenant la méthode createJsonParser est obsolète, vous pouvez utiliser createParser au lieu de createJsonParser.
    InformationsquelleAutor pgiecek
  2. 34

    Oui, vous pouvez obtenir ce genre de partie-streaming-partie-arbre-modèle de style de traitement à l'aide d'un ObjectMapper:

    ObjectMapper mapper = new ObjectMapper();
JsonParser parser = mapper.getFactory().createParser(new File(...));
if(parser.nextToken() != JsonToken.START_ARRAY) {
  throw new IllegalStateException("Expected an array");
}
while(parser.nextToken() == JsonToken.START_OBJECT) {
  //read everything from this START_OBJECT to the matching END_OBJECT
  //and return it as a tree model ObjectNode
  ObjectNode node = mapper.readTree(parser);

  //do whatever you need to do with this object
}

parser.close();
    • Hey Ian, après près de 2 ans, ce code fonctionne toujours et a sauvé ma journée. Juste essayer de confirmer, à chaque fois mappeur de la lecture de l'arbre jusqu'à ce que le END_OBJECT jeton correspond à l'endroit où il a débuté, le "Curseur" de l'analyseur est également déplacé il y a droit? donc, si je fais un autre parser.nextToken() juste après la boucle while, je devrais être de lire le prochain objet, après ce qui est juste en cours de lecture, correct?
    • correct. Le readTree donné un analyseur positionné sur le START_OBJECT consomment des événements à partir de l'analyseur jusqu'à ce qu'il atteigne la correspondance END_OBJECT et laisser l'analyseur est positionné sur cette.
    • Cela a fonctionné pour moi, merci!
    • Hmm, j'ai essayé, mais je suis un com.fasterxml.jackson.core.JsonParseException: Unexpected character (',' (code 44)): expected a valid value (number, String, array, object, 'true', 'false' or 'null') exception. Mais un JSON liste est censé être séparés par des virgules, donc je ne sais pas pourquoi Jackson est de se plaindre... des conseils?
    • qui me semble une erreur avec le JSON, peut-être un bien sans valeur ({"foo": ,"bar":"baz"}). Ou peut-être si vous avez une série d'objets à haut niveau qui sont séparés par des virgules, mais pas entouré par l'ensemble de la matrice de crochets ([]) - je sais que cette technique peut résister à une bien formé array ([{...},{...}]) ou un flux d'objets ( {...}{...} ), mais pas si vous avez les virgules sans les crochets.
    • J'ai essayé de séparer les objets dans mon flux avec des virgules. Suppression de la virgule fixe, merci! Maintenant, je viens de passer ({...}{...}{...})
    • Salut, merci pour cette discussion utile. Pouvez-vous veuillez expliquer: - je utiliser com.fasterxml.jackson.databind.ObjectMapper pour l'analyse de très grands JSON (~ 100 Mo) qui est un ensemble de plusieurs attributs, chacun à son tour est un tableau d'objets spécifiques. Et j'utilise un wrapper pour un attribut d'intérêt. L'emballage a une propriété unique - Liste des objets mappés à FAIRE. Puis dans une boucle for, je parse (et de les enregistrer dans la base de données) chaque nœud. Je suis à la recherche d'un moyen d'accélérer l'analyse-processus d'enregistrement. Sera l'approche ci-dessus (la lecture des nœuds un par un) améliorer l'analyse de la vitesse?
    • Je vous suggère de poser votre propre question (éventuellement en la reliant à celle-ci) comme commentaire threads ne sont pas vraiment adapté à cette profondeur de la discussion

    InformationsquelleAutor Ian Roberts
  3. 3

    C'est une réponse tardive qui s'appuie sur Ian Roberts réponse. Vous pouvez également utiliser un JsonPointer pour trouver la position de départ si elle est imbriquée dans un document. Cela évite de codage personnalisé légèrement encombrant streaming jeton approche pour obtenir le point de départ. Dans ce cas, le basePath est "/", mais il peut être de n'importe quel chemin que JsonPointer comprend.

    Path sourceFile = Paths.get("/path/to/my/file.json");
//Point the basePath to a starting point in the file
JsonPointer basePath = JsonPointer.compile("/");
ObjectMapper mapper = new ObjectMapper();
try (InputStream inputSource = Files.newInputStream(sourceFile);
     JsonParser baseParser = mapper.getFactory().createParser(inputSource);
     JsonParser filteredParser = new FilteringParserDelegate(baseParser,
                    new JsonPointerBasedFilter(basePath), false, false);) {
    //Call nextToken once to initialize the filteredParser
    JsonToken basePathToken = filteredParser.nextToken();
    if (basePathToken != JsonToken.START_ARRAY) {
        throw new IllegalStateException("Base path did not point to an array: found " 
                                       + basePathToken);
    }
    while (filteredParser.nextToken() == JsonToken.START_OBJECT) {
        //Parse each object inside of the array into a separate tree model 
        //to keep a fixed memory footprint when parsing files 
        //larger than the available memory
        JsonNode nextNode = mapper.readTree(filteredParser);
        //Consume/process the node for example:
        JsonPointer fieldRelativePath = JsonPointer.compile("/test1");
        JsonNode valueNode = nextNode.at(fieldRelativePath);
        if (!valueNode.isValueNode()) {
            throw new IllegalStateException("Did not find value at "
                    + fieldRelativePath.toString() 
                    + " after setting base to " + basePath.toString());
        }
        System.out.println(valueNode.asText());
    }
}
    InformationsquelleAutor Peter