Jackson mehrere Objekte und riesige json-Dateien

Habe ich das Gefühl, dass die Antwort vielleicht ein Duplikat dieses: Jackson - Json zu POJO Mit Mehreren Einträgen aber ich denke, dass möglicherweise die Frage ist anders genug. Auch ich bin mit raw-Daten binden, anstatt vollständige Daten verbindlich.

So, wie der Fragesteller der Frage, ich habe mehrere Objekte in einer Datei und ich versuche zu drehen, Sie in die POJOs und Stopfen Sie in eine Datenbank-in meinem design, so kann ich auf die Daten zugreifen, schnell statt langsam.

Die Dateien hier sind in der Größenordnung von zig GB, mit bis zu Millionen von Objekten in jeder Datei. Egal, hier ist was ich habe, so weit:

ObjectMapper mapper = new ObjectMapper();
Map<String,Object> data = mapper.readValue(new File("foo.json"), Map.class);
System.out.println(data.get("bar"));

Und dies funktioniert hervorragend für den Druck das bar-element des ersten Objekts foo, aber ich brauche einen Weg, um zu Durchlaufen und jedes element in einer Weise, die nicht Essen, bis alle, mein Gedächtnis.

Dank.

InformationsquelleAutor Tom Carrick | 2012-05-02
  1. 8

    Verwenden Sie diesen Beispielcode zu sehen, der die grundlegende Idee.

    final InputStream in = new FileInputStream("json.json");
try {
  for (Iterator it = new ObjectMapper().readValues(
      new JsonFactory().createJsonParser(in), Map.class); it.hasNext();)
    System.out.println(it.next());
}
finally { in.close();} }
    • Und die Datei stellt eine einzelne Liste von JSON-Objekten (die es nur ein Objekt in der Gesamtwertung), oder ist es nur die Verkettung von JSON-Objekten (die es erlauben würde, Sie zu Lesen, Sie eins nach dem anderen)?
    • Nicht zu viel zu wissen über json, ich denke, letzteres. Die Datei-Struktur ist so etwas wie: {bla bla bla} {bla bla bla} {etc.}
    • Dieser "Werke" aber scheint mehr Probleme verursachen als es löst, da ich nie weiß, welche Typen ich habe (es sind arrays mit mehr Objekten in den Objekten), die werde ich wohl haben, stellen Sie eine neue Frage.
    • froh, dass Sie herausgefunden, eine gute Möglichkeit, dies zu tun, vorausgesetzt, die Typen sind die gleichen. Ja, ich weiß, es kann gemacht werden, um zu arbeiten, und hat viel Erfahrung mit Jackson, aber Teufel steckt im Detail, d.h. viele kleine Dinge, die schief gehen können, wrt schließen des Streams. Eine wichtige Sache ist, dass man mit dem gleichen JsonParser, da sonst die erste lese-und Puffer-block voller input; und diese gepufferten Inhalte werden fehlt, wenn getrennte Parser konstruiert werden.
    • Sie können auch Lesen, was als Object oder JsonNode (Baum-Modell) statt Map; und auch ObjectMapper.convertValue(map, OtherType.class um Konvertierungen zu tatsächlichen Typ dynamisch.
    • Das wird jetzt ein bisschen lang, so werde ich beginnen, eine neue Frage, aber für jetzt diese Antwort funktioniert zumindest.

    InformationsquelleAutor Marko Topolnik
  2. 11

    Müssen Sie nicht wählen zwischen Streaming (JsonParser) und ObjectMapper beides!
    Durchqueren Sie ein bisschen mit dem parser, aber dann rufen JsonParser.readValueAs(MyType.class) binden die einzelnen JSON-Objekt.

    Oder rufen ObjectMapper's readValue() Methode übergeben JsonParser an den entsprechenden stellen. Oder verwenden Sie ObjectMapper.reader(Type.class).readValues() und Durchlaufen so.

    • +1 für die Benutzung der! Ich habe mit streaming + Datenbindung und es ist großartig, sowohl in Bezug auf Einfachheit und Speichernutzung.
    InformationsquelleAutor StaxMan
  3. 1

    Vorausgesetzt, Sie haben ein array Verpackung Ihrer Objekte, erstellen Sie einen JsonParser und rufen Sie dann readValuesAs mit dem entsprechenden Typ. Es gibt Sie wieder zurück Iterator mit allen Ihren Objekten liest die Datei, wie Sie verbrauchen die Objekte.

    InformationsquelleAutor Steven Schlansker
Schreibe einen Kommentar